Czy praca przy AI jest trudna?

Czy jest tu ktoś kto zna się na AI i mógłby powiedzieć czy stworzenie takiego narzedzia jak elevenlabs jest trudne i ile musiałby poświęcić czasu żeby nauczyć języków?

Elevenlabs to generator głosu stworzony przez dwójkę młodych Polaków. Skoro im we dwojke udało się to napisac, to czy stworzenia podobnego toola jest trudne?

Chciałbym całkowicie przebudować moją karierę. Dotychczas byłem CRUD developerem. Chcę to rzucić i iść w AI. Chciałbym tworzy swoje projekty oparte na sztucznej inteligencji.

Nie znam Pythona, jestem w trakcie nauki
Powiedzcie mi czy żeby pisać AI trzeba być mózgiem, wybitnym matematykiem który skoczył Harvard? Czy zwykły CRUDziarz ma jakieś szanse na tym polu? Ile czasu trzeba poświęcić żeby napisać jakiś podobny generatr głosu?

Przeskoczysz z CRUDziarza na Modelarza, dużo ci to nie da. Jak nie znasz matematyki/nie masz studiów pod tym kątem to będziesz lepił z pytorcha tak samo jak lepiles crudy.

Chcesz tworzyć modele AI? To tak, powinieneś być ogarnięty z matmy. Nie jest to rocket science, ale trzeba to ogarniać. Generalnie jest to do nauczenia. Problemem jest natomiast to jak się sprzedać na rekrutacji, czyli co pokazać. Z tym to już jest problem.

Co do doktoratu to nie jest on potrzebny. Magisterka wystarczy.

Bez zaawansowanej wiedzy matematycznej / statystycznej nie ma sensu w to brnąć. Ludzie myślą, że jak zaciągną sckitlrn, czy innego pytorcha to już robią AI / ML. Prawdziwe AI / modele zaczynają się od matmy (patrz wyżej). Oczywiście mowa o sensownej pracy / stanowisku. No i jakimś trafem większość sensownych DS z którymi współpracowałem / współpracuje, mają doktorat ¯_(ツ)_/¯ Czy o czymś to świadczy? IMO tak. Ci ludzie to pasjonaci, którzy tworzą nowatorskie rozwiązania.

Inna obserwacja to ich kod. Jakościowo jest generalnie słaby, ale nie po to się zatrudnia DS'a z doktoratem, żeby pisał ładny kod. Ma przekuć zaawansowaną matmę w kod który działa.

Zgadzam się z przedmówcami, ale pośrednio, możesz spróbować:
Practical Deep Learning for Coders

A jak chcesz coś bardziej uporządkowanego, to polecam:
deeplearning.ai

To zobacz na profile linkedinowe współzałożycieli. CEO zanim założył firmę. Skończył 2 renomowane uczelnie z wyróżnieniem gdzie specjalizował się w machine learningu. Zanim w ogóle założył firmę miał już 10 lat poważnego doświadczenia w tematach AI bo liczę nie tylko pracę ale przede wszystkim studia bo Oxford czy Cambridge to (TOP 3) światowego rankingu. Drugi skończył podobnie z wyróżnienie z matematyki renomowaną uczelnie .

Zapewne jeden i drugi są na bieżąca z publikacjami w AI w obszarze rozpoznawania mowy.
Moim zdaniem źle zadałeś pytanie, bo pytasz w zasadzie czy jest trudne przejście z robienia CRUDa na stworzenie firmy wycenianej na setki milionów dolarów.

To też nie jest tak do końca, że data scientist nie zaciąga nic z sklearn czy pytorcha, bo pisze to sam. Napisanie sieci neuronowej od zera wymaga wiedzy z inżynierii oprogramowania, której większość naukowców danych nie posiada (choćby implementacja wydajnej propagacji wstecznej i napisanie tego zgodnie z dobrymi praktykami). Jakbym miał stworzyć jakieś narzędzie to albo bym sam wytrenował sieć pod proste zadanie z użyciem właśnie pytorcha, albo zrobił transfer learning i dostroił model do swoich potrzeb. I spodziewam się, że tak robi większość firm, które pracują z głębokim uczeniem.

Sam model to jest jakiś generative adversarial network, rozplątywanie features dźwięków i conditional generative, dodatkowo pewnie na transformesie.

Czyli jak większość modeli, żeby takie coś wytrenować będziesz potrzebował albo bardzo dużej cierpliwości i czasu albo pieniędzy.

Matma jest prosta, ale to jest znacznie bardziej kreatywne, np. umiesz liczyć pochodną, ale gradient zanika i np. w modelach rozwiązuje się to np. przez residual blocki.
Ja głównie się swego czasu zajmowałem reinforcement learningiem, to problemy zwykle są takie co do niejasności czegoś jak ma to działać, dużo jest niewiadomych.
Dużo z tego rozjaśnia się przez papiery naukowe i to jak inni wnioski wyciągnęli lub my sami.

A tak to jest ogólnie jedne z ciekawszych zajęć, wyobraźnia pracuje wtedy na maksymalnych obrotach, zawsze po przeczytaniu czegoś na ten temat można przez pół godziny bujać w obłokach analizując jak to się zachowuje i jak to można wykorzystać, a także jak to zaimplementować przy wykorzystaniu matematyki.
W społeczeństwie dominuje przekonanie, że matematyka angażuje logiczną część mózgu, ale tak na prawdę to wyobraźnia pracuje najbardziej, a logika tylko podpowiada znaczenia symboli/wyrazów, ale cała ta abstrakcja to zupełnie coś innego.

Widzę, że tu są eksperci od AI ;) Patrząc na portale pracy wynagrodzenie specjalisty od AI nie odbiega jakoś bardzo od wynagrodzenia backend engineera, prawda to? Ale wydaje mi się, że praca backend engineera jednak trochę łatwiejsza. W AI wydaje mi się, że też duża konkurencja, może niedługo będzie ciężko dostać sensowną pracę bez doktoratu. a w backend engineeringu z kolei bez grindowania leetcode.

Czitels napisał(a):

Chcesz tworzyć modele AI? To tak, powinieneś być ogarnięty z matmy.

ledi12 napisał(a):

Bez zaawansowanej wiedzy matematycznej / statystycznej nie ma sensu w to brnąć.

Come on! Z Tensor Flow każdy może budować swoje modele NN/ML. Jest już sporo literatury na ten temat, tutków, można eksperymetować.

@devops:

Ostatnio dość namiętnie słuchałem wywiadów z Ernie Chanem, takim specem od ML, mówił że 80% pracy z AI / ML to data science, czyli data mining i processing. Jestem skłonny się z nim zgodzić.

Poza tym nie pytaj się o pozwolenie na forum tylko spróbuj.

Come on! Z Tensor Flow każdy może budować swoje modele NN/ML. Jest już sporo literatury na ten temat, tutków, można eksperymetować.

Nie mówimy o klepance dla ML Engineerów, ale tworzeniu modeli matematycznych.

No właśnie, bo są różne typy pracy w zależności od ambicji.

Do takiego prawdziwego ML potrzeba rzeczywiście zaawansowanej wiedzy z matmy (najlepiej doktoratu). Jest to ambitna, ciekawa praca, na zagranicznych kontraktach można kosić astronomiczne stawki jak się znajdzie w odpowiednim miejcu w odpowiednim czasie.

Ale zdaje mi się, że dużo firm nie potrafi wykorzystać potencjału tych narzędzi. W takich firmach na podobnym stanowisku dostajesz zbiór danych, stosujesz na nich jakąś prostą regresję liniową, tworzysz z tego jakiś dashboard i można zamykać task. Na rynku pracy też jest miejsce dla takich osób (ofc. zarobią odpowiednio mniej).

Trochę jak w webdev można klepać malutkie CRUDy na kilkunastu użytkowników, albo tworzyć zaawansowane, skalowalne systemy low-latency z milionami requestów na minutę. Kwestia Twoich predyspozycji i ambicji gdzie się znajdziesz.

Przy czym przy takim prostym DS nie ma super złożonego programowania, tam raczej tworzysz proste skrypty i sklejasz z tego raporty. Możesz nieco wyjść z wprawy w programowaniu w takiej pracy.

devops napisał(a):

Elevenlabs to generator głosu stworzony przez dwójkę młodych Polaków. Skoro im we dwojke udało się to napisac, to czy stworzenia podobnego toola jest trudne?

To jest ogólnie ciekawe, bo oni zebrali ponad 80 milionów dolarów od inwestorów, co pozwoli ci duży zespół specjalistów zatrudnić, w dodatku jak we dwóch zrobili syntezator i dzięki niemu takie fundusze otrzymali to mogli się rozwijać, bo nawet dwie osoby to masa roboty, po za samym modelem, jego skalowaniem, dystrybucją, reklamą, planem biznesowym.

W dodatku modele text to speech i voice cloning dla różnych języków już istniały i dodali do tego multilanguage, więc jest to pewne ułatwienie gdyż nie trzeba od zera uczyć modeli mogą one destylować wiedzę od innych modeli, coś jak zbiór danych w pigułce, wykorzystali różne modele dla różnych języków i główny model wykorzystywał je do uczenia się generowania w dowolnym języku warunkowo.

Zwykle inwestorzy jak już się dokładają to także biorą aktywny udział w rozwoju firmy i kierowaniu jej biznesowo.
Więc mają decydujący głos decyzyjny.

W Polsce to by im nie wyszło u nas tak inwestorzy raczej nie szastają hajsem, nawet sam nie wiem jak oni tych inwestorów pozyskują.

W dodatku tam było dwóch Polaków, a ty jesteś sam :>
Ale tak czy siak wydaje się to proste, ale tak nie jest i takie duże modele bez dobrego sprzętu to większość czasu spędzisz czekając na wyniki, które na końcu mogą się i tak kiepskie okazać, bo rzadko kiedy człowiek nie popełni żadnego błędu.
I to też jest takie dziwne myślenie, że jak ktoś coś osiągnął to ty też, na tych lepszych uczelniach one same pomagają wypromować u inwestorów jakieś projekty, może nawet mają jakieś współprace, żeby konkurencji najlepszych podkosić, a u nas w Polsce to głównie inwestują materialne inwestycje.

Czitels napisał(a):

Nie mówimy o klepance dla ML Engineerów, ale tworzeniu modeli matematycznych.

Ale w którym momencie dyskusji jest o tym mowa?

wilkstepowy90 napisał(a):

Do takiego prawdziwego ML potrzeba rzeczywiście zaawansowanej wiedzy z matmy (najlepiej doktoratu).

Nie założę się i nie dam sobie nic uciąć, ale jestem prawie przekonany że z TF możesz też zaawansowane modele językowe tworzyć. Nie mówiąc o wykorzystaniu dostępnych freeware.

EDIT: Siedziałem jedynie nad sieciami neuronowymi dla time series, stąd brak wiedzy o modelach językowych w Tensor Flow. Ale wg. mojej najlepszej wiedzy można je budować

devops napisał(a):

Elevenlabs to generator głosu stworzony przez dwójkę młodych Polaków. Skoro im we dwojke udało się to napisac, to czy stworzenia podobnego toola jest trudne?

A więc tak to dziś obecnie spożytkowuje się odpadki po szale na BTC. W sumie to nawet dobrze bo szkoda byłoby tego krzemu.

@devops:
Ostatnio dość namiętnie słuchałem wywiadów z Ernie Chanem, takim specem od ML, mówił że 80% pracy z AI / ML to data science, czyli data mining i processing. Jestem skłonny się z nim zgodzić.

Ty też byś został specem od AI/ML/whatever jakby od tego zmienili ci stopień zaszeregowania w korpo.

loza_prowizoryczna napisał(a):

Ty też byś został specem od AI/ML/whatever jakby od tego zmienili ci stopień zaszeregowania w korpo.

Ale on ma tytuł doktora z fizyki albo matematyki, jeśli dobrze pamiętam, później pracował przy NN modelach językowych, później tworzył systemy quantowe dla rynków finansowych. Jest szeroko rozpoznawany i płacą mu za jego robotę, więc na chwilę obecną mogę powiedzieć, że zna się na temacie przynajmniej lepiej niż ja ;)

devops napisał(a):

Nie znam Pythona, jestem w trakcie nauki

Przyznaję, że też się nauczyłem Pythona tylko po to żeby pracować z TF ^^

loza_prowizoryczna napisał(a):

A więc tak to dziś obecnie spożytkowuje się odpadki po szale na BTC. W sumie to nawet dobrze bo szkoda byłoby tego krzemu.

Ale on pisał że jest CRUDziarzem :) Chyba że chodzi Ci o nieużywane karty graficzne i procesory po kopalniach :)

bakunet napisał(a):

Ale on ma tytuł doktora z fizyki albo matematyki, jeśli dobrze pamiętam, później pracował przy NN modelach językowych, później tworzył systemy quantowe dla rynków finansowych. Jest szeroko rozpoznawany i płacą mu za jego robotę, więc na chwilę obecną mogę powiedzieć, że zna się na temacie przynajmniej lepiej niż ja ;)

Czyli piszesz że ma solidne podstawy i doświadczenie w modelowaniu matematycznym? Też znam paru doktorów (od fizyki po chemię), podstawy tego powinny być w curriculum każdej szanującej się uczelni naukowej. Jaki ktoś z tego robi użytek to już inna bajka, większość woli łatwy hajs bo konkurencja jest spora.

Ale on pisał że jest CRUDziarzem :) Chyba że chodzi Ci o nieużywane karty graficzne i procesory po kopalniach :)

O to drugie ;)

To nie ma tak, że coś jest trudne czy nie trudne.

Pinek napisał(a):

To nie ma tak, że coś jest trudne czy nie trudne.

Ludzie często zadowalają się odpowiedzią na pytanie, to jest trudne lub tak musi być, nigdy nie docierając do tego jak coś działa, np. important sampling jeśli uczysz model ai na starych danych offline to on może się przekręcić za mocno czyli np. zeby zobrazować co mam na myśli jesteś 10 metrów od celu i to jest twój błąd czyli -10 i teraz reperujesz ten błąd nauką i potem powtarzasz uczenie na tym samym to teraz nie popełniasz błędu, ale myślisz, że dalej musisz -10 odjąć bo to wiedza i tu wchodzi importance sampling można podzielić aktualnie zmierzoną wiedzę z przeszło zmierzoną wiedzą.

Np. jeśli raz zrobisz uczenie to nauczysz się bo -10 błąd jest, ale jak zrobisz 10 razy na tych samych danych uczenie to osiągniesz błąd -90, bo wcześniej brakowało ci tylko 10, ale potem 10 raz bez wymierzenia względem aktualnej wiedzy przeuczyłeś się.

Wszystko rozchodzi się o poziom zrozumienia danego tematu, ja przez 7 lat studiowania matmy i AI to jestem można powiedzieć średni.
Kolejne 10lat powinno dać mi poziom experta/mistrza itp.

Ale w życiu spotkasz może z 1-2 osoby, które poza obgadywaniem innych ludzi i nic nie robieniem coś robią więc praktycznie życie sam spędzisz bo nikt cię nie zrozumie.

Nawet tu na forum ludzie często piszą, po co się uczyć, na co rozwiązywać algorytmu, nic to nie daje, to się człowiek uczy na pamięć.
I tak ludzie sami na siebie zakładają obrożę, która ogranicza ich w rozwoju.
Nie ma nigdzie nic na pamięć wszystko pochodzi ze zrozumienia.