Big data - jak zacząć ?

Cześć, interesuje się AI i jej zastosowaniami, póki co wykorzystuje ją tylko do przetwarzania informacji wizyjnej, jestem w studenckim kole zastosowań AI gdzie głównie wykorzystujemy to do budowy inteligentnych robotów. Tworzyłem już własne klasyfikatory do wykrywania obiektów, rozpoznawania gestów, emocji oparte na sieciach neuronowych przy użyciu OpenCV, Pythona i TensorFlow.

No więc pytanko do społeczności tego forum, od czego zacząć, chodzi mi o praktyczne umiejętności bo teorie już dosyć sporą mam na ten temat, jakich technologii, czy frameworków się uczyć? Może jakiś przykładowy projekt który mógłbym samemu zrealizować ?
Z góry dzięki :)

ciekaryniczny_otwieracz napisał(a):

Cześć, interesuje się AI i jej zastosowaniami, póki co wykorzystuje ją tylko do przetwarzania informacji wizyjnej, jestem w studenckim kole zastosowań AI gdzie głównie wykorzystujemy to do budowy inteligentnych robotów. Tworzyłem już własne klasyfikatory do wykrywania obiektów, rozpoznawania gestów, emocji oparte na sieciach neuronowych przy użyciu OpenCV, Pythona i TensorFlow.

No więc pytanko do społeczności tego forum, od czego zacząć, chodzi mi o praktyczne umiejętności bo teorie już dosyć sporą mam na ten temat, jakich technologii, czy frameworków się uczyć? Może jakiś przykładowy projekt który mógłbym samemu zrealizować ?
Z góry dzięki :)

Zaczyna się od wyjazdu do UK.Względnie od zarobienia na ten wyjazd. Jak jesteś desperatem to możesz poszukać za januszową stawkę jakichś praktyk, ale nie spodziewaj się, że wynagrodzenie będzie adekwatne do twej wiedzy.

Prawdopodobieństwo, statystyka, geometria różniczkowa i rr cząstkowe w zakresie wykraczającym daleko poza to co jest na uczelniach pokroju PW.
Ewentualnie tzw Big Data Developer czyli gość od ogarniania sparka/hadoopa. Wtedy trzeba nauczyć się trudnej i siermiężnej technologii, ale stawki są wysokie, nawet w PL.

Świetny Samiec napisał(a):

geometria różniczkowa i rr cząstkowe w zakresie wykraczającym daleko poza to co jest na uczelniach pokroju PW.

A taka z fizyki uniwersyteckiej?

Ewentualnie tzw Big Data Developer czyli gość od ogarniania sparka/hadoopa. Wtedy trzeba nauczyć się trudnej i siermiężnej technologii, ale stawki są wysokie, nawet w PL.

Co rozumiesz przez "siermiężność" hadoopa? :D

Świetny Samiec napisał(a):

Prawdopodobieństwo, statystyka, geometria różniczkowa i rr cząstkowe w zakresie wykraczającym daleko poza to co jest na uczelniach pokroju PW.
Ewentualnie tzw Big Data Developer czyli gość od ogarniania sparka/hadoopa. Wtedy trzeba nauczyć się trudnej i siermiężnej technologii, ale stawki są wysokie, nawet w PL.

Czy mógłbyś coś więcej napisać o Big Data Develoepr (spark/hadoop) jakie technologie/kwalifikacje pasuje znać? I faktycznie co znaczy według ciebie sformułowanie: " trudnej i siermiężnej technologii" ?

Krwawy Ogórek napisał(a):

Świetny Samiec napisał(a):

geometria różniczkowa i rr cząstkowe w zakresie wykraczającym daleko poza to co jest na uczelniach pokroju PW.

A taka z fizyki uniwersyteckiej?

No clue. Geometria różniczkowa na fizyce raczej będzie pod kątem OTW i pól klasycznych. I 90% studentów fizyki nie będzie jej zaliczać.

Ewentualnie tzw Big Data Developer czyli gość od ogarniania sparka/hadoopa. Wtedy trzeba nauczyć się trudnej i siermiężnej technologii, ale stawki są wysokie, nawet w PL.

Co rozumiesz przez "siermiężność" hadoopa? :D

Długo by mówić. Tak na szybko:
Siermiężne CLI i API w porównaniu do POSIX-owych filesystemów rozproszonych i słaba integracja z ww (skopiuj katalog z symlinkami na hdfs?). Marna dokumentacja, niedostateczne logowanie, trudne zbieranie wewnętrznych logów (nie mówię o logach apek MR/YARN), niewiele mówiące komunikaty o błędach.
Rynek komercyjnego wsparcia do softu który miał być free i chodzić stabilnie nawet na drzwiach do stodoły idzie w mld dolarów rocznie, to mówi samo przez się.

Mały odkop.
Zastanawiam się czy nie pouczyć się trochę tego tematu, na razie przez powiedzmy najbliższe dwa lata czysto hobbystycznie na spokojnie w wolnych chwilach. Najpierw jakieś kursiki z hadoopa i sparka. Dwa pytania:

1. Jakieś porady czego się pouczyć żeby było ciekawie?
2. Pracuje ktoś w tym? Na czym polegają wasze projekty od strony biznesowej?

Big data - jak zacząć ?

Najpierw zbierz dużo danych, lol.

Jakieś porady czego się pouczyć żeby było ciekawie?

Zasadniczo cała filozofia polega na zbieraniu odpowiednio dużej ilości danych, następnie ich przetwarzaniu, feature engineeringu, tworzeniu modeli i predykcji na podstawie modeli. Co firma to inny zestaw tooli i inne zagadnienie lub problem do rozwiązania. Wymieniony Spark jest jednym z wielu tooli do stream processingu. Są jeszcze inne toole - np. Flink. Poleciłbym też naukę tooli do ML typu pandas i numpy oraz tooli do predykcji. Chyba mało kto to wszystko ogarnia, ale możesz sobie liznąć te tematy, żeby mieć jakieś pojęcie o różnych procesach.

Pracuje ktoś w tym? Na czym polegają wasze projekty od strony biznesowej?

Nie mogę powiedzieć. Tajne (obczaj mój nowy avatar).