Uczenie maszynowe - matematyka i perspektywy

0

Od dłuższego czasu ciekawi mnie temat AI, a dokładnie uczenia maszynowego. Jako że lubię rzeczy rozumieć od podstaw, zdecydowałem się na naukę niskopoziomową sieci neuronowych (bez bibliotek). Poprzeglądałem różne źródła, kursy, ostatecznie kończąc na CS 229 ( ). Po drugim odcinku wykładów profesora Ng'a oczywistym stało się dla mnie że bez konkretnej matematyki ani rusz. Chciałbym prosić o pomoc w wybraniu konkretnych zagadnień z matematyki, niezbędnych do nauki tworzenia wszelakich systemów uczących. Wskazanie konkretnych źródeł byłoby bardzo pomocne.

Przy okazji tego postu zapytam jeszcze o sam sens uczenia się machine learningu. Aktualnie chodzę do II liceum, mam (niestety niewielkie) doświadczenie z C++, pythonem i C. Wszelkie zagadnienia pokrewne z AI są dla mnie najbardziej interesujące z programowania. Co mnie martwi to bardzo mała liczba ofert pracy z ML w polsce. Z tego co czytałem to sytuacja raczej się nie zmieni co budzi we mnie wątpliwości jeżeli miałbym z tą dziedziną wiązać przyszłość. Zastanawiam się zatem czy nie porzucić tego i zbierać doświadczenie w innych odłamach programowania. Mógłbym prosić doświadczonych o radę?

2

Dość często jest polecane Elements of Statistical Learning (https://web.stanford.edu/~hastie/ElemStatLearn//printings/ESLII_print12.pdf), ale zanim ją w ogóle zaczniesz musisz nauczyć się podstaw algebry liniowej (wektory i macierze rzeczywiste, mnożenie, odwracanie, potęgowanie, rozwiązywanie macierzowych równań liniowych) i analizy (chociażby znajdowanie ekstremów) oraz podstawowych pojęć statystycznych. Zresztą to będzie oczywiste po przeczytaniu pierwszego rozdziału.

0

Dzięki wielkie, wygląda bardzo obszernie, tego szukałem :).
Wciąż prosiłbym jeszcze kogoś o odpowiedź na drugą część. Z góry przepraszam jeżeli trafiłem w zły dział.

2
Kacper Paluch napisał(a):

Chciałbym prosić o pomoc w wybraniu konkretnych zagadnień z matematyki, niezbędnych do nauki tworzenia wszelakich systemów uczących. Wskazanie konkretnych źródeł byłoby bardzo pomocne.

Algebra Liniwa, Statystyka, Analiza, Prawdopodobieństwo (żeby rozumieć nie obędzie się bez teorii miary), Teoria informacji.

Skrypt z wykładów wydziały często publikują w sieci.

https://www.mimuw.edu.pl/~leszekp/dydaktyka/gal/labook.pdf
http://www.math.uni.wroc.pl/~dymara/GalA13/skrypt.pdf
http://dydmat.mimuw.edu.pl/sites/default/files/wyklady/analiza-matematyczna-i.pdf
http://wazniak.mimuw.edu.pl/index.php?title=Rachunek_prawdopodobie%C5%84stwa_i_statystyka
http://wazniak.mimuw.edu.pl/index.php?title=Teoria_informacji

Dostępne są też niektóre książki

http://math.uni.lodz.pl/~arogow/algebra1/Hefferon-book.pdf

Jest też pare świetnych książek do kupienia (ale najpierw zapoznaj się ze skryptami bo jak Ci się nie spodoba to będą wyżucone pieniądze) np.

J. Jakubowski, R. Sztencel - Rachunek prawdopodobieństwa dla (prawie) każdego.
R. Zieliński, Siedem wykładów wprowadzających do statystyki matematycznej
M. Krzyśko, Wstęp do statystyki matematycznej
Białynicki-Birula A. - Algebra liniowa z geometrią;

mam (niestety niewielkie) doświadczenie z C++, pythonem i C. Wszelkie zagadnienia pokrewne z AI są dla mnie najbardziej interesujące z programowania.

Python jest bardzo popularny w analizie i mam wrażenie, że im bliżej ML i dale klasycznej analizy statystycznej tym bardziej wypiera Ra.

Aktualnie chodzę do II liceum,

Dla mnie w liceum większość z tych źródeł które podałem powyżej była za trudna, ale możesz być zdolniejszy niż ja więc możesz spróbować.

Co mnie martwi to bardzo mała liczba ofert pracy z ML w polsce. Z tego co czytałem to sytuacja raczej się nie zmieni co budzi we mnie wątpliwości jeżeli miałbym z tą dziedziną wiązać przyszłość. Zastanawiam się zatem czy nie porzucić tego i zbierać doświadczenie w innych odłamach programowania. Mógłbym prosić doświadczonych o radę?

W samym AI może rzeczywiście liczba ofert nie powala, ale w ML jest ich sporo, jak przeglądasz oferty pracy to szukaj po hasłach typu analiza obrazu, analiza ryzyka, data science, ekonometria itp.

CS 229 ( ).

btw. jak już będziesz gotowy to kurs polecam.

1
Błękitny Pomidor napisał(a):

Dość często jest polecane Elements of Statistical Learning (https://web.stanford.edu/~hastie/ElemStatLearn//printings/ESLII_print12.pdf),

Inną bardzo dobrą książką (i przeznaczoną dla bardziej początkujących) jest An Introduction to Statistical Learning. Tylko, że ona pokaże Ci tylko mniej więcej intuicję i idee stojące za ML bez szczegółów i teorii.

0

Dziękuję bardzo za odpowiedzi.
O sens nauki pytam gdyż nie chcę marnować czasu na coś czego nie będę używał (a z tego co widzę to potrzeba go tu sporo). Wolę być pewien że skupiając się na tej matematyce teraz, będzie mi łatwiej w najbliższej przyszłości, tym bardziej że wiążę z ML głęboką nadzieję na możliwość kariery

Crude Monte Carlo napisał(a):
Błękitny Pomidor napisał(a):

Dość często jest polecane Elements of Statistical Learning (https://web.stanford.edu/~hastie/ElemStatLearn//printings/ESLII_print12.pdf),

Inną bardzo dobrą książką (i przeznaczoną dla bardziej początkujących) jest An Introduction to Statistical Learning. Tylko, że ona pokaże Ci tylko mniej więcej intuicję i idee stojące za ML bez szczegółów i teorii.

Teraz nie wiem którą wybrać, tym bardziej że wyglądają na mocno spokrewnione :). Rozumiem że "An Introduction" to bardziej okrojona wersja tej pierwszej? Albo po prostu studiować najpierw jendą potem drugą..

2
Kacper Paluch napisał(a):

O sens nauki pytam gdyż nie chcę marnować czasu na coś czego nie będę używał

Jeśli planujesz poważną karierę w AI to potencjalnie będziesz używał wszystkiego i żadna nauka nie będzie stratą czasu.

Fajnie, że w dość młodym wieku masz określony kierunek rozwoju, jednak nie popełnij błędu zbytniego pośpiechu i przeskakiwania różnych rzeczy.

Teraz skup się na normalnym programie nauczania matematyki i informatyki, lub jeśli jesteś zdolny - programie rozszerzonym albo dla olimpijczyków. Algebry liniowej, sieci, regresji itp zdążysz się jeszcze nauczyć. Korzystaj z tego, że szkoła, a potem uczelnia nauczą Cię tego, czego w pracy nie będziesz już miał okazji zgłębić. W ogóle uważam, że sensowną drogą rozwoju w tej dziedzinie jest wszechstronna edukacja i dojście do doktoratu przed lub równolegle z pracą, nie zamiast.

Oczywiście możesz też ogarnąć w 3-4 lata jakieś tam podstawy wiedzy w AI, i iść dajmy na to w wieku 20 lat do pracy. Tylko, że po paru latach podejścia się zmienią, ludzie wokół będą wymyślać nowe rzeczy, a Ty dajmy na to w kółko będziesz klepał te sam rutynowe zadania (tak, w AI też takie są).

1

An Introduction to Statistical Learning. Porusza mniej zagadnień i traktuje je w sposób dużo bardziej ogólny.

Aha pozycje które podałem są w większości typowo akademickie. Możesz zerknąć np kursy mit, powinny być prowadzone w bardziej intuicyjny, mniej formalny i łatwiejszy do zrozumienia sposób.

0
GutekSan napisał(a):

Teraz skup się na normalnym programie nauczania matematyki i informatyki, lub jeśli jesteś zdolny - programie rozszerzonym albo dla olimpijczyków. Algebry liniowej, sieci, regresji itp zdążysz się jeszcze nauczyć. Korzystaj z tego, że szkoła, a potem uczelnia nauczą Cię tego, czego w pracy nie będziesz już miał okazji zgłębić. W ogóle uważam, że sensowną drogą rozwoju w tej dziedzinie jest wszechstronna edukacja i dojście do doktoratu przed lub równolegle z pracą, nie zamiast.

Oczywiście możesz też ogarnąć w 3-4 lata jakieś tam podstawy wiedzy w AI, i iść dajmy na to w wieku 20 lat do pracy. Tylko, że po paru latach podejścia się zmienią, ludzie wokół będą wymyślać nowe rzeczy, a Ty dajmy na to w kółko będziesz klepał te sam rutynowe zadania (tak, w AI też takie są).

Dziękuję za rady, wezmę je sobie do serca. W takim razie na ten moment stawiam na szkołę i maturę. A skoro przy tym.. Są w Polsce jakieś godne polecenia studia z tej tematyki? I nie wiem wciąż czy przystąpić do matury z roz. fizyki czy informatyki. Z tego co mi wiadomo przedmioty te są na studiach informatycznych tak samo punktowane, a samej matury z informatyki przyznam że się boję. Mam rozszerzoną matematykę, fizykę i informatykę ale jeżeli chodzi o to ostatnie to niestety zdany jestem tylko na siebie.

1
Kacper Paluch napisał(a):
GutekSan napisał(a):

Teraz skup się na normalnym programie nauczania matematyki i informatyki, lub jeśli jesteś zdolny - programie rozszerzonym albo dla olimpijczyków. Algebry liniowej, sieci, regresji itp zdążysz się jeszcze nauczyć. Korzystaj z tego, że szkoła, a potem uczelnia nauczą Cię tego, czego w pracy nie będziesz już miał okazji zgłębić. W ogóle uważam, że sensowną drogą rozwoju w tej dziedzinie jest wszechstronna edukacja i dojście do doktoratu przed lub równolegle z pracą, nie zamiast.

Oczywiście możesz też ogarnąć w 3-4 lata jakieś tam podstawy wiedzy w AI, i iść dajmy na to w wieku 20 lat do pracy. Tylko, że po paru latach podejścia się zmienią, ludzie wokół będą wymyślać nowe rzeczy, a Ty dajmy na to w kółko będziesz klepał te sam rutynowe zadania (tak, w AI też takie są).

Dziękuję za rady, wezmę je sobie do serca. W takim razie na ten moment stawiam na szkołę i maturę. A skoro przy tym.. Są w Polsce jakieś godne polecenia studia z tej tematyki? I nie wiem wciąż czy przystąpić do matury z roz. fizyki czy informatyki. Z tego co mi wiadomo przedmioty te są na studiach informatycznych tak samo punktowane, a samej matury z informatyki przyznam że się boję. Mam rozszerzoną matematykę, fizykę i informatykę ale jeżeli chodzi o to ostatnie to niestety zdany jestem tylko na siebie.

Porada od osoby ktora w AI pracuje jakiś czas o ile zależy ci na dobrym wykształceniu już ciśnij do US na jakąkolwiek z top10 uczelni pod AI (ewentualnie Montreal) lub do Niemiec jeśli chcesz robić doktorat, zdecydowanie nie marnuj czasu na polskie uczelnie bo są tragiczne no chyba że matma czysta wtedy wydają się ok :P.
Poza tym o ile nie zależy ci na papierku to bardzo dużo wykładów z topowych uczelni jest dostępne na necie i możesz powoli badać czy temat dalej cię interesuje (za 6 lat o ile wtedy będziesz kończył studia AI pewnie będzie wyglądało zupełnie inaczej niż teraz, więc często strikte AI'owe rzeczy na uczelni będą przestarzałe więc już lepiej iść na jakiś kierunek związany z neuro-naukami o ile chcesz być researcherem lub matme jak chcesz optymalizować algorytmy)

0

Co mam rozumieć przez "ciśnięcie"? Nie ukrywam że jestem trochę zmieszany, nie wydaje mi się żebym miał na razie jakiekolwiek szanse na dostanie się do którejkolwiek z tych szkół. Czym powinienem się teraz zająć i jak bardzo dobry muszę być żeby myśleć o którejkolwiek szkole z podanej top 10? Podkreślę że nie stać mnie na ten moment na studia w US więc myślę już o jakimś stypendium..

1
Kacper Paluch napisał(a):

Co mam rozumieć przez "ciśnięcie"? Nie ukrywam że jestem trochę zmieszany, nie wydaje mi się żebym miał na razie jakiekolwiek szanse na dostanie się do którejkolwiek z tych szkół. Czym powinienem się teraz zająć i jak bardzo dobry muszę być żeby myśleć o którejkolwiek szkole z podanej top 10? Podkreślę że nie stać mnie na ten moment na studia w US więc myślę już o jakimś stypendium..

Cisnąć w sensie nauki pod wybraną uczelnie (obadać jakie mają wymogi etc.) jeśli nie US to Montreal jeśli nie Montreal to zostają Niemcy albo Paryż tak wygląda aktualnie podział świata AI jeśli chodzi o uczelnie: USA > Chiny >>>> Europa >>> Polska
Jeśli nie stać cię na USA ale jesteś ogarnięty to idź do Paryża / Niemiec i próbuj zaczepić się w jakiejś topowej firmie wtedy może być łatwiej o studia w US

1

Czy jest sens uczenia się?

Jeśli dopasowanie etykiet to uczenie to tak, w przeciwnym razie bierz się od razu do roboty, bo strata czasu na naukę.

Nauka jest dla głupków, którzy się uczą, a potem się okazuje, że teoria nie ma nic wspólnego z praktyką jedynie pomaga zapamiętać etykiety.

1

To jest jakaś mania. Skończenie dobrych studiów w PL (np. matematyka z ukierunkowaniem na zastosowania) + kursy online, dadzą Ci porównywalną wiedzę i możliwości za cenę będącą ułamkiem tego, co zapłacisz w US (czy Montrealu, whatever). Jak ktoś ma hopla na punkcie rankingów, to matematyka na MiM jest światowo pomiędzy 50 a 75 pozycją, więc w ścisłej elicie. Jak ktoś nie ma, to idzie na dobrą matematykę, czy fizykę gdziekolwiek i ukierunkowuje się w stronę ML. Kursów online jest sporo, ale nikt online nie przyciśnie Cię porządnie z algebry liniowej, czy statystyki, póki co (niemniej warto je robić).

1
Pijany Lew napisał(a):

To jest jakaś mania. Skończenie dobrych studiów w PL (np. matematyka z ukierunkowaniem na zastosowania) + kursy online, dadzą Ci porównywalną wiedzę i możliwości za cenę będącą ułamkiem tego, co zapłacisz w US (czy Montrealu, whatever). Jak ktoś ma hopla na punkcie rankingów, to matematyka na MiM jest światowo pomiędzy 50 a 75 pozycją, więc w ścisłej elicie. Jak ktoś nie ma, to idzie na dobrą matematykę, czy fizykę gdziekolwiek i ukierunkowuje się w stronę ML. Kursów online jest sporo, ale nikt online nie przyciśnie Cię porządnie z algebry liniowej, czy statystyki, póki co (niemniej warto je robić).

Dlatego pisałem o matematyce w polszy (btw. pomiędzy 50 a 75 miejscem to zdecydowanie nie jest ścisła elita raczej przeciętnie-dobre studia) i uczeniu się AI z wykładów z topowych US uczelni
No chyba że ktoś liczy top 100 w konkursie w którym bierze udział ~500 zawodników za ścisłą elitę no to raczej tej matematyki nigdy nie skończył xd

2
komuher napisał(a):

Dlatego pisałem o matematyce w polszy (btw. pomiędzy 50 a 75 miejscem to zdecydowanie nie jest ścisła elita raczej przeciętnie-dobre studia) i uczeniu się AI z wykładów z topowych US uczelni
No chyba że ktoś liczy top 100 w konkursie w którym bierze udział ~500 zawodników za ścisłą elitę no to raczej tej matematyki nigdy nie skończył xd

A, umknęło mi. W tej samej grupie są przeciętne-przyzwoite uczelnie, jak Caltech, Technion, Zurich, czy Yale ;-) Nie dajmy się zwariować w świecie marketingu.

1
Pijany Lew napisał(a):
komuher napisał(a):

Dlatego pisałem o matematyce w polszy (btw. pomiędzy 50 a 75 miejscem to zdecydowanie nie jest ścisła elita raczej przeciętnie-dobre studia) i uczeniu się AI z wykładów z topowych US uczelni
No chyba że ktoś liczy top 100 w konkursie w którym bierze udział ~500 zawodników za ścisłą elitę no to raczej tej matematyki nigdy nie skończył xd

A, umknęło mi. W tej samej grupie są przeciętne-przyzwoite uczelnie, jak Caltech, Technion, Zurich, czy Yale ;-) Nie dajmy się zwariować w świecie marketingu.

Co ma reputacja całej uczelni do pojedynczego kierunku robisz tutaj troszkę kur.. z logiki.
Btw. też potwierdzam że jeśli chodzi o matmę to w polszy warto bo nie ma tragedii ale samo AI albo informatyka z nakierowaniem na jakiegoś AI nigdy w życiu :P

1

Jak ktoś jest naprawdę dobry to sobie bez trudu (zwłaszcza finansowego) przeskoczy z polskim licencjatem do topowej uczelni na zachodzie. Zaś jak ktos nie jest tak dobry jak mu się wydaje, to mu żadna MIT czy Oxford nie pomoże, a kasę niemałą wyda.

A generalnie to odradzam za szybko się specjalizować. Jak się wciagnie nosem całą potrzebną informatykowi matematykę, to dopiero się jest na poziomie z którego widać co jest tylko modną błyskotką, a co jest rzeczywiście ciekawe.

Secundo, jak się chce iść w kierunku AI, to warto też się uważnie przyjrzeć inteligencji naturalnej. Jak się ona tworzy, jak działa. Wiedza o tym jak ułomna jest ludzka inteligencja impregnuje na stawianie AI nierealnych wymagań. Może "Świat noworodka" Maurera ? "Miłość i nienawiść" Eibl-Eibsfielda ? "Człowiek istota społeczna" Aronsona ?

1

Tu są dane: http://www.shanghairanking.com/Shanghairanking-Subject-Rankings/mathematics.html. Korzystam z danych i logiki, nie wiem, czego Ty używasz, komuher ;-)

TM - dzięki za lektury!

0

Mam świadomość że mogę już drażnić pytaniami ale nie ukrywam, w głowie mam wciąż więcej pytań niż odpowiedzi. Obawiam się że studia na poziomie MIT, choć byłoby to spełnienie marzeń, są daleko poza moim zasięgiem. Tym bardziej że mówiąc o studiach za granicą biorę pod uwagę tylko stypendium. Jeśli chcę liczyć na stypendium muszę być dobry. Bardzo dobry, jak nie najlepszy. Na czym się skupić żeby zbliżyć się poziomem do tego najlepszego? Skierować wszystkie siły całkowicie na szkołę i jak najlepiej napisaną maturę? Może próbować w przyszłym roku olimpiady z informatyki? Od niedawna przerabiam fragmentami "Wprowadzenie do algorytmów" Cormena, z myślą o olimpiadzie właśnie. Nie wiem czy to dobry pomysł i czy cokolwiek tego wyniknie, ale nawet jak olimpiada się nie uda, to pomoże mi to w maturze z informatyki. (Prawda?)

0

Już meta learning wchodzi do gry, za jakiś czas data scientist sami siebie z roboty wyeliminują.
I myk na mechanikę kwantową będzie trzeba się przenieść, a wtedy to będzie przejebane.

1 użytkowników online, w tym zalogowanych: 0, gości: 1