Czy sieć neuronowa bez wstecznej propagacji jest w stanie wyliczyć odpowiednie wyniki na wyjściu?

Odpowiedz Nowy wątek
2019-05-19 22:23
0

Czy sieć neuronowa bez wstecznej propagacji jest w stanie wyliczyć odpowiednie wyniki na wyjściu?

Pozostało 580 znaków

2019-05-21 14:41
0

@komuher: Dobra postanowilem odpowiedziec jako ze dysputa z cytowanym uzytkownikiem nic nie zmienila i nie zamierza on poprawic tak razacego bledu...

I cos takiego pisze gosc, ktory w zyciu samodzielnie nie zakodowal zadnego algorytmu optymalizacyjnego, a wszystko co na ten temat wie pochodzi z albo z plikow Read.me repoozytioriow bibliotek, ktore bycmoze kiedys mial okazje integrowac z jakims projektem, albo obcojezycznych publikacji, ktorych sens niestety nie jest dla niego jasny.

Pokaż pozostałe 11 komentarzy
@ machineko: jesli moja toksycznosc polega na nie uzywaniu inwektyw, to faktycznie guilty. - Constantic 2019-05-21 15:26
No nie wiem plujesz na kolesia mimo ze go nie znasz a w stosunku do kazdego innego ktory sie z toba nie zgadza zaczynasz "synkowac" i opluwac. "źdźbło w oku bliźniego widzisz, a belki w swoim nie dostrzegasz " - machineko 2019-05-21 15:33
Szkoda że nie mam popkornu. Chlebek ryżowy to jednak nie to samo. Muszę przyznać, że argument "bo wyleciałem z roboty X" w trzeciej osobie do mnie trafia. - vpiotr 2019-05-21 17:57
To co będzie z tym przeniesieniem do Perełek? :D żeby dwóch dorosłych gości wyzywało się od dzbanów i dzieci zarzucając niewiedzę i bycie zwolnionym z powodu linkowania publikacji... - superdurszlak 2019-05-21 18:20
"zarzucając niewiedzę i bycie zwolnionym z powodu linkowania publikacji" Ale wypraszam sobie myslalem ze on pisze o mnie XD (nie spotkalem sie z osoba ktora pisze o sobie w trzeciej osobie xD) Co do dzbana mea culpa XDDD - komuher 2019-05-21 18:32

Pozostało 580 znaków

2019-05-21 14:54
1

Do metod innych niz backprop dodam jeszcze publikacje z OpenAI'a -> https://openai.com/blog/evolution-strategies/

Pokaż pozostałe 11 komentarzy
Caly twoj post wyżej, każda praktycznie wypowiedź tutaj. "Faktycznie masz wiedze gosciu - szkoda, ze mozna ja jedynie mierzyc zawartoscia "Ulubione" twojej przegladarki" plujesz na kolesia bo wrzucil odpowiedz na pytanie zawarte w temacie tego wątku a później atakujesz mnie przez passive aggressiv probujesz mnie synkowac i atakujesz bez argumentow.Ta dysusja mnie juz nie interesuje ale popelniles blad i wystarczylo sie przyznac (przynajmniej ja tak uwazam) ewentualnie odpowiadac jakimis argumentami nie swoim widzi-misie ktore nie przekona mnie jesli nie jestes ekspertem.EOT - machineko 2019-05-21 15:42
nigdy nie uzylem zadnych inwektyw -> ktory w zyciu samodzielnie nie zakodowal zadnego algorytmu optymalizacyjnego, ktorych sens niestety nie jest dla niego jasny, rozumiem że nie nazwałeś go chujem ani kurwą, ale mimo wszystko ;) @komuher uwaga tyczy się tez ciebie, bo nazywanie kogoś dzbanem też do ładnych nie należy. - Shalom 2019-05-21 15:50
@machineko - nazwał Cię synkiem, ja bym się nie obrażał tylko pociągnął temat i pozwał o alimenty. Jak chcesz, to podeślę Ci jego adres na privie. - somekind 2019-05-21 16:05
@somekind: Z checia przyjme alimenty :D - machineko 2019-05-21 16:18
@Shalom: Troche mnie ponioslo dalem sie sprowokowac kolesiowi :O - komuher 2019-05-21 17:29

Pozostało 580 znaków

2019-05-24 21:31
0

Wracając do tematu miałbym jeszcze kilka pytań :D

  1. Czy obecnie robotyka również wykrozystuje sieci neuronowe czy roboty wykorzystują inny rodzaj SI?
  2. Co przedstawia pojedyńczy neuron w warstwie ukrytej w sieci neuronowej? Zakładając, że dana sieć neuronowa posiada jedną warstwę ukrytą i sieć ta służy do rozpoznawania tego czy dany człowiek jest osobą dorosłą czy dzieckiem. Co oznacza wtedy pojedyńczy neuron w warstwie ukrytej? Sprawdza np. wzrost człowieka? Dobrze to rozumiem?
  3. Kiedy sieć neuronowa jest rekurencyjna? Wtedy, gdy korzysta np. z algorytmu wstecznej propagacji? Bo rozumiem to tak, że wtedy w sieci pojawiają się sprzężenia zwrotne przez co sieć staje się rekurencyjna.

Pozostało 580 znaków

2019-05-24 21:46
1
  1. Nie ma reguły, bo i niby czemu miała by jakaś być? o_O Jestem pewien że są roboty korzystające z SSN a są i takie które korzystają z innych mechanizmów.
  2. Nic. Źle to rozumiesz. W tym zresztą jest cała słabość SSN -> że są zupełnie nieczytelne. Sieć albo działa albo nie, ale nie bardzo da się stwierdzić "dlaczego". Sieć działa jako całość. Pojedyńczy neuron nie znaczy nic. Inne techniki uczenia maszynowego są w tym względzie dużo lepsze -> np. inferencja reguł asocjacyjnych czy drzew decyzyjnych. Tam model jest zupełnie czytelny dla człowieka i łatwo stwierdzić czemu coś nie działa dla pewnych przypadków.

Masz problem? Pisz na forum, nie do mnie. Nie masz problemów? Kup komputer...
edytowany 1x, ostatnio: Shalom, 2019-05-24 21:47
Czy np. taki robot Sophia wykorzystuje sieci neuronowe? Ponieważ nie mogę znaleźć informacji o tym w internecie. - tom8543 2019-05-24 21:52
Mnie przychodzi do głowy takie pytanie: czy potrzebne jest wiedzieć, co znaczy pojedynczy neuron? - Silv 2019-05-24 22:34
PS. Ale chyba @Shalom już mi odpowiedział w poście poniżej. ;) - Silv 2019-05-24 22:35

Pozostało 580 znaków

2019-05-24 21:53
0
Shalom napisał(a):
  1. Nie ma reguły, bo i niby czemu miała by jakaś być? o_O Jestem pewien że są roboty korzystające z SSN a są i takie które korzystają z innych mechanizmów.
  2. Nic. Źle to rozumiesz. W tym zresztą jest cała słabość SSN -> że są zupełnie nieczytelne. Sieć albo działa albo nie, ale nie bardzo da się stwierdzić "dlaczego". Sieć działa jako całość. Pojedyńczy neuron nie znaczy nic. Inne techniki uczenia maszynowego są w tym względzie dużo lepsze -> np. inferencja reguł asocjacyjnych czy drzew decyzyjnych. Tam model jest zupełnie czytelny dla człowieka i łatwo stwierdzić czemu coś nie działa dla pewnych przypadków.

Skoro nie wiadomo co jest w warstwie urkytej to skąd wiadomo ile tych warstw ukrytych ma być w sieci neuronowej i to ile neuronów w tej warstwie ukrytej ma być?

Empirycznie, sa tez pewne matematyczne zalozenia dotyczace wielkosci sieci ale one juz jakis czas temu zostaly obalone (w sensie trenowania bo teoretycznym dalej tam jakies podstawy maja) - komuher 2019-05-24 21:55
Czyli te neurony w warstwie ukrytej mogą przedstawiać cokolwiek dowolnego i nie wiadomo co to jest? - tom8543 2019-05-24 22:02

Pozostało 580 znaków

2019-05-24 22:04
3

Skoro nie wiadomo co jest w warstwie urkytej to skąd wiadomo ile tych warstw ukrytych ma być w sieci neuronowej i to ile neuronów w tej warstwie ukrytej ma być?

To jest druga słabość SSN. Nie wiadomo :)

Czyli te neurony w warstwie ukrytej mogą przedstawiać cokolwiek dowolnego i nie wiadomo co to jest?

Gorzej. One nie przedstawiają nic sensownego! Tak jak pisałem wyżej, sieć działa jako całość. Nie bardzo jest sens analizować jej składowe bo one same z siebie nic nie znaczą.


Masz problem? Pisz na forum, nie do mnie. Nie masz problemów? Kup komputer...
To jak byś opisał warstwę ukrytą w sieciach neuronowych i jej pojedyńcze neurony? - tom8543 2019-05-24 22:16
Co do tego ze nie da sie interpretowac pojedynczych skladników to troszkę nie do końca tak, aktualnie powstaje wiele technik temu sluzacych i czesc dziala czesc nie ale tak w skrócie -> https://deepmind.com/blog/und[...]ning-through-neuron-deletion/ oraz https://arxiv.org/pdf/1708.08296.pdf jest sporo wiecej ale to takie pierwsze lepsze z pamieci :P - komuher 2019-05-24 22:21
Chyba nie do końca, bo to co oni tam opisują to sytuacje kiedy faktycznie da się znaleźć jakiś pattern i stwierdzić ze aktywacja danego neuronu następuje dla konkretnej klasy danych, ale nie jest to żadna reguła. Takie neurony wcale nie muszą istnieć. Mogą, ale nie muszą. - Shalom 2019-05-24 22:27
Yup ale to jest jeden z dziesiatek sposobow analizy neuronów musialbym poszukac, sa nawet metody ktore wymuszaja wyuczanie pewnych cech przez wybrane neurony/stacki neuronow https://openreview.net/pdf?id=Sy2fzU9gl - komuher 2019-05-24 22:52
Co niezmienia faktu ze to sa reguly do WYBRANYCH problemow itd. Kazdy problem i architektura moze powodowac inne dzialanie neuronow (najpopularniejsze sa przyklady obrazkow i heatmap oraz jakis rotacji na wybranych warstwach ukrytych miedzy innymi -> https://arxiv.org/pdf/1901.02413.pdf) - komuher 2019-05-24 22:57

Pozostało 580 znaków

2019-05-25 00:10
1
tom8543 napisał(a):
  1. Kiedy sieć neuronowa jest rekurencyjna? Wtedy, gdy korzysta np. z algorytmu wstecznej propagacji? Bo rozumiem to tak, że wtedy w sieci pojawiają się sprzężenia zwrotne przez co sieć staje się rekurencyjna.

Rekurencyjna łączy wyjście na powrót do wejścia.
Zobacz tu na SRN: https://skymind.ai/images/wiki/greff_lstm_diagram.png
Więcej: https://skymind.ai/wiki/lstm

BP nie ma rekurencji tylko odwrotny kierunek uczenia (Back Propagation) do kierunku używania sieci (Forward Propagation).


Szacuje się, że w Polsce brakuje 50 tys. programistów

Pozostało 580 znaków

2019-05-25 21:25
0

Ok, już wiem co to sieć rekurencyjna. A czy wszystkie algorytmy uczenia sieci neuronowych działają podobnie jak algorytm wstecznej propagacji, czyli w taki sposób, że na bieżąco aktualizowane są wagi?

Pozostało 580 znaków

2019-05-25 21:43
1

Co rozumiesz przez "na bieżąco"?

Wagi są aktualizowane na etapie uczenia sieci. Podajesz jakieś dane na wejściu, dostajesz coś na wyjściu, następnie w sieci prowadzane są poprawki wg. jakiegoś algorytmu i tak w kółko, aż uznasz że sieć jest nauczona - może to być wsteczna propagacja i uczenie z nadzorem (czyli zmiany uwzględniają jakoś wyjście oczekiwane i uzyskane), a może to być jakaś forma uczenia bez nadzoru (tzn. uczenie nie uwzględnia wartości wyjściowych, jakie sieć powinna wyprodukować - choćby dlatego, że ich nie znasz).

Algorytm wstecznej propagacji nie determinuje tego, kiedy następuje aktualizacja wag, tylko w jaki sposób są zmieniane.


Prosząc o pomoc w wiadomości prywatnej odbierasz sobie szansę na otrzymanie pomocy od kogoś bardziej kompetentnego :)
Znasz jakieś źródło w którym przystepnie jest wytłumaczony algorytm wstecznej propagacji? - tom8543 2019-05-25 22:20
przekopałeś już wykłady z MIMUW? są publicznie dostępne, nie wiem na ile przystępnie będzie tam opisany backpropagation, ale gdzieś na pewno będzie. - superdurszlak 2019-05-25 22:31
Prawdopodobnie przeglądałem, wszędzie te wzory są w mało zrozumiały spsosób rozpisany :P. W algorytmie wstecznej propagacji nie jest wykorzystywany gradient prawda? Gradient służy jedynie do wskazania kierunku w który błąd wag rośnie? - tom8543 2019-05-25 22:34
Jak chcesz mieć wyjaśnione jak krowie na rowie to możesz poszukać, czy prof. Jan Kusiak nie wydał czegoś poświęconego SSN. Wydaje mi się, że wydał. Pisze dość przystępnie i oprócz wzorów podaje jeszcze schematy i/lub pseudokody. - superdurszlak 2019-05-25 22:38
Jeszcze raz spojrze na materiały odnoścnie wstecznej propagacji i jeśli nie będę czegoś wiedzieć to będę tu pisać. - tom8543 2019-05-25 22:41

Pozostało 580 znaków

2019-05-25 23:15
0

Czy w przypadku sieci neuronowej może być tak, że na wejściu podajemy jedynie sygnały zero jedynkowę, czyli podajemy 0 lub 1. Natomiast w warstwie ukrytej i wyjściowej mamy wartości z zakresu 0-1, czyli np. 0.35? Wydaje mi się, że tak dobierając odpowiednie wagi, ale wole się upewnić czy to jest dopuszczalne.

Pozostało 580 znaków

Odpowiedz
Liczba odpowiedzi na stronę

1 użytkowników online, w tym zalogowanych: 0, gości: 1, botów: 0