Sieć Hopfielda- metoda uczenia Oji

Odpowiedz Nowy wątek
2015-01-24 14:49
0

Witam serdecznie,
przeprowadzam testy wydajności różnych algorytmów uczenia dla sieci Hopfielda. Sieć ma służyć rozpoznawaniu prostych znaków.
Zaimplementowałem już 2 metody uczenia:
Hebba, orraz pseudoinwersję,
ale mam problem: nie potrafię zaimplementować metody Oji.
Głównie dlatego, że wartości wag na początku są zerowe, więc jak mam policzyć czynnik y?
Bazuję na opisie np. tutaj:
http://wiki.eyewire.org/en/Oja%27s_rule
Czy ktoś jest w stanie mi to wyjaśnić bądź napisać pseudokod jak to ma działać?
Z góry dziękuję za jakiekolwiek wskazówki.

Pozostało 580 znaków

2015-01-25 14:11
0
Avarentis napisał(a):

Głównie dlatego, że wartości wag na początku są zerowe, więc jak mam policzyć czynnik y?
Bazuję na opisie np. tutaj:
http://wiki.eyewire.org/en/Oja%27s_rule.

Dlaczego wagi masz na początku zerowe? Wagi dla wejść neuronu linearnego nie są zerowe.

Zakładając, że wejścia tego neuronu możesz zawrzeć w wektorze X = [x1, x2, ..., xk] i wag każdego z tych wejść W = [w1, w2, ..., wk], to poniższa formuła...

CodeCogsEqn.png

...daje w wyniku odpowiedź neuronu (na aksonie) jako sumę informacji ze wszystkich wejść X o wagach W. Nigdy, w żadnym neuronie, dla wszystkich wejść, wagi nie mogą się równać 0, bo neuron by umarł. Nawet jeżeli dla części wejść określisz wagę na 0, a nie zapewnisz modyfikacji wag tych wejść na przykład poprzez sprzężenie zwrotne, to wejścia te również zginą. Chociaż jedno z wejść musi posiadać wagę większą od zera, a reszta wejść musi mieć wagi modyfikowalne. Inaczej ich istnienie mija się z celem.

PS poza tym sam widzisz po wzorze na zmianę wagi...

xxx.png

Oja's rule is simply Hebb's rule with weight normalization, approximated by a Taylor series with terms of Oja2.png ignored for n>1 since η is small.

...że wszystkie wagi nie mogą być zerowe, bo w takiej sytuacji ich byt nie ma sensu. Jak ma zmienić się waga danego wejścia (poprzez przepływ informacji), skoro informacja na wszystkich wejściach ma wagę równą 0? :)


The quieter you become, the more you are able to hear.
edytowany 2x, ostatnio: Gjorni, 2015-01-25 14:23

Pozostało 580 znaków

2015-01-27 23:01
0

Wybacz, że tak późno, ale dopiero do tego wróciłem.
Hmm... wymyśliłem sobie więc coś takiego:
Ustalam pierwotne wagi metodą Hebba, a potem koryguję je Oji'm. Niestety otrzymuję teraz puste wyniki, jak analiza wzorca. Powód: niektóre wartości macierzy wag są tak niskie, że wchodzą w NaN...
Wiesz może co tutaj robię źle:

def matrix_preparation(input_patterns):
    n = len(input_patterns)
    num_neurons = len(input_patterns[0])
    weights = np.zeros((num_neurons, num_neurons))
    for i in range(num_neurons):
        for j in range(num_neurons):
            # if i == j:
            #     continue
            for m in range(n):
                weights[i, j] += input_patterns[m][i] * input_patterns[m][j]
    weights /= n
    return weights 
 def oja_training(network, input_patterns):
    """Ucz sieć metodą Oja"""
    u = 0.8  # współczynnik prędkości uczenia

    n = len(input_patterns)
    num_neurons = network.get_weights().shape[0]
    weights = matrix_preparation(input_patterns)

    for i in range(num_neurons):  # i do kogo wchodzi
        for j in range(num_neurons):  # j od kogo wychodzi
            if i == j:
                continue
            for pattern in input_patterns:
                V = 0.0
                for k, signal in enumerate(pattern):
                    V += signal * weights[i, k]
                weights[i, j] += u * V * (pattern[i] - V * weights[i, j])

A = [0, 0, 0, 0, 0, 0, 0,
     0, 0, 1, 1, 1, 0, 0,
     0, 1, 1, 0, 1, 1, 0,
     0, 1, 0, 0, 0, 1, 0,
     0, 1, 1, 1, 1, 1, 0,
     0, 1, 0, 0, 0, 1, 0,
     0, 1, 0, 0, 0, 1, 0,
     1, 1, 0, 0, 0, 1, 1]

B = [0, 1, 1, 1, 1, 0, 0,
     0, 1, 0, 0, 0, 1, 0,
     0, 1, 0, 0, 0, 1, 0,
     0, 1, 1, 1, 1, 0, 0,
     0, 1, 0, 0, 0, 1, 0,
     0, 1, 0, 0, 0, 1, 0,
     0, 1, 1, 1, 1, 0, 0,
     0, 0, 0, 0, 0, 0, 0]

T = [1, 1, 1, 1, 1, 1, 1,
     1, 0, 0, 1, 0, 0, 1,
     0, 0, 0, 1, 0, 0, 0,
     0, 0, 0, 1, 0, 0, 0,
     0, 0, 0, 1, 0, 0, 0,
     0, 0, 0, 1, 0, 0, 0,
     0, 0, 0, 1, 0, 0, 0,
     0, 0, 1, 1, 1, 0, 0]

O = [0, 0, 1, 1, 1, 0, 0,
     0, 1, 0, 0, 0, 1, 0,
     1, 0, 0, 0, 0, 0, 1,
     1, 0, 0, 0, 0, 0, 1,
     1, 0, 0, 0, 0, 0, 1,
     1, 0, 0, 0, 0, 0, 1,
     0, 1, 0, 0, 0, 1, 0,
     0, 0, 1, 1, 1, 0, 0]

M = [1, 0, 0, 0, 0, 0, 1,
     1, 1, 0, 0, 0, 1, 1,
     1, 0, 1, 0, 1, 0, 1,
     1, 0, 0, 1, 0, 0, 1,
     1, 0, 0, 0, 0, 0, 1,
     1, 0, 0, 0, 0, 0, 1,
     1, 0, 0, 0, 0, 0, 1,
     1, 0, 0, 0, 0, 0, 1]

U = [0, 1, 0, 0, 0, 1, 0,
     0, 1, 0, 0, 0, 1, 0,
     0, 1, 0, 0, 0, 1, 0,
     0, 1, 0, 0, 0, 1, 0,
     0, 1, 0, 0, 0, 1, 0,
     0, 1, 0, 0, 0, 1, 0,
     0, 1, 0, 0, 0, 1, 0,
     0, 0, 1, 1, 1, 0, 0]

X = [1, 1, 0, 0, 0, 1, 1,
     0, 1, 0, 0, 0, 1, 0,
     0, 0, 1, 0, 1, 0, 0,
     0, 0, 0, 1, 0, 0, 0,
     0, 0, 0, 1, 0, 0, 0,
     0, 0, 1, 0, 1, 0, 0,
     0, 1, 0, 0, 0, 1, 0,
     1, 1, 0, 0, 0, 1, 1]

def konwert(mac):
    for i in range(len(mac)):
        mac[i] = mac[i] * 2 - 1
    return mac

wzorce = list()
wzorce.append(konwert(A))
wzorce.append(konwert(B))
wzorce.append(konwert(O))
wzorce.append(konwert(T))
wzorce.append(konwert(M))
wzorce.append(konwert(U))
wzorce.append(konwert(X))
edytowany 2x, ostatnio: Avarentis, 2015-01-28 13:25
Zapodaj jeszcze przykładowe dane wsadowe do metod. PS korzystaj z odpowiednich tagów do formatowania kodu <code=python> tutaj kod </code>. - Gjorni 2015-01-28 12:17
WoW, nie wiedziałem, że jest tag na pythona. Dziękuję. A dane wstawię za paręnaście minut, bo idę na wykład. - Avarentis 2015-01-28 12:46
Dodane wzorce wejściowe. Ponieważ lepiej widać jak są 0/1 to jest też metoda konwert. - Avarentis 2015-01-28 13:26
Jaki argument podajesz metodzie oja_training w parametrze network? Bo jak zakładam, pod input_patterns podstawiasz wzorce? - Gjorni 2015-01-28 13:44
network to obiekt typu sieć Hopfielda. Zasadniczo nie ma tutaj znaczenia, bo słuzy tutaj tylko do przypisania macierzy wag, ewentualnie w tej implementacji (mam jeszcze jedną) do pobrania rozmiaru macierzy wag. - Avarentis 2015-01-28 15:12
Zapodaj proszę jakiś pełny, działający przykład, w którym uwidoczniony jest Twój problem. - Gjorni 2015-01-28 18:19

Pozostało 580 znaków

Odpowiedz
Liczba odpowiedzi na stronę

1 użytkowników online, w tym zalogowanych: 0, gości: 1, botów: 0