Optymalizacja - algorytm gradientów sprzężonych

0

Cześć,
próbuję zrozumieć algorytm gradientów sprzężonych i mam małą wątpliwość.
Ogólny wzór na wyznaczenie kierunku to: pk = -gk + B(k-1)p(k-1), gdzie pk to kierunek zmiany zmiennej, -gk to pochodna, B(k-1) to parametr beta o którym za chwilę, a p(k-1) to kierunek z poprzedniej iteracji.
Moje pytanie dot. właśnie parametru beta, który wyznacza się np. tak (jest kilka sposobów):
B(k-1) = gkT
(gk-g(k-1))/(g(k-1)</sup>T*g(k-1))
i teraz pytanie:
czy parametr Beta wyznacza się dla każdej zmiennej oddzielnie czy dla wszystkich zmiennych jest on taki sam?
Bo nie wiem jak interpretować T we wzorze (od transponowany). Bo jeśli założymy, że gk to cały wektor pochodnych (gradient) to Beta będzie dla każdej zmiennej jednakowa. Natomiast jeśli gk odnosi się tylko do wybranej zmiennej (jej pochodnej) to T będzie oznaczać tylko mnożenie wybranych zmiennych (wektorów składających się z 1 zmiennej) i Beta będzie dla każdej zmiennej inna.
Czy może mnie ktoś oświecić :) będę ogromnie wdzięczny!
pozdrawiam i z góry dziękuję za pomoc!

0

Nawet nie wnikając w temat widać że B(i) zależy od g() oraz T. Jasne że pochodna dla jest ta sama niezależnie dla której zmiennej to liczymy. Więc wszystko upiera się w tą T - jest zależna od zmiennej którą liczymy czy nie.

0
_13th_Dragon napisał(a):

Nawet nie wnikając w temat widać że B(i) zależy od g() oraz T. Jasne że pochodna dla jest ta sama niezależnie dla której zmiennej to liczymy. Więc wszystko upiera się w tą T - jest zależna od zmiennej którą liczymy czy nie.

Ups, chyba coś z moim wzorem się kopło :/. Poza tym, pisanie w html-u wzorów matematycznych nie jest dobrym pomysłem dlatego poniżej zdjęcie z fragmentu książki:
[URL=http://www.fotosik.pl][IMG]http://images37.fotosik.pl/1902/6fae22b13f1a63c9med.jpg[/IMG][/URL]

T nie jest zmienną tylko oznacza transpozycję macierzy/wektora (obrócenie jej na bok). Nie wiem tylko czy podane w tym wzorze wektory pochodnych (gradienty) zawierają wszystkie zmienne czy dla każdej zmiennej trzeba wyliczyć parametr Beta oddzielnie - coraz bardziej wydaje mi się, że parametr jest jeden dla wszystkich.
Czy mógłby ktoś to potwierdzić lub temu zaprzeczyć?
Z góry dziękuję i pozdrawiam.

0

Coś się kopło tym razem ze zdjęciem -.-.
Tutaj link: http://www.fotosik.pl/pokaz_obrazek/6fae22b13f1a63c9.html
A jak się uda to inne opcje:
[URL=http://www.fotosik.pl/showFullSize.php?id=6fae22b13f1a63c9][IMG]http://images37.fotosik.pl/1902/6fae22b13f1a63c9m.jpg[/IMG][/URL]

1 użytkowników online, w tym zalogowanych: 0, gości: 1