witam
Mam pytanie odnośnie Hadoop, mianowicie mam napisać projekt który robi analizę danych,
teraz na przykładzie średniej kroczącej (moving average), za bardzo nie wiem jak ingerować w sam algorytm map/reduce
więc wymyśliłem coś takiego że
w metodzie map dodaje wczytane rekordy do kolejki po czym np. dla MA3 po trzech rekordach przekazuje je do reduce jako daną Text (typ danych hadoop) i z kolejki odejmuje 1 dodanego (kolejka fifo)
krok 1 => n, n+1, n+2
krok 2 => n+1, n+2, n+3 ...
w metodzie reduce przetwarzam zmienna Text i wyliczam średnie które lądują w pliku wynikowym,
tak więc dla pliku z 10 rekordami przesłanie danych mam 7 razy
Chciałem zrobić tak że podział danych wykonuje po stronie map a w reduce liczy średnie, ale coś mi poszło nie tak z przesyłaniem
więc zostałem czy 1 rozwiązaniu
Pytanie czy ktoś wie jak zaimplementować to inaczej i co sądzi o moim sposobie ?