Co wybrać dla mln rekordów - kod w PHP, czy funkcje na bazie?

0

Mam do przetworzenia milion rekordów co 5 minut. Nie znaczy to ze ten milion ma byc obliczony iprzetworzoy w tym czasie. tylko ze co 5 min tabela przyrasta sukcesywnie oczywiscie o milon rekordow. Teraz tak algorytm wyglada tak:

  1. pobierz milion rekordow
  2. dla jednej z kolumn sprawdz roznice i wstaw wynik czy wieksza czy mniejsza
  3. zrob update dla kazdego rekordu

Lepiej zatem zastosowac kod w php czy lepiej zrobic to w funkcji na bazie ?
I czy update lepiej zrobic np zerbac co 100 ID i zrobic UPDATE table WHERE id IN (, , , , ... 100 idikow)
czy lepiej po jednym update robic ?

Help

0

Z pewnością w bazie trzymaj tylko aktualne dane, gotowe do użycia, czyli za każdym razem jak pojawi się nowy wpis, to zrób z nim co trzeba i dopiero w takiej formie wrzuć do bazy. W przeciwnym przypadku jak się projekt rozrośnie, to tego nie utrzymasz.

Poza tym wyobraź sobie sytuację że w tym czasie pomiędzy updatami coś się posypie i Ci tych rekordów nie zaktualizuje. Życzę powodzenia w wyszukiwaniu tych niepoprawnych(zakładając że nie wiesz w którym momencie dokładnie się wysypało) :D

1 użytkowników online, w tym zalogowanych: 0, gości: 1