Czy macie jakieś ciekawe materiały na temat sortowania i buforowanie dużej ilości informacji napływających w jednostce czasu? Dajmy na to, że dostaje około 21 danych wejściowych [jakby w postaci logu] na sekundę; Jak mógłbym to w miare sensownie, wydajnie zbuforować by potem je posortować? Poprosił bym o jakieś wskazówki i jeśli by ktoś miał to i materiały.
0
0
Chcesz z np: 21 wątków wsadzać dane do jednej kolekcji ?
0
nie, bardziej tak jakby każdy z wątków mógł mi wysyłać 21 'logów' na sekunde a ja bym chciał to przetworzyć nie tracąc tych danych;
0
Chyba nie do konca zrozumialem o co Ci chodzi, ale jesli musisz przetwarzac potezne ilosci danych, ktore musisz miec rowniez szybko i sprawnie utrwalone, to zainteresuj sie memory mapped files. Jest bardzo fajne, gotowe rozwiazanie: https://github.com/OpenHFT/Chronicle-Queue