Maksymalna ilość wpisów na sekundę

0

Szukam rozwiązania, które umożliwiło by zapis 100000 rekordów do bazy w ciągu jednej sekundy. Znacie jakieś sensowne rozwiązania, które umożliwiły by taką wydajność?

0

Jak długo? Ile w sumie tych wpisów będzie?
Może jakaś baza pamięciowa, jeśli niezbyt dużo...

0

Bigtable, cassandra, ogólnie do takich celów to chyba tylko nosql się nadaje.
Jak duże będą te dane i co z nimi chcecie robić? Może wystarczy postgres i keszowanie w ramie?

//w moim projekcie, w którym liczba insertów/s oscyluje w okolicach 50k, a dane są małe, jednak z góry posortowane w czasie korzystałem z postgresa z własnym wrapperem na dane, które wrzucałem do plików w duuużym ramdisku. Dane są małe więc chodziło mi o oszczędność miejca, więc struktury standardowe postgresa odpadają, co jakiś czas dane są zrzucane na hdd (chodzi zarówno o bezpieczeństwo jak i jak najmniejszą fragmentację danych).
Wtyczkę można napisać dość łatwo, jest fajny przykład w contrib/file_fdw/file_fdw.c http://www.postgresql.org/docs/9.1/static/fdwhandler.html

0

Ilość zmiennych może nie jest strasznie duża ale częstotliwość zapisu jaką sobie ktoś przyjął jest powalająca.
12000 zmiennych próbkowanych 100/s. Dodatkowo wszystkie zmienne muszę być zapisywane.
Co do samych rodzajów zmiennych to są to analogi i binarne.

Obecnie udało mi się wpisać do postgresa 3000 wpisów na sekundę (4 wątki jednocześnie - zwiększenie ilości wątków nie zwiększyło wydajności)
obecnie mój pomysł to pogrupowanie tych danych na wiele tabel. W każdej z nich po 1000 zmiennych jednocześnie. Tylko jak z wydajnością przy wpisywaniu danych do tak dużych tabel? Nie mam z takimi elementami jeszcze doświadczenia ale jakoś to musi dać się logicznie rozwiązać.
Rozważam nawet możliwość postawienia 2 PC aby to można było pociągnąć bez problemów. Chociaż wydaje mi się, że najpierw trzeba dobrze wszystko zoptymalizować.

0

a moze sql server - partycjonowanie, filegroup i tabela stageingowa?
mssql tak osiagnal rekord swiata w przypadku operacji insert.

http://blogs.msdn.com/b/sqlperf/archive/2008/02/27/etl-world-record.aspx

1 użytkowników online, w tym zalogowanych: 0, gości: 1