Witam, w moim projekcie baza danych rozrosła się do ponad 50 gb i przewiduje, że do końca roku może się to podwoić. System zaczyna odczuwalne zwalniać, dla tego zainteresowałem się zagadnieniami związanymi z big data. System poza rozbudowana analiza danych musi sprawnie zarządzać klientani, przetwarzać ich zamówienia oraz miec jeszcze kilka odmiennych innych funkcji. W obecnej bazie mam ponad 150 tabel połączonych relacjami, i na tym baza najbardziej cierpi. Spodobała mi się ostatnio architektura lambda, z której korzystają javowcy, troszkę o niej poczytałem, i szukam czegoś podobnego dla .neta. Czy pracował ktoś z Was lub może polecić jakieś ciekawe rozwiązania dla dużych baz danych?
0
0
z opisy wynika ze w pol roku baza rosnie 50gb. To duzo (imo), czy na pewno architektura bazy jest odpowiednia?
1
Jak baza danych jest tak duża, to użycie ORM tylko spowolni wyciąganie i przetwarzanie danych. Powinieneś się skupić na optymalizacji samej bazy - denormalizacja, odpowiednie indeksy (kolumny w kolejności takiej, jak w warunkach w zapytaniach - czy też na odwrót, zapytania powinny mieć warunki w takiej kolejności jak są zdefiniowane w indeksie + wyciągane w select kolumny w dołączonych do indeksu kolumnach), namierzenie wąskich gardeł, wnikliwa analiza ich planu wykonania i realizacja wyciągniętych wniosków, być może partycjonowanie największych tabel, podzielenie na osobne bazy danych.
50GB (nie ma takiej jednostki jak gb) co pół roku to bardzo duży przyrost, co to za dane, coś z kablówki (Bright House?)? Przy tak dużej ilości danych niezależnie od optymalizacji potrzebujecie potężnego sprzętu.
0
A moze lepiej hadoop lub cos z tego typu rozwiazan? Przy takiej ilosci danych warto zaczac myslec o zmianie. No chyba ze baza jest naprawde kiepsko przemyslana.
0
imo 100GB danych transakcyjnych rocznie to nie tak duzo, zakladajac ze sprytnie sie to zorganizuje, jaka baza, konfiguracja i przeznaczenie?
mialam okazje pracowac z oracle i mssql ktore mialy po kilkanascie TB, teraz pracuje z baza nosql (kdb) ktora ma sredni przyrost 300-400GB dziennie :) wiec big data chyba nie jest koniecznoscia
1
nie wiem jak masz za modelowane dane, ale jeden node cassandry to http://stackoverflow.com/questions/7190573/cassandra-node-limitations #jakzwykletylkoJAVA
0
Architektura jest ok, wszystko znormalizowane, może 50 gb przesadziłem, ale o 30 urośnie na pewno. Trochę dużo tłumaczenia dla czego jest taka duża i co w niej siedzi.
0
Właśnie myślałem o jakimś rozwiązaniu z hadoop, na razie nie zapowiada się żadna większą zmiana, wiec mam czas aby w porę przenieść wszystko z MySQL na coś innego. Jeśli chodzi o dotychczasową architekturę, to wszystko działa na ef5, gdzie niestety zbyt wiele odbywa się w sposób narzucony przez framework.
0
Big Data?
Scala i Spark.
0
Witam, w moim projekcie baza danych rozrosła się do ponad 50 gb i przewiduje, że do końca roku może się to podwoić.
Czy w bazie rzeczywiście jest tyle danych, czy może przechowujesz coś po kilka razy, albo rzeczy zbędne, albo w nieoszczędny sposób?
0
w bazie nie przechowuję nic po 2 razy, jest dobrze przemyślana, być może przesadnie znormalizowana i dla tego może zwalniać. Mam teraz dylemat, czy przejść na jakieś rozwiązanie z hadoop czy jednak próbować walczyć z denormalizacją sqla. Wydaje mi się że denormalizacja miałaby sens, ale chciałbym skorzystać z okazji i opanować jakieś techniki pozwalające zarządzać TB danych. Może spotkał się ktoś z jakąś ciekawą literaturą na ten temat?