Zbieranie i analiza danych z sensorów - wybór technologii

0

Witam,
W ramach projektu uczelnianego będziemy tworzyć prototyp aplikacji zbierającej, analizującej i wizualizującej dane z czujników pomiarowych. Dane mają być dostarczane przez HTTP, czujników ma być kilkaset lub więcej. Dodatkowe ograniczenia to język - Java, baza danych - ma być nierelacyjna, "raczej mała" (do 1 tys. zapisów/s, do 10TB). W sieci znalazłem informację o systemach OLAP, ale wszystkie, do których dotarłem bazują na bazach relacyjnych.
W związku z tym, że nie mam żadnego doświadczenia z podobnymi systemami, proszę o sugestie jakie narzędzia, frameworki itp. będą odpowiednie do takiego zadania.

1

Myślę, że ważnym aspektem wśród wymagań będą u ciebie dwie rzeczy:

  1. Online czy offline - Czy twoja wizualizacja ma się zmieniać dynamicznie? Czy też cyklicznie, jednorazowo dostaniesz pewną ilość danych

  2. Okres, co jaki będą u ciebie odbierane dane - Jeśli będzie krótki i wizualizacja ma być online, no to wówczas obliczenia nie mogą być zbyt skomplikowane, żeby zdążyły się wykonać (mówię tu także o połączeniu z bazą danych o której wspomniałeś).

0

Dane mają być dla różnych czujników będą dostarczane mniej lub bardziej regularnie w "niewielkich odstępach czasowych", łącznie do kilkuset na sekundę. System ma być gotowy również na odbieranie danych przesyłanych w paczkach. Komunikacja będzie inicjowana przez urządzenia pomiarowe. Wizualizacja ma być aktualizowana na bieżąco tzn. po przyjściu danych z odpowiedniego czujnika, natomiast analityka i wykrywanie anomalii ma być wykonywana na danych przechowywanych w bazie.

W sieci znalazłem informacje o tzw. time-series databases np. InfluxDB, które wydają się być odpowiednie do takiego systemu. Byłbym wdzięczny za opinie czy warto iść w tym kierunku.

1 użytkowników online, w tym zalogowanych: 0, gości: 1, botów: 0