Wstęp (można pominąć, pytanie będzie potem. Wstęp po to żeby podrzucić kontekst, możemy też sobie o samym temacie pogadać, nie tylko o tym co w tytule wątku :))
Mam bardzo fajny zespół, zajaranych technikaliami ludzi (no, może nie licząc mnie, przybliżając sposób myślenia - mnie w obecnym momencie życia by do głowy nie przyszło żeby rekreacyjnie sobie np. basha ogarniać, bo jak nie czuję bieżącego zapotrzebowania na coś to nie będę siedział i się uczył jakiegoś klikania w kąkuter jeśli nie odczuwam braku znajomości czegoś, nawet jeśli masa osób uważa, że to jakieś podstawy, które każdy powinien mieć), nawet spoko projekty też mi się trafiły. Problem w tym, że te projekty to utrzymanie. Ja akurat jestem z osób bardzo ceniących utrzymanie, bo dzięki niemu mogę wpaść na rozwiązania, których sam bym na pewno nie zastosował, tyle że z drugiej strony nurkowanie w czyimś kodzie przez cały czas nie wyczerpuje mojej potrzeby nabywania skilli developerskich, bo jakoś taki wybrakowany się czuję, nawet nie wiedziałbym od czego zacząć pisanie dobrego projektu, bo nigdy z tworzeniem nowego rozwiązania (poza modelami statystycznymi/ML) nie miałem nic wspólnego, co najwyżej kiedyś ruszałem sobie hobbystycznie jakieś dziadostwo w Javce. W sumie wydaje mi się nawet, że tworzenie szkieletu aplikacji mogłoby być dla mnie ciekawsze niż faktyczne kodzenie (to jest to słynne bycie architektem?).
Co jest do zrobienia
Chciałbym teraz napisać projekt, który będzie pobierał dane z zewnętrznego źródła, ładował je do bazki (Azure Storage przez cosmosdb). Główna aplikacja przetwarzająca dane ma stać na Scali, dane mają być przetwarzane przez Sparka.
Problem: powiedzmy że urządzenia wysyłają jakieś dane. Jak je przejąć i wysłać do bazki? Powidzmy że producent udostępnia API, do którego mogę się dobić i je uzyskać. Co powinno znaleźć się między tym API a Storagem? Co powinno odpytywać API i przesyłać dane do Storage'a? Zawsze byłem użytkownikiem danych, a nawet jeśli je przetwarzałem to po prostu ciągnąłem już z wcześniej przygotowanej hurtowni.
Główne pytanie
Macie jakieś pomysły na urządzenia, które generują dane możliwe do uzyskania? Do tej pory myślałem o swoim telefonie, smartbandzie, hulajnodze elektrycznej. Macie jakieś inne pomysły, które będą bardziej ciekawe? Mogę nawet wyskoczyć z kasy jak coś mnie nakręci. W poprzedniej pracy mieliśmy do zabawy np. czujniki wilgotności, temperatury, ruchu (firma zajmująca się obsługą biur).