Rozwiązania maszyn o dużej mocy obliczeniowej

Posiadam aplikację w Pythonie która trenuje modele ML i na ich podstawie wykonuje predykcje. Oszacowałem że na moim skromnym sprzęcie pełny proces będzie trwał jakieś 2-3 lata. Doraźnie jestem w stanie ograniczyć ilość modeli do teoretycznie najlepszych i drastycznie skrócić cały potrzeny czas na wymagane obliczenia, choć w testach mi wychodziło że takie modele nie zawsze dają najlepsze wyniki.

Zacząłem się zastanawiać nad oddelegowaniem gdzieś w chmurę najbardziej czasochłonnej części procesu. Jedyne rozwiązanie które mi na chwilę obecną przychodzi do głowy to wykupienie z miesięcznym abonamentem jakiegoś mocnego VPS, skonfigurowania go i liczenie wszystkiego na nim.

Czy będziecie w stanie poradzić mi jakieś inne ciekawe komercyjne rozwiązania? Zakup stacjonarnego sprzętu nie wchodzi w grę.

np w chmurze googla możesz wykupić sporo mocy i zapłacić tylko za okres użycia, pewnie tak jest w każdej dużej chmurze.

Jeśli złożenie własnego sprzętu nie wchodzi w grę to zostaje tylko cloud jeśli mówimy o sensownej mocy.

a trenujesz na GPU? Nie polecam kupowania zwykłych VPSów bo nawet te potężne mogą być będą znacznie gorsze niż dedykowane rozwiązania pod to z liczeniem na GPU a wtedy to faktycznie zajmie 3 lata. Szukaj rozwiązań chmurowych dedykowanych ML - z tego co widzę trzeba się spodziewać ceny około $1 / godzinę wzwyż, ale miej na uwadze że nie zajmie to na takim sprzęcie 3 lat, a maksymalnie parę dni. Składając samemu sprzęt taniej nie wyjdzie, pomijając cenę kilku/kilkunastu/kilkudziesięciu/kilkuset tysięcy na sprzęt trzeba liczyć że i tak będzie to żarło co najmniej kilowat więc około złotówki na godzinę na sam prąd.

Moim zdaniem tylko chmura tu się sprawdzi. Jak budowaliśmy rozwiązanie do predykcji rozwiązań z obszaru geologii i sejsmologii to korzystaliśmy z Azure Machine Learning i działało to dobrze. Z tym że chmura to jedno, drugie to wybór odpowiedniej usługi w chmurze w zależności od tego jak te modele działają i w czym są napisane. Tu trzeba by zrobić dogłębną analizę bo bez tego to wróżenie z fusów.

obscurity napisał(a):

a trenujesz na GPU?

Mogę skonfigurować pod GPU. W ogóle to ciekawy wpis, nie pomyślałem wcześniej że mogą istnieć rozwiązania chmurowe stricte pod ML, ale w sumie to czemu nie? Dzięki @markone_dev sugeruje Azure ML, @obscurity masz jakieś z tym doświadczenia?

@bakunet

Dzięki @markone_dev sugeruje Azure ML

W żadnym wypadku nie sugeruję technologii :D Najpierw dogłębna analiza problemu a potem dobór usług i technologiczna masturbacja :P

Napisałem tylko że w podobnym projekcie korzystaliśmy z Azure ML i ta usługa robiła robotę. Nie twierdzę że w Twoim przypadku też się sprawdzi.

W czym konkretnie w Pythonie? SciPy/PyPI, TensorFlow? Wszystkie duże chmury mają jakieś rozwiązania do AI. Od "niskopoziomowych" czyli VM'ek z GPU/TPU, po wysokopoziomowe jak TensorFlow w Google Cloud.

markone_dev napisał(a):

Moim zdaniem tylko chmura tu się sprawdzi. Jak budowaliśmy rozwiązanie do predykcji rozwiązań z obszaru geologii i sejsmologii to korzystaliśmy z Azure Machine Learning i działało to dobrze.

Z ciekawości, jakieś narzędzia dla oil&gas czy ostrzeganie sejsmiczne?

markone_dev napisał(a):

Z tym że chmura to jedno, drugie to wybór odpowiedniej usługi w chmurze w zależności od tego jak te modele działają i w czym są napisane. Tu trzeba by zrobić dogłębną analizę bo bez tego to wróżenie z fusów.

Rekursywne modele LSTM i Bidirectional LSTM, pisane w Pythonie + TF2. Ale rozejrzę się w Azure i ew. wrócę z kolejnymi pytaniami.

@bakunet:

Z ciekawości, jakieś narzędzia dla oil&gas czy ostrzeganie sejsmiczne?

ML dla Oil & Gas, obecnie analityka danych z obszaru badań klinicznych.

Rekursywne modele LSTM i Bidirectional LSTM, pisane w Pythonie + TF2.

Identyczny stack ML uruchamialiśmy w Azure Machine Learning. Mieliśmy plan porównać to z GCP, ale klient nie dał kasy :P

Ciekawostka w temacie, są firmy które wynajmują sprzęt komputerowy, jak zdążyłem rzucić okiem, ok 40zł/dobę za laptop, 10zł/dobę komputer przy wynajeciu na 30 dni, jutro podzwonię o szczegóły odnośnie specyfikacji, można customizować itp, może to być dla mnie ciekawą alternatywą dla rozwiązań chmurowych :)