Pod sieć neuronową 200x516, model językowy!
0
0
opisz coś więcej, chcesz sobie postawić w domu taki czy co?
0
tinybox
15000$ https://tinygrad.org/
1
Nonsensowne pytanie — im więcej kasy wydasz, tym będziesz mógł kupić mocniejszą maszynę, na której praca będzie szła sprawniej; a w przypadku uczenia maszynowego skaluje się to bardzo długo, tak do poziomu „możesz nawet całą serwerownię kupić”…
Ogólnie — chcesz karty nVidii, bo CUDA — stety czy niestety — jest dominującą technologią na rynku; oprócz tego może się przydać (w zależności od szczegółów modelu i tego, co ma robić) dużo dysków twardych — to się szybko rozrasta, plus dużo RAM-u. Procesor ma mniejsze znaczenie — nie można go całkowicie olać, i ostatecznie będzie stanowił tylko drobny ułamek całej kwoty, więc w sumie czemu nie zaszaleć, ale jak komuś brakuje kasy…
1
Pamiętam że modele językowe miały bardzo duże wymagania(jak na zabawy w domu). Chłopaki już dali przykłady. Ale może warto używać chmury? Zamiast walić 40 tys. Za kompa
2
MacBook Air + 1Gbit ethernet do AWS/Azure
0
Podstawowe pytanie – ile kasy?
Do "zabawy" (LLM 13B z 4-bitową kwantyzacją, jakieś StableDiffusion w rozmiarach 512x512) mi wystarcza obecnie RTX 3060 w wersji podstawowej, bo ma "aż" 12 GB VRAM w niskiej cenie, czego NVIDIA nie potrafiła osiągnąć nigdy później. Ale za chwile może się okazać, że potrzebujesz modeli w rodzaju Llama2 70B i wtedy już musisz mieć co najmniej 2x RTX 3090.
Albo może Mac i jego niższa wydajność, ale "unified memory" i wtedy można mieć spore modele w RAM.
Ale może jesteś bogaty i stać cię na jakieś H100 za 180 tysięcy?