Jak zacząć generować tekst z modelami językowymi?

Witajcie

Chciałbym na swoim komputerze zainstalować jakiś model językowy do generowania tekstów w języku polskim, pobrać gotowy model.
Mam 32GB RAM, RTX 3060 12GB, i7-12700
Czy jest to możliwe na takim sprzęcie?

Z generowaniem obrazków nie mam problemów, w kilka, kilkanaście sekund powstają.
Używam ComfyUI, stable diffusion.

Nie za bardzo wiem jak zabrać się z generowaniem tekstów, nie trafiłem na dobry poradnik w Internecie.
Jakieś rady, coś prostego na początek.

Proszę o pomoc

https://huggingface.co/

IMO najłatwiej: https://github.com/oobabooga/text-generation-webui lub https://github.com/ggerganov/llama.cpp

Co do modelu – na 12 GB VRAM spokojnie zmieści ci się model typu 13B z kwantyzacją 4-bit, w rodzaju Llama2-13B https://huggingface.co/TheBloke/Llama-2-13B-chat-GPTQ, aczkolwiek bardzo dobry jest też model Mistral-7B https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-GGUF