Deepseek R1 (14B) und höher sind brauchbare Modelle zum Spielen.

• https://github.com/mudler/LocalAI
• https://jeffser.com/alpaca/installation-guide.html
• https://github.com/nomic-ai/gpt4all
• https://www.heise.de/ratgeber/So-richten-Sie-lokale-KI-gratis-als-Schreibhilfe-fuer-Geschichten-und-Co-ein-10661260.html?giftToken=8076689b-98ce-4c88-9c31-389fb2b17803
• https://docs.openwebui.com/getting-started/quick-start/starting-with-ollama/

flatpak install com.jeffser.Alpaca com.jeffser.Alpaca.Plugins.Ollama com.jeffser.Alpaca.Plugins.AMD

Dann einfach die Modelle herunter laden und ausführen.

Deepseek R1 (14B) und höher sind brauchbare Modelle zum Spielen.

• https://github.com/vllm-project/vllm
• https://docs.vllm.ai/en/latest/getting_started/installation/gpu/
• https://nvidia.github.io/libnvidia-container/stable/
• https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html