DEEPDOC.AT - enjoy your brain

Benutzer-Werkzeuge

Webseiten-Werkzeuge

Zuletzt angesehen:
ki-ai:ai_sammelthread

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen der Seite angezeigt.

Link zu der Vergleichsansicht

Beide Seiten, vorherige ÜberarbeitungVorherige Überarbeitung
ki-ai:ai_sammelthread [2025/12/14 15:11] – johnnyki-ai:ai_sammelthread [2025/12/18 22:54] (aktuell) – boospy
Zeile 2: Zeile 2:
    
 FIXME FIXME
 +
 +Deepseek R1 (14B) und höher sind brauchbare Modelle zum Spielen.
  
   * https://github.com/mudler/LocalAI   * https://github.com/mudler/LocalAI
Zeile 13: Zeile 15:
 </code> </code>
 Dann einfach die Modelle herunter laden und ausführen. Dann einfach die Modelle herunter laden und ausführen.
 +
 +===== vLLM statt ollama =====
 +Deepseek R1 (14B) und höher sind brauchbare Modelle zum Spielen.
 +
 +  * https://github.com/vllm-project/vllm
 +  * https://docs.vllm.ai/en/latest/getting_started/installation/gpu/
 +  * https://nvidia.github.io/libnvidia-container/stable/
 +  * https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html
ki-ai/ai_sammelthread.1765725093.txt.gz · Zuletzt geändert: von johnny