Ollama - Lokale KI für alle

Die Open-Source-Plattform Ollama ermöglicht es, auf Linux, Windows und macOS lokal Sprach- und Multimodal-Modelle (LLMs) zu installieren und zu betreiben. Hier sind die wichtigsten Punkte:

• Sie bietet eine einfache CLI (ollama pull, ollama run, ollama create) für Modelle und lokale Inferenz.
• Unterstützt viele Modelle (beispielsweise Gemma 3, DeepSeek-R1, LLaMA Varianten) mit unterschiedlichen Grössen und Anforderungen.
• Hilft beim Importieren eigener Modelle (z. B. GGUF, safetensors) via Modelfile.
• Dokumentation vorhanden zu CLI-Referenz, Modelfile, Hardware-Anforderungen etc.
• Ziel: lokale Nutzung von KI-Modellen ohne zwingend Cloud-Abhängigkeit – ideal auch für Heim-PCs oder Entwicklungsumgebungen.
• Lizenz: MIT (siehe GitHub)

Für deinen Hintergrund als IT-Leiter und Betreiber von Linux-Servern könnte Ollama ein sehr gutes Werkzeug sein, wenn du z. B. lokal KI-Support für Webprojekte, Chatbots, Dokumentanalyse oder eigene Automatisierungen betreiben willst – insbesondere wenn Cloud-Kosten oder Datenschutz eine Rolle spielen.

Schnell-Installationsbeispiel unter Ubuntu (Linux)

Angenommen dein System: Ubuntu 24.04 LTS – wie du es nutzt. Hier ein typisches Setup:

# 1. Voraussetzungen (gilt bereits für Ubuntu intern): ggf. updaten
sudo apt update && sudo apt upgrade -y
# 2. Installation von Ollama (offizieller Ein-Zeiler)
curl -fsSL https://ollama.com/install.sh | sh

Nach der Installation kannst du verifizieren mit:

ollama version

Beispiel: Ein Modell herunterladen und laufen lassen:

# Modell „gemma3“ mit kleinerer Grössenvariante (z. B. 1 B) herunterladen
ollama run gemma3:1b

# Oder direkt chatten:
ollama run gemma3 "Hallo Ollama – wie geht’s?"

# Liste lokal installierter Modelle:
ollama list

# Weitere Operationen: # Modell löschen:
ollama rm gemma3:1b

Wenn du möchtest, hier eine kleine Shell-Script-Vorlage (z. B. install_ollama.sh) zur Wiederverwendung:

#!/usr/bin/env bash set -euo pipefail

echo "Installiere Ollama..."
curl -fsSL https://ollama.com/install.sh | sh

echo "Verifiziere Installation:"
ollama version || { echo "Ollama Installation fehlgeschlagen"; exit 1; }

echo "Download eines Basis-Modells (gemma3 1B):"
ollama run gemma3:1b || { echo "Modelllauf fehlgeschlagen"; exit 1; }

echo "Fertig." 

Welche Modelle eignen sich besonders für einen Heim-PC?

Da du einen relativ leistungsfähigen PC hast (Ryzen7 7700, RTX 5070 12 GB VRAM) kannst du durchaus grössere Modelle betreiben – dennoch gilt: je grösser das Modell, desto mehr RAM/VRAM und schneller die GPU sollte sein. Aus dem Ollama-README: „You should have at least 8 GB RAM verfügbar, um 7B-Modelle laufen zu lassen, 16 GB für 13B-Modelle, und 32 GB für 33B-Modelle.“ GitHub

Für deinen Heim-PC empfehle ich folgende „Sweet-Spots“: