Diese Anleitung führt dich Schritt für Schritt durch die Installation einer privaten KI-Umgebung.
Lenovo ThinkPad E14 Gen7 (Intel Core Ultra / Core 5, 16–32 GB RAM) – ideal für lokale LLMs.
Jeder Befehl kann per „Kopieren“-Button übernommen und direkt im Terminal eingefügt werden.
sudo apt update && sudo apt upgrade -y
sudo apt install -y curl git htop
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
sudo usermod -aG docker $USER
newgrp docker (danach Docker testen)
docker --version
curl -fsSL https://ollama.com/install.sh | sh
sudo systemctl status ollama
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
ollama run gemma3:1b
Nach Download kannst du direkt im Terminal chatten. In der WebUI (http://localhost:3000) kannst du über das Modell-Menü ebenfalls gemma3:1b auswählen.
ollama list # installierte Modelle anzeigen
Die folgende Tabelle zeigt empfehlenswerte Modelle – von 0,5 GB bis ~9 GB.
Klick auf „Copy“ hinter jedem Befehl, um sofort ollama run ... auszuführen.
💡 Faustregel: Wähle Modelle, deren Größe + RAM-Puffer zu deinem verfügbaren Arbeitsspeicher passen (16 GB → 7B Modelle, 32 GB → auch 16B möglich).
| # | Modell | Ollama Befehl | Größe | Empf. RAM |
|---|
ollama run llama3.2:3b) wird das Modell automatisch heruntergeladen. In der Open WebUI kannst du dann oben links das Modell wechseln.ollama ps um aktive Modelle zu sehen, ollama rm <name> um Speicher freizugeben.