Wer KI lokal betreibt, behält die volle Kontrolle über seine Daten. Doch Modell ist nicht gleich Modell: Während einige Modelle dedizierte Grafikkarten auf dem PC verlangen, laufen andere extrem effizient direkt auf dem Smartphone.
Hier ist die direkte Übersicht aller wichtigen Modell-Familien und ihrer Einsatzbereiche.
### Die Modell-Familien im direkten Vergleich
| **Modell-Familie** | **Entwickler** | **Modellgrößen** | **Hauptstärke / Einsatzgebiet** | **Eignung für PCs** | **Eignung für Smartphones** | **Lizenz** |
|---|---|---|---|---|---|---|
| **Qwen (2.5 / 3.5)** | Alibaba Cloud | 0.5B bis 32B+ | Absolute Spitze bei Code (HTML, CSS, Python), Skripten & genauen Befehlen | **Exzellent** (7B / 14B) | **Sehr gut** (0.5B / 1.5B / 3B) | Apache 2.0 (Echt frei) |
| **Llama (3.2 / 3.3)** | Meta | 1B, 3B, 8B, 70B | Weltweiter Standard-Allrounder für Textentwürfe & Allgemeinwissen | **Exzellent** (8B) | **Exzellent** (1B / 3B) | Llama Community |
| **Gemma** | Google | 2B, 7B, 9B | Kompakte Architektur, stark bei Zusammenfassungen & deutschem Text | **Sehr gut** (7B / 9B) | **Sehr gut** (2B) | Gemma Terms |
| **Phi (Phi-3 / Phi-4)** | Microsoft | 1B bis 14B | Extrem ressourcensparend; hohe Logik-Leistung auf schwacher Hardware | **Exzellent** (auf CPU) | **Exzellent** (Phi-3-mini) | MIT (Echt frei) |
| **DeepSeek Distill** | DeepSeek | 1.5B bis 32B | Komplexe Denkketten (Reasoning), Mathe & Logik für zu Hause | **Sehr gut** (7B / 8B) | **Bedingt** (1.5B Distill) | MIT (Echt frei) |
| **Mistral** | Mistral AI | 7B, 8x7B (MoE) | Starke europäische Sprachen-Unterstützung & effiziente Architektur | **Sehr gut** (7B) | **Nein** (zu schwer) | Apache 2.0 |
### Wie funktionieren lokale LLMs auf dem Smartphone?
Ja, moderne Smartphones haben mittlerweile genug Arbeitsspeicher (RAM) und Rechenleistung, um kompakte Sprachmodelle völlig **offline** auszuführen.
Dafür nutzt man spezialisierte Modell-Größen (1B bis 3B Parameter) im komprimierten `.gguf`-Format.
#### Die passenden Modell-Empfehlungen fürs Handy:
1. **Llama 3.2 (1B / 3B):** Entwickelt von Meta speziell für mobile Endgeräte. Extrem schnell bei geringem Akkuverbrauch.
2. **Qwen 2.5 / 3.5 (1.5B / 3B):** Der beste Begleiter für schnelle Notizen, Textüberarbeitungen oder kleine Code-Hilfen unterwegs.
3. **Phi-3-mini / Phi-4-mini:** Bietet starke argumentative Logik bei sehr kleinem Speicherbedarf.
### Die besten Open-Source-Apps für das Smartphone
Um die Modelle auf einem Android-Gerät oder mobilen Linux-System zu nutzen, braucht man lediglich eine passende App:
1. **MLC LLM / Chat (Open Source):**
- **Was es tut:** Eine schlanke, quelloffene App, die Modelle direkt auf dem Grafikchip des Smartphones (GPU) ausführt.
- **Vorteil:** Extrem hohe Verarbeitungsgeschwindigkeit und vollständig offline.
2. **PocketPal AI (Open Source):**
- **Was it tut:** Eine sehr benutzerfreundliche Oberfläche für lokale Modelle.
- **Vorteil:** Erlaubt es, `.gguf`-Dateien direkt in der App herunterzuladen oder eigene Modell-Dateien vom Speicher zu laden.
3. **Maid (Mobile AI Desktop):**
- **Was es tut:** Eine quelloffene Schnittstelle, die lokal auf dem Smartphone läuft und mit llama.cpp arbeitet.
- **Vorteil:** 100 % Tracking-frei und universell anpassbar.
### Empfehlungs-Zusammenfassung
- **Für den PC (Arbeitsplatz):** **Qwen-Coder (14B)** für Skripte & Web-Code oder **Llama 8B** für Texte.
- **Für das Smartphone (Unterwegs):** **Llama 3.2 (3B)** oder **Qwen (1.5B)** via **PocketPal AI** oder **MLC LLM** – für 100 % private Notizen ohne Mobilfunkverbindung.
Lokale Open-Source-LLMs im Vergleich: Vom PC bis zum Smartphone
Submitted 14 hours ago by
klabastern.wordpress.com@klabastern.wordpress.com to random@mbin.linuxnation.social
https://klabastern.wordpress.com/?p=765