dolphin3-on-linux

Dokumentation einer vollständigen lokalen KI‑Installation (LM Studio + Dolphin 3) unter Ubuntu Linux.
Diese Anleitung ermöglicht es jedem, die Installation vollständig zu reproduzieren – inklusive aller aufgetretenen Probleme und deren Lösungen.

---

1. Ziel der Installation

Diese Dokumentation zeigt, wie man unter Ubuntu:

• LM Studio als Desktop‑App installiert
• Dolphin 3 (Llama 3.1 8B) lokal nutzt
• Dokumente (PDF/TXT) lokal analysiert
• KI vollständig offline betreibt
• LM Studio ins Startmenü integriert

Alles funktioniert ohne Cloud, ohne Web‑UI und ohne Terminal im täglichen Betrieb.

---

2. Voraussetzungen

• Ubuntu Linux
• einmaliger Internetzugang
• keine GPU notwendig (Dolphin 3 läuft auf CPU)

---

3. LM Studio installieren

AppImage ausführbar machen

chmod +x LM-Studio-0.4.9-1-x64.AppImage

Wenn an dieser Stelle ein Problem auftritt, dann fehlen normalerweise Ausführungsrechte oder der Dateiname stimmt nicht exakt.
Lösung: Prüfen, ob die Datei im aktuellen Ordner liegt und der Name exakt übereinstimmt.

4. AppImage starten

Wenn das AppImage erfolgreich startet, kann mit dem nächsten Schritt fortgefahren werden.
Wenn an dieser Stelle die Fehlermeldung „AppImages require FUSE to run“ erscheint, dann ist FUSE2 nicht installiert.
Lösung:

sudo apt install libfuse2

5. AppImage erneut starten

Nach Installation von FUSE sollte das AppImage erneut gestartet werden.
Wenn an dieser Stelle der Fehler „The SUID sandbox helper binary was found, but is not configured correctly“ erscheint, dann funktioniert die Chrome‑Sandbox nicht korrekt.
Lösung:

./LM-Studio-0.4.9-1-x64.AppImage --no-sandbox

6. LM Studio dauerhaft verschieben

Damit LM Studio wie ein normales Programm genutzt werden kann, wird das AppImage an einen festen Ort verschoben.

mkdir -p ~/.local/bin
mv ~/Downloads/LM-Studio-0.4.9-1-x64.AppImage ~/.local/bin/LM-Studio.AppImage
chmod +x ~/.local/bin/LM-Studio.AppImage

7. Alias erstellen

Damit LM Studio einfach mit dem Befehl lmstudio gestartet werden kann, wird ein Alias gesetzt.

echo 'alias lmstudio="$HOME/.local/bin/LM-Studio.AppImage --no-sandbox"' >> ~/.bashrc
source ~/.bashrc

Wenn an dieser Stelle der Alias nicht funktioniert, dann wurde die Bash‑Konfiguration nicht neu geladen.
Lösung: Terminal schließen und erneut öffnen.

8. Icon installieren

Damit LM Studio visuell im Startmenü angezeigt wird, muss ein Icon im Icons‑Ordner liegen.

wget -O ~/.local/share/icons/lmstudio.png "https://static.cdnlogo.com/logos/l/68/lm-studio.svg"

Wenn an dieser Stelle ein Problem auftritt, dann konnte das Icon nicht heruntergeladen werden.
Lösung: Internetverbindung prüfen und erneut ausführen.

9. Desktop‑Eintrag erstellen

Damit LM Studio wie jede andere App im Ubuntu‑Startmenü erscheint, wird eine .desktop‑Datei erstellt.

nano ~/.local/share/applications/lmstudio.desktop

Inhalt:

[Desktop Entry]
Name=LM Studio
Comment=Run local AI models with LM Studio
Exec=/home/abdul/.local/bin/LM-Studio.AppImage --no-sandbox
Icon=/home/abdul/.local/share/icons/lmstudio.png
Terminal=false
Type=Application
Categories=Utility;AI;
StartupNotify=true

Aktivieren:

chmod +x ~/.local/share/applications/lmstudio.desktop
update-desktop-database ~/.local/share/applications/

Wenn an dieser Stelle LM Studio nicht im Menü erscheint, dann muss der Desktop‑Cache neu geladen werden.
Lösung: Abmelden oder System neu starten.

10. Dolphin 3 in LM Studio verwenden

LM Studio verfügt über einen integrierten Model‑Browser. Dolphin 3 muss nicht extern importiert werden.
Vorgehen:

LM Studio starten Models öffnen Browse auswählen „Dolphin“ suchen „Dolphin‑3‑Llama‑8B“ auswählen Load Model klicken

LM Studio – geladenes Dolphin‑3‑Modell

Wenn an dieser Stelle kein Modell angezeigt wird, dann ist die Modellliste nicht aktualisiert.
Lösung: LM Studio neu starten oder eine kurze Internetverbindung aktivieren.

11. AnythingLLM als lokale Knowledge Base einrichten

AnythingLLM ist eine eigenständige Anwendung, die auf dem Computer läuft und das Erstellen einer echten lokalen Knowledge Base ermöglicht.
Dokumente werden darin indexiert, gespeichert und können lokal durchsucht werden.
LM Studio dient dabei als KI‑Modell, während AnythingLLM die Dokumentverwaltung und die Wissensdatenbank übernimmt.
Laut bekannten Beschreibungen unterstützt AnythingLLM lokale RAG‑Funktionen, Dokumenten‑Uploads und Offline‑Nutzung.

https://lmstudio.ai/

Vorgehen (vereinfacht):

1. AnythingLLM installieren und starten
2. Neue „Workspace“ / „Knowledge Base“ anlegen
3. Dokumente hinzufügen (PDF, TXT, Markdown usw.)
4. In AnythingLLM als Modell „LM Studio (lokale API)“ auswählen
5. LM Studio muss dafür unter „Settings → API Server“ aktiviert sein
6. AnythingLLM verwendet dann Dolphin 3 über die lokale API für Antworten

Wenn an dieser Stelle ein Problem auftritt, dann ist in LM Studio der API‑Server nicht aktiviert oder AnythingLLM findet keinen lokalen Endpoint.
Lösung:
In LM Studio unter „Settings → API

detalierte Anleitung

AnythingLLM installieren

AnythingLLM AppImage per Installer Script herunterladen:

cd ~/Downloads
curl -fsSL https://cdn.anythingllm.com/latest/installer.sh -o installer.sh
chmod +x installer.sh
./installer.sh

Wenn ein Fehler auftritt, dann war der alte Download-Link falsch.
Lösung: Den offiziellen Installer benutzen.
Während der Installation erscheint: „Do you want to auto-create an AppArmor profile?“
Antwort: y (sonst startet AnythingLLM nicht korrekt)

AnythingLLM starten

./AnythingLLMDesktop.AppImage

Wenn die App nicht startet, dann ist keine AppArmor-Regel erstellt.
Lösung: Installer erneut ausführen.

Workspace (Knowledge‑Base) erstellen

In AnythingLLM:

1. Links „Workspaces“
2. „Create Workspace“
3. Namen eingeben
4. Workspace öffnen

Wenn ein Fehler auftritt, dann fehlen Schreibrechte im Config‑Ordner.
Lösung: AnythingLLM nicht als root starten.

Dokumente in den Workspace laden

In AnythingLLM:

1.Workspace → Documents 2. „Add Documents“ 3. PDFs/TXT/MD Dateien auswählen

AnythingLLM – Workspace & Dokumentbibliothek

Wenn das Dokument nicht erkannt wird, dann ist das Format nicht unterstützt.
Lösung: Datei als PDF oder TXT speichern.

LM Studio API‑Server starten

In LM Studio:

Links auf „Developer“ „Local Server“ Modell auswählen (Dolphin‑3‑Llama‑3.1‑8B) „Start Server“ URL merken:

http://127.0.0.1:1234/v1

Wenn kein Server startet, dann fehlt ein Modell.
Lösung: Dolphin‑3 laden.

AnythingLLM mit LM Studio verbinden

In AnythingLLM:

1. Links → AI Providers → LLM
2. „Show Advanced Settings“ klicken
3. Provider auswählen: LM Studio (wird automatisch erkannt)
4. Base URL eintragen:

http://127.0.0.1:1234/v1

5. Authentication Token (beliebig):

lmstudio

6. Speichern

AnythingLLM – LLM Provider Einstellungen (LM Studio)

Wenn Provider nicht angezeigt wird, dann sind Advanced Settings zugeklappt.
Lösung: „Show Advanced Settings“ öffnen.

Verbindung testen

In AnythingLLM → Workspace → Ask Workspace: Testfrage:

Test: Welche Dokumente kenne ich?

Wenn Dolphin 3 antwortet, dann funktioniert:

Beispiel eines hochgeladenen Dokuments

Erfolgreiche Dokumentanalyse (RAG) mit Dolphin 3

LM Studio API AnythingLLM Workspace Dolphin 3 Integration Deine lokale Knowledge‑Base

12. Nutzung

Nach der Einrichtung lässt sich LM Studio mit dem Alias schnell starten.

lmstudio

Wenn an dieser Stelle der Befehl nicht funktioniert, dann wurde die Bash‑Konfiguration nicht korrekt geladen.
Lösung:

source ~/.bashrc