Ollama mit SideNote Pro für lokale KI nutzen

Was Ollama ist und was nicht

Ollama ist eigene Software, die Sprachmodelle herunterlädt und lokal ausführt. SideNote Pro bringt sie nicht mit, installiert sie nicht und liefert die Modelle nicht. SideNote Pro stellt einen Client bereit, der mit ihr sprechen kann.

Ollama bietet neben seiner eigenen eine OpenAI-kompatible API an, und das macht dies möglich. SideNote Pro behandelt sie wie jeden anderen kompatiblen Endpunkt: GET /models zum Testen und Auffinden, POST /chat/completions zum Erzeugen.

Einrichtung

1. Ollama installieren und ein Modell ladenFolgen Sie der eigenen Dokumentation von Ollama. Es muss mindestens ein Modell heruntergeladen sein, bevor irgendetwas antwortet, und der Name des Modells, das Sie geladen haben, ist die Modell-ID, die Sie verwenden.
2. Sicherstellen, dass der Ollama-Server läuftClient und Server sind getrennt. Wenn SideNote Pro den Endpunkt nicht erreicht, ist das das Erste, was Sie prüfen sollten.
3. In SideNote Pro ein Ollama-Profil hinzufügenSettings, AI providers, ein Profil hinzufügen und in der Liste Provider den Eintrag Ollama wählen. Die lokale Adresse, unter der Ollama normalerweise erreichbar ist, wird für Sie eingetragen.
4. Den API-Schlüssel leer lassenEine lokale Standardinstallation von Ollama verlangt keine Authentifizierung. Haben Sie sie hinter ein Gateway gestellt, das eine verlangt, tragen Sie den Schlüssel dieses Gateways ein.
5. Test & Load models wählen und eines auswählenDie Schaltfläche fragt Ihren lokalen Server, was er bereitstellt, und füllt die Auswahl Model mit den Modellen, die Sie geladen haben. Wählen Sie eines oder tippen Sie seinen Namen ein.

Context window in SideNote Pro ändert nicht den Kontext, mit dem Ollama ein Modell ausführt. Ollama wählt seinen Standard nach dem Speicher Ihrer Grafikkarte: 4.096 Token unter 24 GiB Videospeicher, etwa 32.000 von 24 bis 48 GiB und etwa 256.000 ab 48 GiB, es sei denn, OLLAMA_CONTEXT_LENGTH oder die eigene Konfiguration des Servers legt eine andere Größe fest. Ein Ollama-Profil zeigt unter der Einstellung einen Hinweis dazu. Weicht die Größe Ihres Servers von den 128K bei Auto ab, wählen Sie Custom und tragen Sie die Größe ein, die der Server tatsächlich verwendet, damit SideNote Pro jede Anfrage so plant, dass sie hineinpasst.

Settings › AI providers

Was sich wirklich ändert, wenn Sie lokal arbeiten

SideNote Pro kann für Software von Drittanbietern keine Garantien geben. Es kontrolliert das Ziel der Anfrage. Ob dieses Ziel alles auf Ihrem Rechner hält, hängt davon ab, wie Sie Ollama konfiguriert haben, und die eigene Dokumentation von Ollama ist dafür maßgeblich.

Realistische Erwartungen an lokale Modelle

• Cloud-Modelle sind nicht lokal. Sobald Sie sich bei Ollama anmelden, kann es Modelle auch auf eigenen Servern ausführen, etwa gemma4:cloud. Eine Anfrage an eines dieser Modelle verlässt Ihren PC. Verwenden Sie ein heruntergeladenes Modell oder schalten Sie die Cloud-Funktionen von Ollama aus, wenn die Anfrage hier bleiben muss.
• Bildeingabe hängt vom Modell ab. Manche lokalen Modelle nehmen Bilder an, andere nicht. Wenn Bilder ignoriert zu werden scheinen, liegt es am Modell. Siehe Screenshots und Bilder.
• `reasoning_effort` wird möglicherweise ignoriert. Lassen Sie es auf Provider default, es sei denn, das konkrete Modell dokumentiert die Unterstützung.
• Nutzungsmetadaten können fehlen. SideNote Pro greift dann auf lokale Token-Schätzungen zurück. Für ein lokales Modell gibt es keine Rechnung einer gehosteten API, die sich abgleichen ließe.
• Langer Kontext kostet Zeit. Eine lange Unterhaltung, ein großes angehängtes Dokument oder eine Anfrage mit Ordnersuche bedeutet lokal sehr viele Token, die verarbeitet werden müssen. Hilfreich ist es, Context window bei diesem Profil auf einen kleineren Wert unter Custom zu setzen.
• Die Kontextverdichtung ruft das Modell trotzdem auf. Ein lokales Modell verursacht keine API-Kosten, aber die Verdichtung beansprucht Ihre Hardware und Ihre Zeit.

Sie können ein gehostetes Profil für schwere Arbeit und ein lokales Profil für vertrauliche Arbeit behalten und im Eingabebereich zwischen ihnen wechseln. Siehe lokale Modelle für private Arbeitsabläufe nutzen.