SideNote ProLokale Modelle für private Arbeit nutzen
Manche Arbeit sollte nicht zu einem gehosteten Anbieter gehen, und von Fall zu Fall unter Zeitdruck zu entscheiden ist der Weg, auf dem Fehler passieren. Ein lokales Profil macht aus dieser Entscheidung einen Wechsel mit einem Klick, den Sie vor dem Senden treffen.
Was „lokal“ hier tatsächlich bedeutet
Bei einem lokalen Anbieter wie Ollama oder LM Studio sendet SideNote Pro die Anfrage an localhost. Die Inferenz läuft auf Ihrer eigenen Hardware. Nichts geht an einen gehosteten KI-Anbieter. Das gilt für ein Modell, das Sie heruntergeladen haben; ein Cloud-Modell von Ollama läuft auf den Servern von Ollama.
Ein lokales Profil lohnt sich auch dann, wenn es nicht Ihr Alltagsstandard ist: Es hält die KI-Anfrage auf Ihrem Rechner, wenn die lokale Laufzeitumgebung dafür konfiguriert ist. SideNote Pro speichert außerdem Einstellungen, Verlauf, Ordnerindizes und Nutzung lokal. Der Lizenzdienst von BediniLabs wickelt davon getrennt die Autorisierung der Testversion und die Prüfung von Berechtigungen ab; er erhält keine KI-Anfragen.
SideNote Pro liefert das lokale Modell nicht mit und kann für Software von Dritten keine Garantien geben. Es bestimmt, wohin die Anfrage gesendet wird. Ob dieses Ziel alles lokal hält, hängt davon ab, wie Sie es konfiguriert haben, und maßgeblich ist die eigene Dokumentation dieser Software.
Wann Sie Arbeit lokal leiten sollten
- Inhalte unter vertraglicher Vertraulichkeit
- bei denen das Senden an einen Dritten eine Vereinbarung verletzen würde, unabhängig von den Richtlinien dieses Dritten.
- Personenbezogene Daten
- für deren Weitergabe an einen nicht geprüften Auftragsverarbeiter Sie keine Rechtsgrundlage haben.
- Unveröffentlichtes Material
- bei dem das Risiko nicht der Datenschutz ist, sondern die Offenlegung.
- Alles, was einer Beschränkung durch einen Kunden unterliegt
- die KI-Dienste von Dritten nennt.
- Wiederkehrende Arbeit in großem Umfang
- wie das massenhafte Umschreiben oder Zusammenfassen, bei der der Grund die Kosten sind und nicht die Vertraulichkeit.
- Offline arbeiten
- wo ein lokales Modell überhaupt das einzige verfügbare ist.
Die letzten beiden sind keine Gründe des Datenschutzes. Lokale Profile sind für Kosten und Verfügbarkeit ganz unabhängig von der Vertraulichkeit nützlich.
Die Aufteilung in zwei Profile
- Behalten Sie Ihr gehostetes Profil als StandardEs ist für die gewöhnliche Arbeit leistungsfähiger und schneller. Die meisten Anfragen sollten weiterhin dorthin gehen.
- Fügen Sie ein lokales Profil hinzuWählen Sie Ollama oder LM Studio aus der Liste Provider, und die lokale Adresse wird eingetragen. Geben Sie ihm einen unverwechselbaren Namen, etwa Lokal, privat, damit die Auswahl im Eingabebereich keinen Zweifel lässt.
- Wechseln Sie vor dem Anhängen, nicht danachWechseln Sie zuerst das Profil, hängen Sie dann das Dokument an. In dieser Reihenfolge kann ein falsch getimter Tastendruck die Datei nicht an den falschen Ort schicken.
- Prüfen Sie die Auswahl vor dem SendenDer Eingabebereich nennt das Profil und das Modell, die die nächste Anfrage erhalten. Ein Blick ist die ganze Absicherung.
Settings › AI providers
Worauf Sie verzichten
Lokale Modelle haben andere Grenzen, und sie zu kennen hilft Ihnen, die richtigen Aufgaben zu wählen:
| Lokal | Gehostet | |
|---|---|---|
| Fähigkeiten | Begrenzt durch Ihre Hardware | Im Allgemeinen höher |
| Tempo | Hängt von Ihrer GPU ab, oft langsamer | Meist schneller |
| Kosten je Anfrage | Keine | Nach Verbrauch |
| Bildeingabe | Bei kleinen Modellen unüblich | Bei aktuellen Modellen üblich |
| Langer Kontext | Zeitlich teuer | Wird besser bewältigt |
| Verfügbarkeit | Der lokale Server muss laufen | Erfordert ein Netzwerk |
| Ziel der Daten | Ihr Rechner | Ihr Anbieter |
Praktische Anpassungen: Legen Sie bei einem lokalen Profil ein kleineres Custom context window fest, denn bei der Verarbeitung des Prompts schadet lokale Hardware am meisten; rechnen Sie damit, dass die Kontextverdichtung spürbar langsam ist, weil sie ein vollständiger Modellaufruf auf Ihrem eigenen Rechner ist; und prüfen Sie die Unterstützung von Bildern, bevor Sie annehmen, dass ein Screenshot funktioniert.
Eine realistische Erwartung
Ein kleines lokales Modell wird bei einem schwierigen Reasoning-Problem nicht mit einem aktuellen Spitzenmodell mithalten. Das muss es auch nicht. Um ein Dokument zusammenzufassen, das Sie nicht anderswohin senden können, vertraulichen Text umzuschreiben oder Struktur aus privaten Notizen zu ziehen, reicht ein bescheidenes lokales Modell häufig völlig aus.
Der richtige Vergleich ist nicht lokales Modell gegen Spitzenmodell. Er lautet lokales Modell gegen gar nicht fragen, denn die Alternative für dieses Material war nie das gehostete.