Fine-Tuning

Bringen Sie einem offenen Modell die Arbeit bei, die Sie jeden Tag machen

Ein großes Cloud-Modell kann alles, und alles daran ist teuer. Geben Sie Geyser ein paar hundert Beispiele einer Aufgabe, die richtig erledigt wurde, und Geyser trainiert damit ein kleines offenes Modell, das diese Aufgabe genau so erledigt, wie Sie es möchten. Das Modell läuft auf Ihrem eigenen Computer, also ist danach jede Antwort kostenlos und privat. Sie starten mit offenen Modellen von Hugging Face und trainieren auf Ihrem eigenen Mac oder PC oder auf Tinker von Thinking Machines.

„June hat letztes Quartal vierhundert E-Mails zu Erstattungen beantwortet. Damit haben wir ein kleines Modell angelernt, und jetzt sortiere ich die neuen mit ihm auf dem Büro-Mac.“

Pia
So funktioniert es

Vom Stapel Beispiele zum Modell, mit dem Ihre Agents arbeiten

Sie können es mit „Neues Modell anlernen“ selbst machen oder einen Agent bitten, das ganze Projekt zu übernehmen. Der Agent sammelt und prüft die Beispiele, schreibt den Test, trainiert und kommt mit den Ergebnissen zu Ihnen zurück, damit Sie sie annehmen.

  1. 1
    Eine Aufgabe beschreiben

    Sagen Sie, was hineingeht und was herauskommen soll: eine Support-E-Mail einer Ihrer acht Warteschlangen zuordnen oder Rechnungsnummer, Gesamtbetrag und Fälligkeitsdatum aus einem PDF ziehen. Eine klar umrissene Aufgabe lässt sich gut auf einem kleinen Modell trainieren.

  2. 2
    Geprüfte Beispiele liefern

    Tippen Sie sie ein, fügen Sie sie ein oder laden Sie eine CSV- oder JSONL-Datei hoch, von 5 bis zu 2.000 Beispielen. Geyser lässt Beispiele weg, die offenbar persönliche Angaben enthalten, entfernt Duplikate und hält ein Fünftel für den Test zurück.

  3. 3
    Trainieren

    Trainiert wird kostenlos auf einem Ihrer eigenen Computer oder auf Tinker von Thinking Machines, wenn die Aufgabe ein größeres Modell braucht. So oder so ist es LoRA-Fine-Tuning, das Ergebnis ist also klein und schnell geladen.

  4. 4
    Mit dem Ausgangsmodell vergleichen

    Das neue Modell beantwortet die Beispiele, die es nie gesehen hat, und das Ausgangsmodell ebenfalls. Sie sehen beide Ergebnisse. Schneidet das neue nicht mindestens genauso gut ab, ändert sich für Ihre Agents nichts.

  5. 5
    Einsetzen

    Machen Sie es zum Hauptmodell der Agents Ihrer Wahl, lassen Sie Ihre Agents es fragen, sobald diese Aufgabe anfällt, oder rufen Sie es aus Ihrer eigenen App auf.

Wo trainiert wird

Ihre Grafikkarte, oder Tinker, wenn Sie mehr brauchen

Die meisten klar umrissenen Aufgaben lassen sich gut auf dem Computer trainieren, den Sie schon haben. Braucht eine davon ein größeres Modell oder eine andere Art von Training, übernimmt Tinker die schwere Arbeit, und Geyser hält Beispiele, Test und Abrechnung in Ordnung.

Auf Ihrem eigenen Computer

Ein Mac mit Apple Silicon trainiert mit Apples MLX. Ein Windows- oder Linux-PC mit NVIDIA-Grafikkarte oder ein Linux-PC mit Intel-Grafik trainiert mit den Bibliotheken Transformers und PEFT von Hugging Face. Das Training wartet, bis der Computer am Strom hängt und nicht zu warm ist, und Sie können es auf die Stunden beschränken, die Sie festlegen.

  • Kostenlos, in jedem Tarif
  • Ihre Beispiele gehen an kein externes Unternehmen
  • Startet mit Qwen 3.5 auf dem Mac und Gemma 4 auf dem PC

Auf Tinker von Thinking Machines

Tinker trainiert größere offene Modelle, ohne dass Sie auch nur eine GPU mieten, und kann mehr als Beispiele und Antworten. Ein Agent kann damit einem Modell beibringen, welche von zwei Antworten Sie vorziehen, es von den Antworten eines größeren Modells lernen lassen oder Reinforcement Learning einsetzen.

  • Qwen 3.5, Qwen 3.6 35B A3B und gpt-oss 20B
  • Sie sehen eine Kostenschätzung und legen ein Ausgabenlimit fest, bevor es losgeht
  • Tinker kann das Modell betreiben, oder Sie holen es nach Hause auf einen Mac
Auf wen wir bauen

Auf den Schultern von Hugging Face und Thinking Machines

Wir bauen lieber auf den besten Werkzeugen der offenen KI auf, als eigene Kopien davon zu machen. Diese beiden Unternehmen leisten einen großen Teil der harten Arbeit hinter jedem Modell, das Sie in Geyser anlernen.

Hugging Face

Jedes Modell, das Sie auf Ihren eigenen Computern trainieren, startet im Hugging Face Hub und ist auf eine genaue Version festgeschrieben, sodass ein neues Training wieder vom selben Stand aus startet. PCs trainieren mit den Bibliotheken Transformers und PEFT von Hugging Face. Und wenn Sie ein Modell ohne Training nutzen möchten, durchsuchen Sie den Hub direkt in Geyser und sehen, auf welche Ihrer Computer es passt.

Thinking Machines

Mit Tinker von Thinking Machines kann ein Agent Modelle nachtrainieren, die weit größer sind, als Ihr Computer fassen könnte, und Tinker kümmert sich für Sie um die GPUs, die Planung und die Ausfälle. Verbinden Sie einmal Ihr eigenes Tinker-Konto, dann trainiert Geyser in einem eigenen Projekt für Ihren Arbeitsbereich.

Ihre Beispiele bleiben Ihre

Was mit den Beispielen passiert, die Sie ihm geben

Ihre Beispiele sind das Know-how Ihres Unternehmens, und so behandelt Geyser sie auch. Sie entscheiden, wo trainiert wird, und das fertige Modell gehört Ihrem Arbeitsbereich.

So funktioniert Datenschutz in Geyser
  • Beim Training auf Ihren eigenen Computern gehen Ihre Beispiele an kein externes Unternehmen.
  • Tinker sieht Ihre Beispiele nur, wenn Sie es als externen Anbieter zulassen, und Daten, die Sie für Ihre eigenen Computer markiert haben, gehen nie dorthin.
  • E-Mails und Dateien aus Google Workspace und Microsoft 365 werden nicht als Trainingsbeispiele verwendet.
  • Ihre Beispiele trainieren Ihre Modelle und sonst keine. Sie werden nie mit denen anderer Kunden zusammengelegt.
  • Löschen Sie die Beispiele, aus denen ein Modell gelernt hat, und das Modell wird nicht mehr verwendet.
Überall nutzen

Rufen Sie Ihr Modell aus Ihrer eigenen App auf

Geben Sie das Modell für eines Ihrer Entwicklerprojekte frei und rufen Sie es mit dem OpenAI- oder Anthropic-SDK auf, das Sie schon nutzen. Anfragen erreichen es über Geyser, sodass Ihre App von überall funktioniert, ohne einen Port in Ihrem Netzwerk zu öffnen, und ein Modell auf Ihrem eigenen Computer kostet trotzdem nichts pro Anfrage.

Apps auf einem Modell bauen, das Sie trainiert haben
Python · OpenAI SDK
import os
from openai import OpenAI

# GEYSER_API_URL is the API URL shown when you create the key.
client = OpenAI(
    base_url=os.environ["GEYSER_API_URL"] + "/api/v1/openai",
    api_key=os.environ["GEYSER_API_KEY"],
)
reply = client.chat.completions.create(
    model="private/pmd_…",
    messages=[{"role": "user", "content": "Summarize this ticket"}],
)
Gute Fragen

Fragen zum Fine-Tuning

Wie fange ich an?
Öffnen Sie in Geyser den Bereich „Modelle“ und wählen Sie „Neues Modell anlernen“, um es selbst zu machen, oder „Modell erstellen“, damit ein Agent das Projekt übernimmt. Für das Training auf Tinker verbinden Sie zuerst Ihr Tinker-Konto in den „Einstellungen“ unter „Konten“.
Was kostet das?
Das Training auf Ihren eigenen Computern ist kostenlos, ebenso jede Antwort, die das Modell dort gibt. Das Training auf Tinker läuft über Ihr eigenes Tinker-Konto, die Rechnung kommt also direkt von Thinking Machines. Sie sehen eine Kostenschätzung und legen ein Ausgabenlimit fest, bevor es losgeht.
Wie viele Beispiele brauche ich?
Fünf reichen zum Ausprobieren, ein paar hundert gute sind ein besserer Start. Je einheitlicher Ihre Beispiele sind, desto besser wird das Modell bei der Aufgabe.
Ist das ein vollständiges Fine-Tuning?
Nein. Geyser trainiert einen LoRA-Adapter auf einem offenen Modell, was viel weniger Arbeitsspeicher und Zeit braucht. Auf Tinker kann ein Agent außerdem Präferenztraining, Destillation aus einem größeren Modell oder Reinforcement Learning nutzen.
Und wenn das neue Modell schlechter ist?
Dann ändert sich nichts. Ein Modell kommt nur zum Einsatz, wenn es bei Beispielen, mit denen es nie trainiert wurde, mindestens so gut abschneidet wie sein Ausgangsmodell, und Sie können zu einer früheren Version zurückkehren.
Kann ich ein Modell von Hugging Face einfach laufen lassen, ohne es zu trainieren?
Ja. Durchsuchen Sie den Hugging Face Hub in Geyser, wählen Sie ein Modell, und Geyser sagt Ihnen, auf welche Ihrer Computer es passt, bevor irgendetwas heruntergeladen wird.
Loslegen

Bringen Sie einem Modell noch diese Woche eine Aufgabe bei

Nehmen Sie die Aufgabe, die Ihr Team am häufigsten wiederholt, sammeln Sie ein paar hundert Beispiele, denen Sie vertrauen, und sehen Sie, wie nah ein kleines Modell auf Ihrem eigenen Computer herankommt.