אימון מודלים

ללמד מודל פתוח את העבודה שעושים כל יום

מודל ענן גדול טוב בהכול, ויקר בהכול. נותנים ל-⁠Geyser כמה מאות דוגמאות של משימה אחת שנעשתה נכון, והוא מאמן מודל פתוח קטן לעשות אותה בדרך שלך. המודל רץ על המחשב שלך, כך שמשם והלאה כל תשובה היא בחינם ונשארת פרטית. מתחילים ממודלים פתוחים ב-⁠Hugging Face, ומאמנים על ה-⁠Mac או ה-⁠PC שלך, או ב-⁠Tinker של Thinking Machines.

"June ענתה על ארבע מאות מיילים על החזרים ברבעון שעבר. לימדנו מהם מודל קטן, ועכשיו אני ממיינת איתו את החדשים על ה-⁠Mac של המשרד."

Pia
איך זה עובד

מערימה של דוגמאות למודל שה-⁠Agents שלך משתמשים בו

אפשר לעשות את זה בעצמך עם "לימוד מודל חדש", או לבקש מ-⁠Agent לנהל את כל הפרויקט. ה-⁠Agent אוסף ובודק את הדוגמאות, כותב את הבדיקה, מאמן וחוזר עם הציונים לאישור שלך.

  1. 1
    מתארים משימה אחת

    אומרים מה נכנס ומה צריך לצאת: למיין מייל תמיכה לאחד משמונה התורים שלך, או לשלוף מ-⁠PDF את מספר החשבונית, הסכום ותאריך התשלום. משימה ממוקדת מתאימה מצוין לאימון של מודל קטן.

  2. 2
    נותנים לו דוגמאות שנבדקו

    מקלידים אותן, מדביקים אותן או מעלים קובץ CSV או JSONL, מ-⁠5 דוגמאות ועד 2,000. Geyser משמיט דוגמאות שנראה שיש בהן פרטים אישיים, מסיר כפילויות ושומר חמישית מהן בצד לבדיקה.

  3. 3
    מאמנים אותו

    האימון רץ על אחד המחשבים שלך בלי תשלום, או ב-⁠Tinker של Thinking Machines כשהמשימה צריכה מודל גדול יותר. בשני המקרים זה אימון LoRA, כך שהתוצאה קטנה ונטענת מהר.

  4. 4
    בודקים אותו מול נקודת ההתחלה

    המודל החדש עונה על הדוגמאות שהוא אף פעם לא ראה, וגם המודל שממנו הוא התחיל. רואים את שני הציונים. אם החדש לא מצליח לפחות באותה מידה, שום דבר לא משתנה בשביל ה-⁠Agents שלך.

  5. 5
    מכניסים אותו לעבודה

    הופכים אותו למודל הראשי של ה-⁠Agents שבוחרים, נותנים ל-⁠Agents שלך להתייעץ איתו בכל פעם שהמשימה הזו עולה, או קוראים לו מהאפליקציה שלך.

איפה מתבצע האימון

כרטיס המסך שלך, או Tinker כשצריך יותר

לרוב המשימות הממוקדות, המחשב שכבר יש לך מספיק כדי לאמן מודל טוב. כשמשימה צריכה מודל גדול יותר או סוג אחר של אימון, Tinker עושה את העבודה הקשה, ו-⁠Geyser דואג שהדוגמאות, הבדיקה והחשבון יהיו מסודרים.

על המחשב שלך

על Mac עם Apple silicon האימון רץ עם MLX של Apple. על מחשב Windows או Linux עם כרטיס מסך של NVIDIA, או על מחשב Linux עם גרפיקה של Intel, הוא רץ עם הספריות Transformers ו-⁠PEFT של Hugging Face. האימון מחכה עד שהמחשב מחובר לחשמל ולא חם מדי, ואפשר להגביל אותו לשעות שבוחרים.

  • בלי תשלום, בכל מינוי
  • הדוגמאות שלך לא נשלחות לשום חברה חיצונית
  • מתחיל מ-⁠Qwen 3.5 על Mac ומ-⁠Gemma 4 על PC

ב-⁠Tinker של Thinking Machines

Tinker מאמן מודלים פתוחים גדולים יותר בלי שצריך לשכור אפילו GPU אחד, והוא הולך רחוק יותר מדוגמאות ותשובות. Agent יכול להשתמש בו כדי ללמד מודל לפי ההעדפות שלך בין שתי תשובות, לפי תשובות של מודל גדול יותר, או בלמידת חיזוק.

  • Qwen 3.5, Qwen 3.6 35B A3B ו-⁠gpt-oss 20B
  • רואים הערכת עלות וקובעים תקרת הוצאה לפני שהוא מתחיל
  • Tinker יכול לארח את המודל, או שמביאים אותו הביתה ל-⁠Mac
על מי אנחנו נשענים

על הכתפיים של Hugging Face ו-⁠Thinking Machines

אנחנו מעדיפים לבנות על הכלים הטובים ביותר בעולם ה-⁠AI הפתוח מאשר ליצור להם עותקים משלנו. שתי החברות האלה עושות חלק גדול מהעבודה הקשה שמאחורי כל מודל שמלמדים ב-⁠Geyser.

Hugging Face

כל מודל שמאמנים על המחשבים שלך מתחיל מה-⁠Hugging Face Hub, נעול על גרסה מדויקת, כך שאימון חוזר מתחיל מאותה נקודה. על מחשבי PC האימון רץ עם הספריות Transformers ו-⁠PEFT של Hugging Face. ואם רוצים להריץ מודל בלי לאמן אותו, אפשר לחפש ב-⁠Hub מתוך Geyser ולראות על אילו מהמחשבים שלך הוא ייכנס.

Thinking Machines

Tinker של Thinking Machines מאפשר ל-⁠Agent לאמן מודלים גדולים בהרבה ממה שהמחשב שלך יכול להכיל, ומטפל בשבילך ב-⁠GPU, בתזמון ובתקלות. מחברים פעם אחת חשבון Tinker משלך, ו-⁠Geyser מאמן בפרויקט נפרד לסביבת העבודה שלך.

הדוגמאות שלך נשארות שלך

מה קורה לדוגמאות שנותנים לו

הדוגמאות שלך הן הידע של העסק שלך, ו-⁠Geyser מתייחס אליהן בהתאם. ההחלטה איפה האימון קורה היא שלך, והמודל שיוצא שייך לסביבת העבודה שלך.

איך עובדת הפרטיות ב-⁠Geyser
  • באימון על המחשבים שלך, הדוגמאות לא נשלחות לשום חברה חיצונית.
  • Tinker רואה את הדוגמאות שלך רק כשמאשרים אותו כספק חיצוני, ונתונים שסומנו למחשבים שלך בלבד אף פעם לא מגיעים אליו.
  • מיילים וקבצים מ-⁠Google Workspace ומ-⁠Microsoft 365 לא משמשים כדוגמאות לאימון.
  • הדוגמאות שלך מאמנות את המודלים שלך ושל אף אחד אחר. הן אף פעם לא מתערבבות עם דוגמאות של לקוח אחר.
  • מוחקים את הדוגמאות שמודל למד מהן, והמודל הזה יוצא משימוש.
להשתמש בו בכל מקום

קוראים למודל מהאפליקציה שלך

פותחים את המודל לאחד מפרויקטי הפיתוח שלך וקוראים לו עם ה-⁠OpenAI SDK או ה-⁠Anthropic SDK שכבר בשימוש. הבקשות מגיעות אליו דרך Geyser, כך שהאפליקציה עובדת מכל מקום בלי לפתוח פורט ברשת שלך, ומודל שרץ על המחשב שלך עדיין לא עולה אגורה על אף בקשה.

לבנות אפליקציות על מודל שלימדת
Python · OpenAI SDK
import os
from openai import OpenAI

# GEYSER_API_URL is the API URL shown when you create the key.
client = OpenAI(
    base_url=os.environ["GEYSER_API_URL"] + "/api/v1/openai",
    api_key=os.environ["GEYSER_API_KEY"],
)
reply = client.chat.completions.create(
    model="private/pmd_…",
    messages=[{"role": "user", "content": "Summarize this ticket"}],
)
שאלות טובות

שאלות על אימון מודלים

איך מתחילים?
ב-⁠Geyser נכנסים למודלים ובוחרים "לימוד מודל חדש" כדי לעשות את זה בעצמך, או "בניית מודל" כדי ש-⁠Agent ינהל את הפרויקט. כדי לאמן ב-⁠Tinker, קודם מחברים את חשבון ה-⁠Tinker שלך בהגדרות, תחת חשבונות.
כמה זה עולה?
אימון על המחשבים שלך הוא בחינם, וכך גם כל תשובה שהמודל נותן שם. אימון ב-⁠Tinker רץ בחשבון ה-⁠Tinker שלך, כך ש-⁠Thinking Machines מחייבת ישירות. לפני שהוא מתחיל רואים הערכת עלות וקובעים תקרת הוצאה.
כמה דוגמאות צריך?
חמש מספיקות כדי לנסות, וכמה מאות טובות הן התחלה טובה יותר. ככל שהדוגמאות שלך עקביות יותר, המודל נעשה טוב יותר במשימה.
זה אימון מלא של המודל?
לא. Geyser מאמן מתאם LoRA על גבי מודל פתוח, וזה דורש הרבה פחות זיכרון וזמן. ב-⁠Tinker, Agent יכול גם להשתמש באימון לפי העדפות, בזיקוק ממודל גדול יותר או בלמידת חיזוק.
ומה אם המודל החדש גרוע יותר?
אז שום דבר לא משתנה. מודל נכנס לעבודה רק כשהוא מצליח לפחות כמו המודל שממנו התחיל, על דוגמאות שהוא לא אומן עליהן, ואפשר לחזור לגרסה קודמת.
אפשר להריץ מודל מ-⁠Hugging Face בלי לאמן אותו?
כן. מחפשים ב-⁠Hugging Face Hub מתוך Geyser, בוחרים מודל, ו-⁠Geyser מראה על אילו מהמחשבים שלך הוא ייכנס עוד לפני שמשהו יורד.
לעשות התחלה

ללמד מודל משימה אחת עוד השבוע

בוחרים את המשימה שהצוות חוזר עליה הכי הרבה, אוספים כמה מאות דוגמאות שאפשר לסמוך עליהן, ורואים כמה קרוב מגיע מודל קטן על המחשב שלך.