Gemma
המודלים הפתוחים של Google, מקטנים ומהירים ועד 12B שקורא גם תמונות, לא רק טקסט.
כל שאלה ששולחים ל-AI בענן היא עוד חתיכה מהעסק שלך על שרתים של מישהו אחר, ועוד שורה בחשבון. מפעילים מודלים מקומיים ב-Geyser Host, וה-Agents שלך חושבים עם מודלים פתוחים על ה-Mac, מחשב ה-Windows או מחשב ה-Linux שלך. מה ששולחים להם לא מגיע לאף חברת AI חיצונית, ואף אחד לא גובה ממך לפי שאלה.
"אני כותב קוד עם מודל על כרטיס המסך של מכונת ה-build. אף אחד לא שולח לך חשבון על השאלות שלי."
פותחים את Geyser Host על המחשב עם כרטיס המסך הכי טוב או הכי הרבה זיכרון, ומפעילים את "להריץ כאן מודלים מקומיים".
בוחרים מודל פתוח מהרשימה, או נותנים ל-Geyser לבחור את המתאים. הוא בודק קודם את הזיכרון של המחשב, ולא יוריד מודל שלא יכול לרוץ עליו.
בוחרים אילו Agents משתמשים במודל. מאותו רגע הם חושבים איתו, והעבודה אף פעם לא מחכה לשרתים של חברת AI.
אנחנו מחזיקים רשימה קצרה של מודלים פתוחים שעובדים טוב עם Agents, ולכל אחד מהם רישיון שמתיר שימוש לעבודה. כשיוצאת גרסה טובה יותר, היא נכנסת לרשימה.
המודלים הפתוחים של Google, מקטנים ומהירים ועד 12B שקורא גם תמונות, לא רק טקסט.
המודלים עם המשקלים הפתוחים של OpenAI: 20B לרוב המחשבים, 120B לגדולים.
מודלים חזקים לכל מטרה, ועוד Qwen3 Coder לכתיבת קוד ולבדיקתו.
מודלים מהירים של Z.ai ו-NVIDIA לעבודה יומיומית ולמשימות ארוכות.
רוצים משהו אחר? אפשר להביא מודל פתוח מ-Hugging Face, או לחבר שרת שכבר רץ אצלך ומדבר ב-OpenAI API.
Geyser Host בוחר את המנוע הנכון לכל מחשב, כך שאין מה לקמפל או להגדיר. כרטיס מסך גדול יותר ויותר זיכרון אומרים מודלים גדולים ומהירים יותר.
מחשבי Mac מריצים מודלים עם MLX ו-Metal, והזיכרון המאוחד מאפשר ל-Mac Studio להחזיק מודלים שרוב מחשבי ה-PC לא יכולים.
מחשבי Windows ו-Linux משתמשים ב-CUDA, כך שמחשב הגיימינג שמתחת לשולחן הופך לשרת AI רציני.
כרטיסים של AMD ו-Intel ב-Windows וב-Linux מריצים מודלים דרך Vulkan.
מודלים קטנים רצים גם על המעבד. לאט יותר, אבל שום דבר לא יוצא מהמחשב.
מפעילים את בדיקות מידע רגיש, ו-Geyser מחפש פרטים אישיים לפני שהודעה, זיכרון או קובץ יוצאים לספק AI ציבורי. ואז הוא עושה מה שבחרת: מתעד ושולח, מוחק את הפרטים, מעביר את כל הבקשה למודל שלך, או מסרב לשלוח בכלל.
כך שתיק הלקוח הולך למודל על ה-Mac שלך, והפוסט השבועי לבלוג עדיין יכול ללכת למודל הענן הכי טוב שמשלמים עליו.
איך עובדת הפרטיות ב-Geyserכל Agent יכול לחשוב עם AI אחר. ה-Agent שקורא קבצי לקוחות מקבל מודל על החומרה שלך, וה-Agent שכותב קוד עובד עם Codex במינוי ה-ChatGPT שכבר משלמים עליו. כשיוצא משהו טוב יותר מחליפים, וה-Agent שומר על השם שלו ועל כל מה שהוא יודע.
בוחרים "לימוד מודל חדש" ב-Geyser, מתארים משימה ממוקדת ונותנים לו דוגמאות שבדקת. הוא מתאמן על המחשב שלך, נבחן מול המודל שממנו התחלת, ורץ על החומרה שלך ברגע שמאשרים אותו.
אפשר לשתף אותו עם חברה אחרת בקישור, בזמן שהוא ממשיך לרוץ על המחשב שלך, או לקרוא לו מהאפליקציה שלך עם ה-OpenAI SDK או ה-Anthropic SDK, בלי לפתוח פורט ברשת שלך.
לבנות אפליקציות על מודל שלימדתimport os
from openai import OpenAI
# GEYSER_API_URL is the API URL shown when you create the key.
client = OpenAI(
base_url=os.environ["GEYSER_API_URL"] + "/api/v1/openai",
api_key=os.environ["GEYSER_API_KEY"],
)
reply = client.chat.completions.create(
model="private/pmd_…",
messages=[{"role": "user", "content": "Summarize this ticket"}],
)מתקינים את Geyser Host, מפעילים מודלים מקומיים ומעבירים אליהם את ה-Agent הראשון. זה בחינם.