[ טוען... ]

Mistral Large 4 במשקלים פתוחים: מה זה אומר לאירוח עצמי

תאריך: 30.10.2026
זמן קריאה: 15 דקות
לידור כהן
מייסד, לידור דיגיטל

שיתוף:

הירשמו לניוזלטר - תובנות על אוטומציה ו-AI, בלי ספאם

איור של מודל שפה ענק שעובר מהענן לשרתים פרטיים, לצד מאזניים בין כרטיסי GPU לעלות טוקנים

השחרור של המשקלים של Mistral Large 4 הוא אחד האירועים המשמעותיים בשוק מודלי השפה בקוד פתוח בשנה האחרונה. מדובר במודל בסדר גודל של כטריליון פרמטרים, ש-Mistral מציגה כמודל ה-open weights הטוב ביותר לכתיבת קוד, ושאפשר להוריד ולהריץ על תשתית פרטית. עבור ארגונים ישראליים שמתלבטים בין תשלום לפי טוקן לספק חיצוני לבין אירוח עצמי של LLM, זו נקודת החלטה מוחשית.

אבל בין 'אפשר להוריד' לבין 'כדאי להריץ' יש פער גדול. מודל בגודל הזה דורש אשכול GPU רציני, תנאי הרישיון צריכים בדיקה, והתמיכה בעברית לא מתועדת. המאמר הזה מפרק את ההכרזה לשאלות המעשיות: מה בדיוק שוחרר, מה הרישיון מאפשר, כמה חומרה צריך, איך העלויות משתוות ל-API, ומתי מודל AI מקומי באמת שווה את המאמץ.

חשוב להקדים: רוב נתוני הביצועים שמופיעים כאן מגיעים מ-Mistral עצמה, וחלק מהמקורות שמנתחים עלויות הם בלוגים של חברות תשתית עם אינטרס מסחרי. המאמר מסמן במפורש איפה המידע מאומת ואיפה הוא טענה של ספק.

מה Mistral שחררה בפועל ומתי

מ-preview דרך API למשקלים פתוחים

ב-6 באוקטובר 2026 Mistral הכריזה על Mistral Large 4, שקיבל את הכינוי הפנימי 'Le Chonk', כגרסת public preview שזמינה דרך Mistral Studio API בלבד. באותה הכרזה החברה התחייבה שהמשקלים יפורסמו עד סוף החודש.

בפוסט מאוחר יותר Mistral הודיעה שהיא משחררת את המשקלים של גרסה משופרת של המודל, אחרי כשלושה שבועות נוספים של reinforcement learning מאז ה-preview, והגדירה אותו כ-'fully open-weight'. המשמעות המעשית: המודל שאפשר להוריד אינו זהה בהכרח למודל שנבדק ב-API בתחילת אוקטובר, וכל השוואה שנעשתה על גרסת ה-preview עשויה להיות לא מעודכנת.

מה ידוע על הארכיטקטורה

לפי סקירה של ActuIA, Large 4 הוא מודל Mixture of Experts (MoE) מולטימודלי באופן מובנה, עם כ-1.05 טריליון פרמטרים בסך הכול, תמיכה ביותר מ-160 שפות, וחלון קונטקסט של מיליון טוקנים לפי התיעוד. עם זאת, Artificial Analysis מדדה בפועל כ-524 אלף טוקנים.

גם מספר הפרמטרים הפעילים לכל טוקן אינו חד-משמעי: לפי Online Tech Tips, ההכרזה של Mistral מדברת על 52 מיליארד, בעוד שסיקור מוקדם ומקורות אחרים מציינים 49 מיליארד.

מאפיין

ערך

הערה

פרמטרים כוללים

כ-1.05T

Mistral מעגלת לכ-1T

פרמטרים פעילים

52B או 49B

תלוי במקור

ארכיטקטורה

MoE מולטימודלי

שפות

160+

עברית לא מוזכרת במפורש

חלון קונטקסט

1M (תיעוד)

524K נמדד בפועל

חומרת אימון

3,800 GPU מסוג Grace Blackwell, כחודשיים

לפי ActuIA

המודל אומן על 3,800 מעבדי Nvidia Grace Blackwell במשך כחודשיים, ו-Mistral מדגישה שהוא אומן מאפס על תשתית אירופית. זו חלק מאסטרטגיית 'sovereign AI' שהחברה מקדמת.

הבנצ'מרקים, ומי מדד אותם

Mistral טוענת ש-Large 4 הוא מודל ה-open weights הטוב ביותר לקוד ואחד המודלים הפתוחים החזקים ביותר בכלל. הנתונים שהיא מפרסמת:

  • Artificial Analysis Coding Agent Index: 48%, למעשה תיקו עם GLM-5.3, תוך שימוש ב-47% פחות טוקנים למשימה.
  • Terminal-Bench 4.0: 41%, שיפור של 13 נקודות לעומת גרסת ה-preview.
  • FrontierCode 2.0: 19.7%.

הנתון על יעילות הטוקנים מעניין במיוחד, כי בעבודה עם סוכני קוד מספר הטוקנים לכל משימה משפיע ישירות על העלות ועל זמן התגובה. עם זאת, סיקור עצמאי מאשר באופן כללי שהמודל סוגר פער מול מודלים פתוחים אחרים, אבל חולק על חלק מהניסוחים, למשל הטענה ליתרון 'משמעותי' על כל המודלים הפתוחים שאינם סיניים. מומלץ להתייחס למספרים כנקודת פתיחה ולא כפסק דין.

רישיון: מה open weights מאפשר ומה לא

זו אולי הנקודה החשובה ביותר שנוטים לדלג עליה. Open weights אינו שם נרדף לשימוש מסחרי חופשי. כפי ש-Qovery מזכירה, Mistral משחררת חלק מהמודלים שלה תחת Apache 2.0 וחלק אחר תחת רישיונות מחקר או רישיונות שאוסרים שימוש בפרודקשן.

התקדים של Mistral Large 3

המודל הקודם, Mistral Large 3, שוחרר בדצמבר 2025 עם 675 מיליארד פרמטרים כוללים ו-41 מיליארד פעילים, תחת רישיון Apache 2.0, כולל checkpoints בפורמטים BF16, FP8 ו-NVFP4. זה תקדים מעודד, אבל לא התחייבות. בקטעי המקורות שעליהם מבוסס המאמר הזה, הרישיון של Large 4 לא מצוין במפורש.

מה לבדוק לפני שמתחילים

לפני כל השקעה בתשתית, כדאי לעבור על ה-model card והקובץ LICENSE במאגר הרשמי ב-Hugging Face ולוודא:

  1. האם מותר שימוש מסחרי בפרודקשן, או רק מחקר והערכה.
  2. האם יש מגבלות לפי גודל חברה, הכנסות או מספר משתמשים.
  3. האם מותר fine-tuning והפצה של מודלים נגזרים.
  4. האם יש דרישות ייחוס (attribution) או מגבלות שימוש (acceptable use policy).
  5. האם הרישיון חל גם על גרסאות quantized שמפרסמים צדדים שלישיים.

עבור ארגונים ישראליים בתחומים רגולטוריים, כדאי לערב גם את המחלקה המשפטית. רישיון Apache 2.0 פשוט יחסית, אבל רישיון מותאם אישית עלול להכיל סעיפים שמשנים את כל חישוב הכדאיות.

חומרה לאירוח עצמי של Mistral Large 4

למה MoE חוסך חישוב אבל לא זיכרון

ארכיטקטורת MoE מפעילה בכל טוקן רק חלק קטן מהפרמטרים, ולכן כמות החישוב לכל טוקן דומה למודל של כ-50 מיליארד פרמטרים. זה מה שהופך אותה ליעילה. אבל כל הפרמטרים חייבים לשבת בזיכרון ה-GPU, כי בכל טוקן הנתב עשוי לבחור expert אחר.

בפורמט bf16, המשקלים של Large 4 שוקלים כ-2.1 טרה-בייט. זה כבר לא שרת אחד, אלא עבודה מרובת צמתים (multi-node).

הערכת זיכרון גסה

החישוב הבסיסי פשוט: מספר הפרמטרים כפול מספר הבייטים לפרמטר. הטבלה הבאה היא חישוב אריתמטי גס בלבד, שאינו כולל KV cache, activations ותקורה של מערכת ההרצה. גדלים רשמיים של גרסאות quantized של Large 4 לא מופיעים במקורות.

פורמט

בייטים לפרמטר

משקלים בלבד (הערכה)

bf16

2

כ-2.1TB (מאומת במקור)

FP8

1

כ-1.05TB (חישוב)

INT4

0.5

כ-525GB (חישוב)

בפועל צריך להוסיף מרווח משמעותי ל-KV cache, במיוחד אם רוצים לנצל חלונות קונטקסט ארוכים. ככל שהקונטקסט ארוך יותר והמקביליות גבוהה יותר, הזיכרון הנדרש עולה.

Large 3 כנקודת ייחוס

כדי לקבל תחושה של סדרי גודל, Spheron מפרטת ש-Mistral Large 3 בפורמט FP8 דורש כ-710GB של VRAM, כלומר 8 כרטיסי H200, ובפורמט INT4 כ-355GB, כלומר 5 כרטיסי H100 של 80GB. Large 4 גדול בכ-55% במספר הפרמטרים הכולל, ולכן סביר להניח שהדרישות יהיו גבוהות בהתאם. אבל זו הערכה בלבד ולא נתון מאומת.

השורה התחתונה: גם בגרסה quantized אגרסיבית, מדובר בכמה מאות ג'יגה-בייט של זיכרון GPU לפחות. רוב העסקים הקטנים והבינוניים בישראל לא יחזיקו תשתית כזו בבית.

עלות: API מול אשכול GPU

מחירי ה-API של Mistral

לפי TrueFoundry, מחירי המחירון של Large 4 ב-API הם 1.36 דולר למיליון טוקני קלט ו-4.18 דולר למיליון טוקני פלט. בתקופת ה-preview יש הנחה של 50%: 0.68 דולר לקלט ו-2.09 דולר לפלט, ללא תאריך סיום מפורסם להנחה. כדאי לציין שמקור אחד, MindStudio, טען שבהשקה לא היה תמחור ציבורי מאושר, בניגוד למקורות אחרים.

מסלול

קלט (למיליון טוקנים)

פלט (למיליון טוקנים)

מחירון

1.36 דולר

4.18 דולר

preview (הנחה)

0.68 דולר

2.09 דולר

להקשר רחב יותר על המגמה בשוק, ראו גם את הניתוח למה מחירי LLM ירדו ואיך לחתוך עלויות AI.

הבעיה של GPU שעומד בטל

השאלה המרכזית בחישוב הכדאיות היא לא מחיר שעת GPU, אלא ניצולת. לפי Qovery, אירוח עצמי זול יותר מ-API רק בניצולת גבוהה ומתמשכת. הדוח של Cast AI לשנת 2026 מצא שניצולת ה-GPU הממוצעת עומדת על כ-5% בלבד.

המשמעות: ב-API משלמים רק על מה שצורכים. באשכול GPU משלמים על כל שעה, גם כשהמודל מחכה לבקשה. אשכול שמנוצל 5% מהזמן עולה בפועל פי עשרים לכל טוקן לעומת אשכול שעובד במלוא הקיבולת.

נקודות שכדאי להכניס לחישוב

  • עלות חומרה או השכרת GPU בענן: מתומחרת בדולרים, ולכן חשופה גם לשער החליפין.
  • צוות תפעול: מישהו צריך לתחזק vLLM, לנטר, לעדכן ולטפל בתקלות.
  • רשת ואחסון: הורדה והחזקה של טרה-בייטים של משקלים, ותקשורת מהירה בין צמתים.
  • זמינות: יתירות עולה כסף. אשכול יחיד הוא נקודת כשל יחידה.
  • עלות הזדמנות: כל שבוע שהצוות משקיע בתשתית הוא שבוע שלא מושקע במוצר.

הערה חשובה: חישוב נקודת האיזון המלא של Qovery לא נכלל בקטעי המקור, ו-Qovery היא חברת תשתית עם אינטרס מסחרי. כדאי לבנות את החישוב על נתוני השימוש בפועל של הארגון.

פרטיות ומיקום נתונים לארגונים ישראליים

כאן היתרון של מודל AI מקומי ברור יותר. דרך ה-API, המודל מוגש ממרכזי הנתונים האירופיים של Mistral. עבור חלק מהארגונים זה מספיק, ואף עדיף על שליחת נתונים לספק אמריקאי. עבור אחרים, עצם יציאת המידע מהתשתית הארגונית היא בעיה.

מי ירוויח הכי הרבה מאירוח עצמי

  • פיננסים וביטוח: מידע על לקוחות, עסקאות ונתוני אשראי.
  • בריאות: מידע רפואי רגיש.
  • ביטחון ותעשיות ביטחוניות: סביבות מסווגות ולעיתים מנותקות לחלוטין מהאינטרנט.
  • ממשלה ורשויות: דרישות למיקום נתונים בישראל.
  • משרדי עורכי דין ורואי חשבון: חיסיון מקצועי.

אירוח עצמי מאפשר להשאיר את הנתונים on-premises או באזור ענן ישראלי, בלי לשלוח אותם לספק באירופה או בארצות הברית. יש תקדים לפריסה בסביבות מנותקות: Google Cloud מתעדת הרצה של מודלי Mistral עם vLLM בסביבת Distributed Cloud מנותקת (air-gapped).

פרטיות היא לא רק מיקום

גם אירוח עצמי לא פותר הכול. צריך לדאוג ללוגים, להרשאות גישה, להצפנה ולאבטחת השרתים עצמם. מי שמריץ תשתית self-hosted לוקח על עצמו גם את האחריות לעדכוני אבטחה, ומדריכים כמו הקשחה של GitLab בהתקנה עצמית ממחישים כמה עבודה זה דורש בפועל.

תמיכה בעברית: מה ידוע ומה לא

זו הנקודה שבה צריך לומר בגלוי: אין במקורות שום נתון ספציפי על ביצועי Mistral Large 4 בעברית.

מה כן ידוע

Mistral טוענת לתמיכה ביותר מ-160 שפות. השפות הרשמיות של האיחוד האירופי מוזכרות במפורש, עברית לא. מקור אחד, MindStudio, מציין שהביצועים הרב-לשוניים לא אחידים ונחלשים בשפות ובכתבים עם מעט משאבים. זו טענה כללית בלי נתונים על עברית, אבל היא מספיקה כדי להצדיק זהירות.

למה עברית מאתגרת במיוחד

עברית היא שפת RTL עשירה מורפולוגית: תחיליות, סופיות ונטיות שמחברות כמה מילים למילה אחת. זה משפיע על כמה היבטים:

  • יעילות tokenization: אם ה-tokenizer מפצל מילים עבריות להרבה טוקנים, כל משימה בעברית עולה יותר, בין אם משלמים לפי טוקן ובין אם על GPU.
  • ניצול חלון הקונטקסט: יותר טוקנים לאותו טקסט פירושו פחות תוכן בחלון.
  • איכות הפלט: ניסוח טבעי, התאמת מין ומספר, ועבודה נכונה עם טקסט מעורב עברית-אנגלית.

איך לבדוק בעצמכם

לפני התחייבות, כדאי להריץ סט הערכה קטן על נתונים אמיתיים מהארגון: סיכום מסמכים, חילוץ מידע מובנה, מענה לשאלות ותרגום. מכיוון ש-vLLM חושף API תואם OpenAI, אותו קוד בדיקה יעבוד מול שרת מקומי ומול ספקים מסחריים:

from openai import OpenAI

# שרת vLLM מקומי או gateway; אפשר להחליף ל-API מסחרי לצורך השוואה
client = OpenAI(base_url='http://localhost:8000/v1', api_key='none')

samples = [
    'סכם את הפסקה הבאה בשלוש נקודות: ...',
    'חלץ מהמייל הבא שם לקוח, תאריך וסכום בפורמט JSON: ...',
]

for prompt in samples:
    resp = client.chat.completions.create(
        model='mistral-large-4',
        messages=[{'role': 'user', 'content': prompt}],
        temperature=0.2,
    )
    usage = resp.usage
    print(resp.choices[0].message.content)
    print('prompt tokens:', usage.prompt_tokens, 'completion tokens:', usage.completion_tokens)

השוואה של מספר הטוקנים לאותו טקסט בין מודלים שונים נותנת אינדיקציה מהירה ליעילות ה-tokenizer בעברית. עבור משימות שבהן דיוק עובדתי קריטי, כדאי לשלב גם מנגנוני אימות, כפי שמתואר במדריך על RAG עם אימות טענות וציטוטים.

מתי מודל open weights עדיף על API

אין תשובה אחת. ההחלטה תלויה בנפח, ברגישות הנתונים, ביכולות הצוות ובתקציב. הטבלה מסכמת את שלוש האפשרויות העיקריות, על בסיס Qovery, TrueFoundry ו-Google Cloud:

אפשרות

יתרונות

חסרונות

אירוח עצמי של Large 4

שליטה מלאה בנתונים, אין תלות בזמינות הספק, אפשרות ל-fine-tuning, זול יותר בניצולת גבוהה

אשכול מרובה צמתים, GPU בטל עולה כסף, עומס תפעולי, רישיון לא מאומת במקורות

API מנוהל של Mistral

בלי חומרה, תשלום לפי שימוש, שרתים באירופה

הנתונים יוצאים מהארגון, תלות בספק ובשינויי מחיר, הנחת ה-preview בלי תאריך סיום

מודלים קטנים תחת Apache 2.0 (Small, Devstral, Magistral Small)

רצים על GPU יחיד כמו A100 80GB או H100, מותר שימוש מסחרי

פחות חזקים ממודל בקנה מידה frontier, חלק מהמודלים הישנים יותר ברישיון לא מסחרי

אירוח עצמי הגיוני כאשר

  • יש נפח בקשות גבוה ויציב לאורך כל היממה, שמאפשר ניצולת GPU גבוהה.
  • דרישות רגולציה או חוזים מחייבים שהנתונים לא יצאו מהתשתית.
  • הארגון כבר מפעיל תשתית GPU וצוות MLOps.
  • נדרשת התאמה עמוקה של המודל (fine-tuning) לתחום ספציפי.
  • הרישיון אומת ומתיר את השימוש המתוכנן.

API עדיף כאשר

  • השימוש לא צפוי, עונתי או בנפחים נמוכים.
  • הצוות קטן ואין מי שיתחזק אשכול GPU.
  • רוצים להתחיל מהר ולבדוק התאמה לפני השקעה.
  • הנתונים אינם רגישים במיוחד, או ששרתים באירופה עונים על הדרישות.

האפשרות שנוטים לשכוח: מודל קטן יותר

להרבה משימות עסקיות, כמו סיווג פניות, חילוץ שדות ממסמכים או צ'אטבוט שירות, לא צריך מודל של טריליון פרמטרים. מודלים קטנים של Mistral תחת Apache 2.0 רצים על GPU יחיד, והם פתרון ריאלי יותר לאירוח עצמי בעסק ישראלי בינוני. לעיתים הנדסת קונטקסט טובה משפרת תוצאות יותר מהחלפה למודל גדול; ראו המדריך להנדסת קונטקסט.

דרך מעשית: ניתוב היברידי, vLLM ו-Gateway

לרוב הצוותים, Qovery ממליצה על ניתוב היברידי: להריץ את הנפח השוטף על מודל מאוחסן עצמית, ולנתב משימות קשות או חריגות ל-API מנוהל. כך מנצלים את התשתית העצמית ביעילות ולא בונים אותה לפי שיא העומס.

שכבת ההגשה: vLLM

vLLM היא שכבת ההגשה המומלצת: היא חושפת API תואם OpenAI, תומכת ב-continuous batching וב-prefix caching. המודל הקודם, Large 3, רץ על vLLM מהיום הראשון. פקודת הרצה טיפוסית למודל בגודל כזה תשלב tensor parallelism בתוך כל צומת ו-pipeline parallelism בין צמתים. הדוגמה הבאה היא סכמטית בלבד; שם המאגר והפרמטרים המדויקים צריכים להילקח מה-model card הרשמי:

# דוגמה סכמטית: שני צמתים עם 8 GPU כל אחד
vllm serve <official-hf-repo-for-large-4> \
  --tensor-parallel-size 8 \
  --pipeline-parallel-size 2 \
  --enable-prefix-caching \
  --max-model-len 131072

הגבלת max-model-len לערך נמוך מהמקסימום התיאורטי היא דרך נפוצה לחסוך זיכרון KV cache כשלא באמת צריך קונטקסט של מאות אלפי טוקנים.

שכבת הניתוב: Gateway

מעל vLLM מומלץ להציב gateway כמו LiteLLM או Portkey, שמנהל מפתחות, תקציבים וניתוב בין המודל העצמי ל-API. הרחבה על הנושא אפשר למצוא במדריך LLM Gateway בקוד פתוח לניתוב, Caching ועלויות. דוגמת קונפיגורציה סכמטית ל-LiteLLM:

model_list:
  - model_name: large-4-selfhosted
    litellm_params:
      model: openai/mistral-large-4
      api_base: http://vllm.internal:8000/v1
      api_key: none
  - model_name: large-4-hosted
    litellm_params:
      model: mistral/<model-id-from-mistral-docs>
      api_key: os.environ/MISTRAL_API_KEY

router_settings:
  fallbacks:
    - large-4-selfhosted: [large-4-hosted]

במבנה כזה האפליקציה פונה תמיד לאותו endpoint, והמעבר בין אירוח עצמי ל-API שקוף לה. זה גם מאפשר להתחיל עם API בלבד, למדוד את דפוסי השימוש, ורק אחר כך להחליט אם להוסיף תשתית עצמית.

סדר פעולות מומלץ

  1. להתחיל עם ה-API כדי לבדוק התאמה איכותית, כולל בעברית.
  2. למדוד נפח טוקנים, דפוסי עומס לאורך היממה ועלות חודשית בפועל.
  3. לאמת את הרישיון של Large 4 מול השימוש המתוכנן.
  4. לבחון אם מודל קטן יותר תחת Apache 2.0 מספיק לחלק מהמשימות.
  5. רק אם הנפח גבוה ויציב, או שהרגולציה מחייבת, לבנות תשתית עצמית עם ניתוב היברידי.

שאלות נפוצות

האם המשקלים של Mistral Large 4 באמת זמינים?

הפוסט של Mistral מודיע על שחרור המשקלים של הגרסה המשופרת. מקורות מוקדמים יותר רק הבטיחו שחרור עד סוף אוקטובר. כדאי לוודא את קיומו של המאגר הרשמי ב-Hugging Face ולהוריד רק ממנו.

האם מותר להשתמש ב-Mistral Large 4 מסחרית?

בקטעי המקורות הזמינים הרישיון של Large 4 לא מצוין. Large 3 שוחרר תחת Apache 2.0, אבל חלק ממודלי Mistral מגיעים ברישיונות מגבילים. חובה לבדוק את ה-model card ואת קובץ הרישיון לפני שימוש בפרודקשן.

האם חברה קטנה יכולה להריץ את המודל על שרת אחד?

לא בדיוק מלא. כל כ-1.05 טריליון הפרמטרים חייבים להיכנס לזיכרון ה-GPU, ובפורמט bf16 זה כ-2.1 טרה-בייט. גרסאות quantized מקטינות את הדרישה, אבל הגדלים שלהן לא אומתו. לעסק קטן, API או מודל קטן יותר ריאליים בהרבה.

איזו תוכנה מומלצת להגשת המודל?

vLLM מאחורי gateway תואם OpenAI כמו LiteLLM או Portkey. Large 3 נתמך ב-vLLM מהיום הראשון, כך שסביר שגם Large 4 ייתמך, אבל כדאי לוודא את הגרסה הנדרשת.

מתי אירוח עצמי זול יותר מה-API?

רק בניצולת גבוהה ומתמשכת. בניצולת נמוכה, עלות ה-GPU הבטל שולטת בחישוב, והניצולת הממוצעת בתעשייה עומדת על כ-5%. לרוב הצוותים ניתוב היברידי הוא האפשרות המאוזנת.

האם Mistral Large 4 תומך בעברית?

Mistral טוענת לתמיכה ביותר מ-160 שפות, אבל המקורות לא מציינים עברית ולא מפרסמים מדדים בעברית. הדרך היחידה לדעת היא להריץ הערכה על נתונים אמיתיים בעברית.

סיכום

שחרור המשקלים של Mistral Large 4 מוסיף לשוק מודל פתוח בקנה מידה frontier, עם טענות חזקות בתחום הקוד ויעילות טוקנים מרשימה, גם אם רוב הנתונים מגיעים מהיצרנית עצמה. עבור ארגונים ישראליים זו בעיקר אפשרות חדשה, לא חובה.

הנקודות המרכזיות:

  • רישיון: open weights אינו שימוש מסחרי אוטומטי. הרישיון של Large 4 צריך אימות ישיר.
  • חומרה: MoE חוסך חישוב אבל לא זיכרון. כ-2.1TB בפורמט bf16 פירושם אשכול מרובה צמתים.
  • עלות: ה-API עולה 1.36 דולר לקלט ו-4.18 דולר לפלט למיליון טוקנים במחירון, וחצי מזה ב-preview. אירוח עצמי משתלם רק בניצולת גבוהה.
  • פרטיות: היתרון החזק ביותר של אירוח עצמי, במיוחד לפיננסים, בריאות, ביטחון וממשלה.
  • עברית: אין נתונים. חובה לבדוק לפני התחייבות.

לרוב המפתחים והעסקים בישראל, המסלול הסביר הוא להתחיל ב-API, למדוד, לשקול מודלים קטנים יותר לחלק מהמשימות, ולעבור לאירוח עצמי או היברידי רק כשהנפח או הרגולציה מצדיקים זאת.

מקורות

וואטסאפ