ברגע שמוצר מתחיל לעבוד עם יותר מספק מודלים אחד, מופיע בלגן מוכר: כמה SDK-ים, כמה מפתחות, כמה חשבוניות וכמה דשבורדים. LLM Gateway הוא שכבת proxy שיושבת בין קוד האפליקציה לספקי המודלים. הוא חושף endpoint אחד תואם OpenAI ומטפל בניתוב, failover, מעקב עלויות, אימות, rate limiting ו-caching (DeltaLLM).
הצורך בשער כזה כמעט אף פעם לא מתחיל בתכנון ארכיטקטוני מסודר. הוא מתחיל בתקלה: מפתח OpenAI אחד שכל הצוות משתף, אין דרך לדעת מי הוציא כמה, אין fallback כשהספק מחזיר שגיאות rate limit, ובסוף החודש מתגלה חריגה פי 3 מהתקציב שמפוזרת על פני ארבעה דשבורדים של חיוב (47Billion).
במקביל, השוק עצמו זז מהר. לפי מקור אחד, כמה מהשמות הבולטים בתחום החליפו בעלים במהלך 2026, ולפחות מוצר אחד עבר למצב תחזוקה בלבד (Concentrate.ai). לכן בחירת שער LLM בקוד פתוח היא כבר לא רק שאלה של פיצ'רים, אלא גם של יציבות הפרויקט ושל מי שמתחזק אותו. המדריך הזה עובר על מה שער כזה עושה, מתי צוות קטן או סוכנות בישראל באמת צריכים אותו, מה ההבדלים בין האפשרויות המרכזיות, ואיך לפרוס אחד בצורה אחראית.
מה LLM Gateway עושה (ומה הוא לא עושה)
הרעיון המרכזי פשוט: במקום שכל אפליקציה תדבר ישירות עם OpenAI, Anthropic, Google או ספק אחר, כל האפליקציות מדברות עם נקודת קצה אחת. השער מתרגם את הבקשה לפורמט של הספק הרלוונטי, מנתב אותה, רושם את העלות ומחזיר תשובה בפורמט אחיד.
היכולות המרכזיות
לפי הסקירות שנבדקו, שער טיפוסי מספק את השכבות הבאות (Contabo):
- API אחד לכל המודלים – בדרך כלל ממשק תואם OpenAI, כך שה-SDK הקיים ממשיך לעבוד ורק ה-base URL משתנה.
- ניתוב ו-fallback – מעבר בין ספקי מודלים כשאחד נופל, מאט או מחזיר שגיאת מכסה.
- Caching – שמירת תשובות לבקשות חוזרות כדי לא לשלם עליהן פעמיים.
- Rate limiting ותקציבים – תקרות הוצאה והגבלות קצב לפי צוות, אפליקציה או לקוח.
- מפתחות וירטואליים – ניהול מפתחות API למודלים במקום אחד, כשכל אפליקציה מקבלת מפתח משלה שלא חושף את מפתח הספק האמיתי.
- Observability – לוגים, מעקב עלויות וניתוח שימוש.
מה שער LLM לא עושה
כדאי להבחין בין שלוש קטגוריות שנשמעות דומות. Composio מפרידה בין API Gateway שמנהל תעבורת HTTP כללית, LLM Gateway שמנהל ניתוב, fallback, caching ועלויות מול ספקי מודלים, ו-MCP Gateway שמנהל את התעבורה בין סוכנים לכלים דרך Model Context Protocol (Composio). מי שמתמודד בעיקר עם עלויות של כלים בסוכנים ימצא ערך בנושא עלויות טוקנים ב-MCP, שהוא בעיה נפרדת.
נקודה נוספת שמפתיעה רבים: שער מאחד את ה-API, אבל לא בהכרח את החשבוניות. שערים מנוהלים מסוימים מוכרים inference דרך קרדיטים בתשלום מראש, בעוד ששערים במודל BYOK (Bring Your Own Key) משאירים את החשבונית הישירה מכל ספק במקומה (WebsiteInit). בשער self-hosted כמו LiteLLM אתם תמיד במודל BYOK: מעקב העלויות מרוכז, אבל התשלום עדיין יוצא לכל ספק בנפרד.
וגם: השער לא משפר את איכות המודל ולא משנה את התוכן. תמיכה בעברית, איכות התשובות וצריכת הטוקנים על טקסט עברי תלויות במודל עצמו, לא בשכבת הניתוב.
האם צוות קטן בישראל באמת צריך שער LLM?
התשובה הכנה: לא תמיד. אפליקציה אחת שעובדת מול ספק אחד, עם מפתח אחד ותקציב צפוי, לא צריכה שכבה נוספת שצריך לתחזק. הסיפור משתנה כשמתחיל ריבוי.
סימנים שהגיע הזמן
- יותר מספק אחד בפרודקשן – ברגע שיש שני SDK-ים, שני פורמטים של שגיאות ושני דשבורדים של חיוב, השער מתחיל להחזיר את ההשקעה.
- סוכנות עם כמה לקוחות – סוכנות דיגיטלית שבונה צ'אטבוטים ואוטומציות לכמה לקוחות צריכה לדעת כמה עלה כל לקוח. מפתח וירטואלי ותקציב לכל לקוח הופכים את החיוב החודשי לפשוט ושקוף.
- מפתח משותף – אם אותו מפתח API יושב בקוד של חמישה פרויקטים ובמחשבים של ארבעה מפתחים, זו בעיית אבטחה ובעיית ייחוס עלויות גם יחד (47Billion).
- תלות בזמינות – אם צ'אטבוט שירות לקוחות נופל בכל פעם שספק אחד חווה עומס, fallback אוטומטי מוריד את הסיכון.
- דרישות פרטיות מלקוחות – לקוחות ממגזרים רגישים (משפט, בריאות, פיננסים) שואלים לאן הנתונים זורמים. שער מרכזי נותן נקודת שליטה אחת ומקום אחד לתעד בו מדיניות.
מתי עדיף לוותר
אם הצוות קטן מאוד ואין מי שיתחזק שרת נוסף, שער self-hosted הוא עוד רכיב שכל האפליקציות תלויות בו. כשהוא נופל, כולן נופלות. במקרה כזה עדיף לפעמים להתחיל עם ניהול מסודר של מפתחות נפרדים לכל פרויקט ואופטימיזציה בסיסית של העלויות, כפי שמתואר במאמר על ירידת מחירי LLM ואיך לחתוך עלויות AI, ולהוסיף שער רק כשהכאב אמיתי.
Self-hosted, מנוהל או Edge: שלוש משפחות של שערים
הקטגוריה רחבה יותר ממה שנראה. Concentrate.ai מחלקת אותה לפי סוג העבודה: proxies לאירוח עצמי כמו LiteLLM ו-Bifrost, שערים מנוהלים שכוללים גם inference כמו OpenRouter ו-Vercel AI Gateway, ושערים בשכבת ה-edge או ה-API כמו Cloudflare ו-Kong (Concentrate.ai). מעבר לזה יש כלים שמתמקדים ב-observability (כמו Helicone) ופלטפורמות שמתמקדות ב-governance (כמו Portkey).
משפחה | דוגמאות | יתרון מרכזי | חיסרון מרכזי |
|---|---|---|---|
Self-hosted proxy | LiteLLM, Bifrost | שליטה מלאה, מפתחות נשארים אצלכם | אתם מתפעלים רכיב קריטי |
מנוהל עם inference | OpenRouter, Vercel AI Gateway | אפס תפעול, לפעמים חשבונית אחת | עמלות, תלות בספק |
Edge / API stack | Cloudflare AI Gateway, Kong | משתלב בתשתית קיימת | לא תמיד ניתן לאירוח עצמי, פחות גמישות |
Observability / governance | Helicone, Portkey | דשבורדים, ניתוח, guardrails | החוויה המלאה לרוב בענן בתשלום |
המחיר הנסתר של שערים מנוהלים
שער מנוהל חוסך תפעול, אבל צריך לבדוק עמלות מעבר למחיר הרשמי של הספק. לדוגמה, לפי Concentrate.ai, ב-OpenRouter יש עמלה של 5.5% על קרדיטים ועמלה של 5% על BYOK מעל 25 אלף דולר בחודש (Concentrate.ai). זה מקור של ספק מתחרה, ולכן כדאי לאמת מול עמוד התמחור הרשמי לפני החלטה.
Latency: לכל שכבה יש מחיר
כל שער מוסיף קפיצה ברשת. לפי Kalvium Labs, Cloudflare AI Gateway מוסיף בערך 20-60 מילישניות לבקשה. הוא מציע caching מבוסס התאמה מדויקת, rate limiting, ניתוב fallback ולוגים, אבל הוא מנוהל בלבד ולא ניתן לאירוח עצמי (Kalvium Labs). לשערים בהתקנה עצמית לא נמצאו מספרים מקבילים במקורות, ולכן מומלץ למדוד בסביבה שלכם.
המתמודדים בקוד פתוח: LiteLLM, Bifrost, Portkey, Helicone ועוד
לפני ההשוואה, הסתייגות חשובה: רוב הסקירות בתחום נכתבות על ידי חברות שמוכרות שער משלהן (DeltaLLM, Concentrate, FloTorch ואחרות), ולכן הדירוגים שלהן מוטים. הטבלה והתיאורים כאן מתבססים על מה שהמקורות מסכימים עליו, עם סימון ברור של טענות שנויות במחלוקת.
LiteLLM
LiteLLM הוא proxy תואם OpenAI ברישיון MIT שתומך ביותר מ-100 ספקים. הוא כולל מפתחות וירטואליים, תקציבים לפי צוות, מעקב עלויות, fallbacks וממשק ניהול, ומגיע גם כ-SDK לפייתון וגם כשרת proxy שנפרס עם Docker (Contabo).
גם DeltaLLM, שמוכרת שער מתחרה, מדרגת את LiteLLM כפרויקט הקוד הפתוח הבוגר והנפוץ ביותר בקטגוריה, ומציינת את מורכבות התצורה כמגבלה העיקרית שלו (DeltaLLM). חסרונות נוספים: אתם מתפעלים רכיב שכל האפליקציות תלויות בו (PostgreSQL, שדרוגים, זמינות), ויכולות כמו SSO, audit logs ו-RBAC עשויות להיות בשכבת Enterprise בתשלום (Origins).
Bifrost
Bifrost מסווג לצד LiteLLM כ-proxy לאירוח עצמי (Concentrate.ai). מעבר לסיווג הזה, המקורות שנבדקו כמעט ולא מפרטים את הרישיון, הביצועים או רשימת היכולות שלו. מי ששוקל אותו צריך לעבור על התיעוד הרשמי ועל ה-repository, ולבדוק במיוחד קצב commits, מספר מתחזקים ותאימות לספקים שבשימוש.
Portkey
Portkey מציע gateway בקוד פתוח לצד ענן מנוהל, עם דשבורד חזק, ניהול גרסאות של פרומפטים ו-guardrails (DeltaLLM). לפי Deepak Gupta הוא תומך ביותר מ-200 ספקים, עם שכבה חינמית ותמחור לפי שימוש, ואפשרות לענן או לאירוח עצמי (Gupta).
החולשות: החוויה הטובה ביותר היא בענן המנוהל בתשלום, ואפשרויות האירוח העצמי מתוארות כמוגבלות יותר. בנוסף, Concentrate.ai טוענת ש-Palo Alto Networks רכשה את Portkey במאי 2026 ושהמוצר נמכר כעת כ-Prisma AIRS AI Gateway (Concentrate.ai). הטענה לא אומתה באופן עצמאי, ולא ברור מה המשמעות לגבי עתיד הגרסה הפתוחה.
Helicone
Helicone הוא כלי שמתחיל מ-observability: אנליטיקה חזקה, קוד פתוח שניתן לאירוח עצמי, ותמיכה ביותר מ-100 ספקים דרך proxy, עם שכבה חינמית ותמחור לפי בקשה (Gupta). הדגש שלו פחות על governance ו-RBAC.
כאן נדרשת זהירות מיוחדת: Concentrate.ai טוענת ש-Mintlify רכשה את Helicone במרץ 2026 ושהמוצר נמצא במצב תחזוקה, כלומר תיקוני אבטחה ומודלים חדשים בלבד (Concentrate.ai). סקירות אחרות עדיין מתארות אותו כשער פעיל. לפני אימוץ, כדאי לבדוק הודעות רשמיות ואת פעילות ה-repository.
חלופות נוספות
Origins מונה כחלופות לאירוח עצמי את Agent Router (לשעבר Envoy AI Gateway, ברישיון Apache 2.0 ומותאם ל-Kubernetes), את ה-gateway הפתוח של Portkey ואת Kong AI Gateway (Origins). Kong מתאים בעיקר לארגונים שכבר עובדים עם Kong; לפי Gupta הוא תומך ביותר מ-30 ספקים ברישיון Enterprise ותמחור לפי שימוש, ולצוותים שלא נמצאים כבר באקוסיסטם הזה Portkey, LiteLLM או Helicone מתוארים כהתאמה טובה וזולה יותר (Gupta).
טבלת השוואה
שער | רישיון / מודל | ספקים | חוזקה עיקרית | נקודה לבדיקה |
|---|---|---|---|---|
LiteLLM | MIT, self-hosted | 100+ | מפתחות וירטואליים, תקציבים, fallbacks | מורכבות תצורה, SSO/RBAC אולי בתשלום |
Portkey | OSS + ענן מנוהל | 200+ | דשבורד, guardrails, ניהול פרומפטים | רכישה נטענת, אירוח עצמי מוגבל |
Helicone | OSS, self-hostable | 100+ | observability ואנליטיקה | מצב תחזוקה נטען |
Kong AI Gateway | רישיון Enterprise | 30+ | השתלבות בתשתית Kong קיימת | עלות, מתאים בעיקר למי שכבר על Kong |
Bifrost | self-hosted | לא פורט במקורות | proxy לאירוח עצמי | לאמת מול התיעוד הרשמי |
מקורות לטבלה: Contabo, Gupta, DeltaLLM, Concentrate.ai.
ניתוב מודלי שפה ו-fallback: מה להגדיר בפועל
הערך האמיתי של שער מתגלה בתצורה. הדוגמאות כאן מבוססות על LiteLLM, כי הוא הנפוץ ביותר והתיעוד סביבו זמין, אבל העקרונות נכונים לכל שער.
לתת שמות לפי תפקיד, לא לפי ספק
המלצה מעשית מ-SSD Nodes: לתת למודלים שמות לפי התפקיד שלהם, למשל bulk למשימות זולות בנפח גבוה ו-strong למשימות שדורשות מודל חזק, במקום לפי שם הספק. כך אפשר להחליף ספק בלי לגעת בקוד האפליקציה. המפתחות נקראים ממשתני סביבה, וכל אפליקציה מקבלת מפתח וירטואלי משלה עם רשימת מודלים מותרים ותקרת הוצאה (SSD Nodes).
איזון עומסים ו-cooldown
ב-LiteLLM, כמה deployments שחולקים את אותו model_name נחשבים ניתנים להחלפה, והעומס מתפזר ביניהם. deployment שנמצא ב-cooldown מדולג. התצורה תומכת ב-num_retries, ב-fallbacks וב-context_window_fallbacks, כלומר מעבר אוטומטי למודל עם חלון הקשר גדול יותר כשהבקשה ארוכה מדי (SSD Nodes).
דוגמת תצורה שמשתמשת בערכים שהמקור מציע (2 ניסיונות חוזרים, 3 כישלונות מותרים, cooldown של 30 שניות, timeout של 120 שניות ובדיקת בריאות כל 300 שניות):
model_list:
# שני deployments של אותו מודל = failover בלי שינוי בפלט
- model_name: bulk
litellm_params:
model: openai/gpt-4o-mini
api_key: os.environ/OPENAI_API_KEY
- model_name: bulk
litellm_params:
model: azure/my-gpt-4o-mini-deployment
api_base: os.environ/AZURE_API_BASE
api_key: os.environ/AZURE_API_KEY
- model_name: strong
litellm_params:
model: anthropic/claude-sonnet-4-20250514
api_key: os.environ/ANTHROPIC_API_KEY
router_settings:
num_retries: 2
allowed_fails: 3
cooldown_time: 30
fallbacks:
- strong: ["bulk"]
litellm_settings:
request_timeout: 120
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
database_url: os.environ/DATABASE_URL
background_health_checks: true
health_check_interval: 300שמות המודלים כאן להמחשה בלבד; יש להחליף אותם במודלים שבשימוש בפועל ולבדוק את תחביר התצורה מול התיעוד של הגרסה המותקנת.
Failover לאותו מודל מול fallback למודל אחר
זו הבחנה שכדאי להפנים. Failover לאותו מודל אצל ספק אחר (למשל אותו מודל ב-OpenAI וב-Azure) שומר על התנהגות זהה. Fallback למודל אחר לגמרי משנה את הפלט: פורמט התשובה, הטון, ולפעמים גם את היכולת לעקוב אחרי הוראות (Concentrate.ai). אם האפליקציה מצפה ל-JSON במבנה מסוים, צריך לבדוק שגם מודל הגיבוי מחזיר אותו.
עוד אזהרה: ניסיונות חוזרים בשער שמצטברים על ניסיונות חוזרים ב-SDK של האפליקציה יכולים להכפיל את העומס בדיוק כשהספק כבר בקושי. כדאי להגדיר retries בשכבה אחת בלבד. הנושא מוסבר לעומק במאמר על retry storm, backoff ו-circuit breaker.
חיבור האפליקציה לשער
מבחינת הקוד, המעבר כמעט שקוף. אפליקציה שכבר משתמשת ב-SDK של OpenAI משנה רק את ה-base URL ואת המפתח:
from openai import OpenAI
client = OpenAI(
base_url="https://llm-gateway.internal.example",
api_key="sk-virtual-key-for-this-app",
)
response = client.chat.completions.create(
model="bulk", # שם לפי תפקיד, לא לפי ספק
messages=[{"role": "user", "content": "סכם את הפנייה הבאה בשלוש שורות"}],
)
print(response.choices[0].message.content)חיסכון בעלויות AI: תקציבים, מפתחות וירטואליים ו-caching
שליטה בעלויות היא הסיבה הנפוצה ביותר לאמץ שער. יש לה שלושה רכיבים עיקריים.
מפתחות וירטואליים לכל צוות, אפליקציה או לקוח
ההמלצה של Origins ברורה: להנפיק מפתחות לכל צוות עם תקציבים לפני שהמפתח הראשון מתחבר, כך שההוצאה ניתנת לייחוס מהיום הראשון (Origins). בסוכנות, המשמעות המעשית היא מפתח לכל לקוח או לכל פרויקט. ב-LiteLLM זה נראה בערך כך:
curl -X POST https://llm-gateway.internal.example/key/generate \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"key_alias": "client-a-support-bot", "models": ["bulk"], "max_budget": 50, "budget_duration": "30d"}'המפתח הזה יכול לגשת רק למודל bulk ונעצר כשהוא מגיע לתקרה. מפתח הספק האמיתי לא יוצא מהשרת, וכשפרויקט מסתיים פשוט מבטלים את המפתח הווירטואלי שלו.
תקציב קשיח מול תקציב רך
כדאי לבדוק אם התקציב חוסם בקשות כשמגיעים לתקרה (קשיח) או רק שולח התראה (רך), והאם הוצאה דרך BYOK נספרת בתקציב (Concentrate.ai). לצ'אטבוט שירות לקוחות, חסימה פתאומית עלולה להיות גרועה מחריגה, ולכן כדאי לחשוב מראש מה קורה כשהתקרה נפגעת.
Caching: התאמה מדויקת מול caching סמנטי
Caching מבוסס התאמה מדויקת מחזיר תשובה שמורה רק כשהבקשה זהה לחלוטין. Caching סמנטי מחזיר תשובה גם לבקשה דומה במשמעות. FloTorch טוענת ש-caching סמנטי יכול להוביל ל-40%-70% פחות קריאות מיותרות למודל לעומת התאמה מדויקת בעומסי עבודה אמיתיים (FloTorch). זו טענה של ספק בלי מתודולוגיה מפורטת, ולכן כדאי להתייחס אליה כהשערה לבדיקה ולא כהבטחה.
גם הסיכון ברור: caching סמנטי עלול להחזיר תשובה לשאלה שנראית דומה אבל שונה בפרט קריטי. לשאלות FAQ חוזרות זה יכול לעבוד היטב; לתשובות שתלויות בנתוני לקוח ספציפיים, פחות. בשילוב עם מערכות RAG, תשובה שמורה עלולה גם לעקוף את שלב השליפה והאימות, ולכן כדאי לבחון את זה מול מנגנון אימות טענות וציטוטים שכבר קיים.
סיכון בעלות ותחזוקה ב-2026
אחד הקריטריונים שהכי קל לפספס הוא מי עומד מאחורי הפרויקט. לפי Concentrate.ai, שלושה שמות מוכרים החליפו בעלים במהלך 2026 (Concentrate.ai):
- Helicone – נרכשה על ידי Mintlify במרץ 2026 ונמצאת במצב תחזוקה.
- Portkey – נרכשה על ידי Palo Alto Networks במאי 2026 ונמכרת כ-Prisma AIRS AI Gateway.
- OpenRouter – נרכשה על ידי Stripe באוגוסט 2026.
חשוב להדגיש: אלה טענות של מקור יחיד, שהוא בעצמו ספק מתחרה, והן סותרות חלק מהסקירות האחרות. הן לא אומתו כאן מול הודעות רשמיות. ובכל זאת, הן ממחישות את הסיכון: שער LLM הוא רכיב שכל האפליקציות תלויות בו, ושינוי בעלות יכול להוביל למעבר למכירות Enterprise, לשינוי רישיון או להאטה בפיתוח.
איך בודקים את מצב הפרויקט
- תאריך ה-release האחרון ותדירות ה-commits ב-repository.
- האם יש הודעה רשמית על רכישה, מיזוג או שינוי מודל עסקי.
- איזה רישיון חל על הקוד, והאם יכולות מרכזיות עברו לשכבה סגורה.
- כמה זמן לוקח לתקן issues של אבטחה.
- האם יש תוכנית יציאה: אם השער תואם OpenAI, החלפה שלו דורשת בעיקר שינוי URL ומפתחות, וזה בדיוק היתרון של ממשק סטנדרטי.
מכיוון שהשער מחזיק את כל מפתחות הספקים, הוא גם יעד אטרקטיבי לתוקפים. עדכוני אבטחה מהירים הם חובה, וכדאי לשלב אותו בתהליך הקיים של אבטחת שרשרת האספקה.
צ'קליסט לאירוח עצמי של LLM Gateway
מי שבוחר להריץ שער בעצמו, ובמיוחד LiteLLM, יכול להתחיל קטן. לפי SSD Nodes, ה-proxy של LiteLLM מוגבל בעיקר על ידי CPU ורץ על שרת קטן עם PostgreSQL (ו-Redis כאופציה). שרת VPS עם vCPU אחד יכול לשרת כמה אפליקציות פנימיות, ומסד הנתונים גדל עם הזמן כי נכתבת שורת הוצאה לכל בקשה (SSD Nodes). סביבת המינימום שהמקור מתאר: Ubuntu 24.04, Docker ו-Compose, ו-Postgres.
תשתית
- שרת עם Docker ו-Docker Compose, ו-PostgreSQL לאחסון מפתחות והוצאות.
- Redis אם יש כמה מופעים של השער או צורך ב-caching משותף.
- תוכנית לניהול גדילת מסד הנתונים: שמירה, ארכוב או מחיקה של שורות הוצאה ישנות.
- HTTPS מול השער, ועדיף גישה מרשת פנימית או VPN בלבד.
- גיבוי של מסד הנתונים, כי בו יושבים המפתחות הווירטואליים וההיסטוריה.
אבטחה וגישה
- מפתחות ספקים במשתני סביבה או ב-secret manager, אף פעם לא בקובץ התצורה שנכנס ל-Git.
- מפתח וירטואלי לכל אפליקציה או לקוח, עם רשימת מודלים מותרים ותקרת הוצאה, לפני שהמפתח הראשון מתחבר.
- לבדוק אם SSO, audit logs ו-RBAC זמינים בגרסה החינמית או רק ב-Enterprise (Origins).
- תהליך מוגדר לעדכוני אבטחה של השער ושל ה-image.
פרטיות ונתונים
כאן יש אי-הבנה נפוצה. אירוח עצמי שומר את הפרומפטים בתוך הרשת שלכם רק כשכל המודלים שמאחורי השער מקומיים. קריאות לספקים מתארחים עדיין שולחות את תוכן הפרומפט החוצה (Origins). מה שהשער כן נותן הוא שליטה: איפה נשמרים הלוגים, מי רואה אותם, ואילו מודלים מותרים לכל לקוח. ללקוח ישראלי עם דרישות פרטיות, זו נקודה שצריך להסביר בכנות ולא להבטיח יותר ממה שהארכיטקטורה מספקת.
אם השער שומר לוגים מלאים של פרומפטים ותשובות, הוא הופך בעצמו למאגר מידע רגיש. כדאי להחליט מראש אם לשמור תוכן, רק מטא-דאטה או כלום.
תפעול
- ניטור זמינות של השער עצמו, לא רק של הספקים.
- מדידת ה-latency שהשער מוסיף בסביבה שלכם.
- בעלים ברורים בצוות: מי מעדכן, מי מגיב כשהשער נופל.
- בדיקת fallback יזומה: לנתק ספק אחד בסביבת staging ולוודא שהניתוב עובד.
מדריך החלטה: איזה שער מתאים לאיזה צוות
רשימת השאלות של Concentrate.ai לסביבת פרודקשן היא נקודת פתיחה טובה: עמלות נסתרות מעבר למחיר הרשמי, failover לאותו מודל לעומת fallback למודל אחר, תקציבים קשיחים או רכים והאם BYOK נספר בהם, בקרות על נתונים, ה-latency הנוסף ומי מתפעל את השער (Concentrate.ai). על בסיס זה, כמה תרחישים נפוצים:
פרילנסר או צוות של 2-3 מפתחים עם ספק אחד
כנראה שלא צריך שער עדיין. מפתח נפרד לכל פרויקט אצל הספק, התראות חיוב ומעקב בסיסי יספיקו. כדאי לתכנן את הקוד כך שה-base URL יהיה בהגדרות, כדי שמעבר עתידי לשער יהיה פשוט.
סוכנות שבונה צ'אטבוטים ואוטומציות לכמה לקוחות
כאן LiteLLM בהתקנה עצמית הוא בחירה טבעית: מפתח וירטואלי ותקציב לכל לקוח, ניתוב לפי תפקיד, ושרת קטן שמספיק לנפח של סוכנות. המחיר הוא אחריות תפעולית, ולכן צריך מישהו בצוות שמכיר Docker ו-Postgres.
צוות שרוצה אפס תפעול
שער מנוהל כמו OpenRouter, Vercel AI Gateway או Cloudflare AI Gateway. צריך לבדוק עמלות, להבין שלא כולם ניתנים לאירוח עצמי, ולקחת בחשבון latency נוסף.
צוות שהבעיה העיקרית שלו היא נראות
אם השאלה המרכזית היא מה קורה בפרומפטים, כמה כל פיצ'ר עולה ואיפה יש שגיאות, כלי observability-first מתאים. במקרה של Helicone, יש לבדוק קודם את מצב הפרויקט לאור הטענות על מצב תחזוקה.
ארגון שכבר עובד עם Kong או Kubernetes
Kong AI Gateway הגיוני למי שכבר סטנדרטי על Kong (Gupta), ו-Agent Router (לשעבר Envoy AI Gateway) מתאים לסביבות Kubernetes (Origins).
תרחיש | המלצה | למה |
|---|---|---|
ספק אחד, צוות קטן | בלי שער (בינתיים) | אין מספיק ריבוי שמצדיק תפעול |
סוכנות עם כמה לקוחות | LiteLLM self-hosted | ייחוס עלויות לכל לקוח, שליטה במפתחות |
אפס תפעול | שער מנוהל | אין שרת לתחזק, בתמורה לעמלות ו-latency |
דגש על ניתוח ונראות | כלי observability-first | אנליטיקה מפורטת, אחרי בדיקת מצב הפרויקט |
תשתית Kong / Kubernetes קיימת | Kong AI Gateway / Agent Router | השתלבות בכלים קיימים |
שאלות נפוצות
מה בעצם עושה LLM Gateway?
הוא נותן API אחד לגישה למודלים רבים, ומוסיף ניתוב, fallback, caching, הגבלות קצב, תקציבים, מפתחות וירטואליים ו-observability, כך שהאפליקציות לא צריכות לטפל בפרטים הספציפיים של כל ספק (Contabo).
מתי כדאי להריץ שער בהתקנה עצמית?
כשרוצים בעלות על התשתית, להשאיר את מפתחות הספקים והפרומפטים על שרת שבשליטתכם, או לעמוד בדרישות של מיקום נתונים. המחיר הוא שאתם מתפעלים תלות קריטית שכל האפליקציות נשענות עליה (SSD Nodes).
האם שער self-hosted שומר על הפרומפטים פרטיים?
רק אם כל המודלים שמאחוריו מקומיים. כל קריאה לספק מתארח שולחת את הפרומפט החוצה, גם כשהשער עצמו רץ אצלכם (Origins).
האם שער מוסיף latency?
כן. Cloudflare AI Gateway מדווח כמוסיף כ-20-60 מילישניות לבקשה, ואם latency הוא האילוץ הראשון שלכם כדאי לשקול זאת היטב (Kalvium Labs). לשערים בהתקנה עצמית לא נמצאו נתונים במקורות, ולכן כדאי למדוד בסביבה שלכם.
מה ההבדל בין LLM Gateway ל-MCP Gateway?
LLM Gateway מנהל קריאות למודלי שפה: ניתוב, fallback, caching ועלויות. MCP Gateway מנהל את התעבורה בין סוכנים לכלים דרך Model Context Protocol (Composio). במערכות סוכנים מורכבות ייתכן שיהיה צורך בשניהם.
מה להגדיר ראשון אחרי ההתקנה?
מפתחות לכל צוות, כלי או לקוח, עם תקציבים, לפני שהמפתח הראשון מתחבר. כך ההוצאה ניתנת לייחוס מהיום הראשון ולא צריך לשחזר אותה בדיעבד (Origins).
סיכום
LLM Gateway פותר בעיה אמיתית שמופיעה ברגע שיש יותר מספק אחד, יותר מאפליקציה אחת או יותר מלקוח אחד: ריבוי מפתחות, ריבוי חשבוניות והיעדר ייחוס עלויות. הוא מספק נקודת קצה אחת, ניתוב ומעבר בין ספקי מודלים, תקציבים ומפתחות וירטואליים, ובחלק מהמקרים גם caching שחוסך קריאות.
בצד השני של המאזן: שער הוא רכיב קריטי שצריך לתחזק, הוא מוסיף latency, הוא לא מאחד חשבוניות במודל BYOK, והוא לא הופך קריאות לספקים מתארחים לפרטיות. בנוסף, שוק השערים עבר טלטלה ב-2026 לפי חלק מהמקורות, כך שבדיקת מצב הפרויקט ומי עומד מאחוריו היא חלק מהבחירה.
לצוותים קטנים וסוכנויות בישראל, LiteLLM בהתקנה עצמית הוא נקודת פתיחה סבירה ונפוצה, בתנאי שיש מי שיתחזק אותו. מי שלא רוצה לתפעל שרת יכול לבחור שער מנוהל, בתנאי שבודק עמלות ו-latency. ובכל מקרה, הצעד הראשון זהה: לתת שמות למודלים לפי תפקיד, להנפיק מפתח ותקציב לכל אפליקציה או לקוח, ולשמור את ה-base URL בהגדרות כך שהחלפת שער בעתיד תהיה עניין של שורה אחת.
מקורות
- Best LLM Gateways (2026 Guide) | Contabo Blog
- Self-host LiteLLM as your LLM gateway · SSD Nodes
- Self-Hosted LLM Gateways Compared: LiteLLM and Its Alternatives (2026) | Origins
- The 9 Best LLM Gateways in 2026, Grouped by the Job They Do | Concentrate.ai
- Top 5 AI Gateways 2026 | Deepak Gupta
- Best LLM Gateways in 2026: A Developer's Honest Guide | DeltaLLM
- One Key, One Bill? A Practical Guide to LLM Gateways | WebsiteInit
- Cloudflare AI Gateway vs Direct API | Kalvium Labs
- LLM Gateway Comparison 2026 | FloTorch
- MCP Gateway vs LLM Gateway vs API Gateway | Composio
- Why Every Production AI Application Needs an LLM Gateway | 47Billion






