כלים

Hugging Face מעבירה את הפעלת מודלי השפה ל-OpenRouter

השילוב יאפשר למפתחים להפעיל מודלים דרך חשבון Hugging Face, עם בחירה אוטומטית בין ספקים וניסיון חוזר במקרה של תקלה.

3 דק׳ קריאה
צילום מסך של הגדרות הספקים ב-Hugging Face, עם רשימת ספקי מודלים ומתגים להפעלה או כיבוי של ניתוב הבקשות אליהם
מקור: Hugging Face

Hugging Face ו-OpenRouter הודיעו על שיתוף פעולה שבמסגרתו בקשות למודלי שפה בשירות Inference Providers של Hugging Face עוברות כעת דרך מערכת הניתוב של OpenRouter. המערכת בוחרת ספק שמפעיל את המודל ומנסה ספק אחר אם הבקשה נכשלת. לפי הודעת Hugging Face, מפתחים שכבר משתמשים בשירות אינם צריכים לשנות את הקוד שלהם.

Hugging Face מפעילה פלטפורמה לאחסון ושיתוף של מודלי בינה מלאכותית. OpenRouter מספקת גישה למודלים דרך ממשק אחד ומנתבת בקשות בין ספקים שמפעילים אותם. השילוב מאפשר להשתמש במפתח הגישה של Hugging Face כדי לפנות למודלים זמינים, בלי לנהל חיבור נפרד לכל ספק.

המהלך מתמקד במודלים שמשקליהם פתוחים: המספרים שהמודל למד במהלך האימון מתפרסמים ואפשר להוריד אותם ולהפעיל את המודל. כפי ש-OpenRouter מסבירה, פרסום המשקלים אינו מבטיח שכל חומרי האימון או הקוד זמינים, ותנאי השימוש משתנים ממודל למודל.

איך נבחר הספק

עד כה, לפי Hugging Face, השירות שלה בחר ספק לבקשה והחזיר שגיאה אם אותו ספק נכשל. כעת OpenRouter בוחנת מחיר, מהירות ואמינות, ומעבירה את הבקשה לספק אחר במקרה הצורך. המשתמשים עדיין יכולים לבחור ספק מסוים או להגדיר העדפה למחיר הנמוך ביותר או לתפוקה הגבוהה ביותר.

השיטה עשויה להשפיע גם על העלות בפועל. OpenRouter מסרה שבניסוי שערכה במערכת הניתוב שלה, העלות לבקשה עלתה ב-6% לעומת השיטה הקודמת, שהתמקדה במחיר. באותו ניסוי, לדבריה, זמן ההמתנה החציוני לתחילת התשובה התקצר ב-16.9%, ושיעור הבקשות שנתקלו לפחות פעם אחת בשגיאת עומס ירד ב-46%. אלה נתוני ניסוי של OpenRouter עצמה, ולא מדידה נפרדת של השילוב עם Hugging Face.

בדפי המודלים ב-Hugging Face אפשר לראות אילו ספקים זמינים, לצד המחיר, המהירות וזמינות השירות שלהם ב-24 השעות האחרונות. משתמשים וארגונים יכולים גם לחסום ספקים מסוימים בהגדרות, כדי שהבקשות שלהם לא יישלחו אליהם.

יש גם שינוי למי שהשתמשו במפתח גישה אישי של ספק: בבקשות למודלי שפה דרך השירות כבר אי אפשר להשתמש במפתח כזה, והחיוב עובר דרך חשבון Hugging Face או חשבון הארגון. יצירת תמונות, וידאו וקול ממשיכה לעבור ישירות דרך Inference Providers, ומפתחות אישיים לספקי תמונה ווידאו ממשיכים לעבוד.

מה זה אומר בשבילכם

השינוי זמין כעת ומיועד בעיקר למפתחים שרוצים לשלב מודלים באפליקציות או בכלי תכנות. אפשר לנסות מודל ישירות בדף שלו ב-Hugging Face, או להשתמש במפתח גישה של הפלטפורמה כדי לשלוח בקשות מהקוד. בהודעת החברה מופיעים גם מדריכי הגדרה לכלים כמו Claude Code ו-Codex.

Hugging Face אומרת שהחיוב נשאר במחיר הספק, ללא תוספת מצדה. מנויי PRO מקבלים 2 דולרים של קרדיט בחודש, וארגונים במסלולי Team ו-Enterprise מקבלים 2 דולרים לכל מושב. מכיוון שהניתוב עשוי לבחור ספק לפי שילוב של מחיר וביצועים, כדאי לבדוק את מחיר הספק שנבחר ואת פירוט השימוש. ההודעה אינה מפרטת את תנאי השימוש למשתמשים בחינם או אם השירות זמין בישראל.

תגובות

היו הראשונים להגיב

המייל לא יוצג באתר. תגובה ראשונה מתפרסמת אחרי אישור. כללי התגובות