Baidu פרסמה את ERNIE-5.5-Flash-Base, מודל שפה עם 280 מיליארד פרמטרים בסך הכול. המשקולות, כלומר הקבצים שמאפשרים להריץ את המודל, זמינות להורדה ב-Hugging Face וב-ModelScope. זהו מודל בסיס: נקודת הסיום של שלב האימון הראשוני, לפני כל אימון המשך להתנהגות כמו צ'אטבוט. הוא אינו מוצר שאפשר לשוחח איתו מהקופסה.
מה זה מודל בסיס, ולמה לפרסם אותו
לפי הבלוג של צוות ERNIE, הרעיון הוא לחסוך למפתחים את העלות של אימון ראשוני בקנה מידה גדול. הם יכולים להתחיל מהמודל ולהתאים אותו לתחום מסוים, ללמד אותו להגיב להוראות או לבצע ניסויי למידת חיזוק. החברה מציינת שנקודת בדיקה אחת ונקייה מאפשרת גם להשוות שיטות אימון בתנאים מבוקרים. הגרסה המותאמת, ERNIE 5.5 Flash, תפורסם בהמשך, לדברי הצוות.
הנתונים הטכניים
המודל בנוי בארכיטקטורת Mixture-of-Experts: במקום להפעיל את כל הפרמטרים בכל מילה, הוא מנתב כל קטע טקסט למספר קטן של "מומחים". כך רק 14 מיליארד פרמטרים פעילים בכל שלב. הוא אומן מאפס על 33.5 טריליון טוקנים (יחידות טקסט) עם הקשר של עד 128 אלף טוקנים. באימון המשך ובהרצה הוא תומך בהקשר של מיליון טוקנים. המודל הוא טקסט בלבד, והמשקולות מפורסמות בשני דיוקים, FP8 ו-BF16.
החברה מדגישה את היעילות. רוב שכבות הקשב דוחסות כל 128 טוקנים לרשומה אחת בזיכרון, ורק אחת משבע שומרת גישה מלאה להקשר. הארכיטקטורה כוללת גם כמה "נתבים" שבוחרים מומחים במקום נתב יחיד, ומנגנוני חיזוי של מילים עתידיות שמשמשים גם להאצת ההרצה. נתוני האימון כוללים דגש על קוד ברמת מאגר שלם, כולל היסטוריית שינויים ותיקונים, ועל הקשר ארוך.
המבחנים
Baidu השוותה את המודל לשלושה מודלי בסיס פתוחים בגודל דומה: DeepSeek-V4-Flash-Base, Hy3-preview-Base של Tencent ו-MiMo-V2.5-Base של Xiaomi. לדבריה, כולם נבדקו באותו מנגנון, באותן הנחיות ובאותן דוגמאות.
בטבלה של החברה ERNIE מובילה בחלק גדול מהמבחנים. ב-MMLU היא מקבלת 93.3 מול 89.4 של DeepSeek. ב-MMLU-Pro 78.4 מול 69.2, וב-GPQA 60.2 מול 55.9. בקוד, ב-LiveCodeBench היא מקבלת 40.1 מול 31.9, וב-HumanEval+ 82.3 מול 69.5. התמונה אינה אחידה: ב-ChineseSimpleQA DeepSeek מקדימה (75.3 מול 73.0), וכך גם ב-HELMET-Rerank (60.0 מול 56.2) וב-InfiniteBench. ב-FullStackBench ו-BBH עם שרשרת חשיבה, Hy3 מובילה.
כל הנתונים הם של Baidu עצמה, ולא נבדקו באופן עצמאי.
מה עוד לא ברור
הרישיון הוא "ERNIE 5.5 Flash Base Model License Agreement v1.0", והמקורות שלפנינו לא מפרטים את תנאיו. לכן לא ברור אם מותר שימוש מסחרי. זה שונה ממשפחת ERNIE 4.5, שפורסמה, לפי המאגר ב-GitHub, תחת Apache 2.0 שמתיר שימוש מסחרי. גם לא ברור כמה מהרעיונות הארכיטקטוניים חדשים ל-Baidu, והבלוג אינו מפרט.
מה זה אומר בשבילכם
המודל מיועד בעיקר לחוקרים ולצוותי פיתוח עם חומרה חזקה. הוא אינו כלי לשימוש יומיומי, ואין לו ממשק שיחה. אפשר להוריד אותו מ-Hugging Face ולהריץ עם SGLang או vLLM דרך ממשק ה-completions. דוגמת ההפעלה של Baidu משתמשת בארבעה מעבדי GPU. ההודעה לא מפרטת תמיכה בעברית, וגם לא מחיר או זמינות מיוחדת בישראל, מעבר להורדה החופשית של המשקולות.
תגובות