Mistral, חברת ה-AI הצרפתית, מפרטת בעמוד הרשמי שלה ב-Hugging Face (פלטפורמה שבה מפרסמים מודלים להורדה) את Large 4 כמודל "open-weight", כלומר מודל שהמשקולות שלו, החלק שמכיל את מה שהוא למד באימון, פתוחות להורדה ולהרצה עצמאית. לפי העמוד, מדובר במודל כללי ורב-מודלי, שמבין טקסט ותמונות.
מה כתוב על המודל
לפי תיאור Mistral, ל-Large 4 טריליון פרמטרים בסך הכול, אבל רק 52 מיליארד מהם פעילים בכל שלב. זה מתאפשר בזכות ארכיטקטורה של "תערובת מומחים" (Mixture-of-Experts): המודל מורכב מקבוצות מומחים קטנות, ובכל בקשה מופעלות רק חלקן, כך שההרצה זולה מזו של מודל צפוף באותו גודל. החלון ההקשרי, כמות הטקסט שהמודל יכול לעבד בבת אחת, עומד על מיליון אסימונים, והחברה מציינת שהמודל שולט ביותר מ-160 שפות.
Mistral גם טוענת שהמודל הוא "מהמתקדמים ביותר בין המודלים הפתוחים" בתחומי הסייבר, הפיננסים והמשפט. זו טענה של החברה עצמה, ובמקורות שבידינו אין בדיקות עצמאיות שמאששות אותה.
איפה זה עומד
עמוד Hugging Face כולל עכשיו את Large 4 בין המודלים הראשיים של החברה, לצד Medium 3.5 ו-Small 4. יומן העדכונים בתיעוד של Mistral, שהרשומה האחרונה בו היא מ-22 באוקטובר, לא מציין שחרור של Large 4.
מה עוד לא ידוע
- הרישיון: העמוד לא מפרט תחת איזה רישיון המשקולות מוצעות. זה משנה הרבה: Medium 3.5 יצא כמשקולות פתוחות ברישיון MIT מותאם, לפי יומן העדכונים.
- מועד השחרור: העמוד לא מציין מתי המשקולות הועלו, ולא ברור אם ההורדה כבר פתוחה לכולם.
- ביצועים: אין עדיין השוואה עצמאית למודלים פתוחים אחרים.
מה זה אומר בשבילכם
מודל בגודל טריליון פרמטרים דורש חומרה יקרה, ולכן הוא מיועד בעיקר לחברות, לצוותי מחקר ולמי שמפעיל שרתים משלו. לפי Mistral, אפשר לנסות את Large 4 כבר עכשיו בתצוגה מקדימה ציבורית דרך ה-API ב-Mistral Studio, והחברה מתכננת לשחרר את המשקולות להורדה עד סוף אוקטובר, אחרי בדיקות אבטחה נוספות. המקורות לא מפרטים כמה זה עולה, או אם הוא מתאים לעברית, אף שהחברה מציינת תמיכה ביותר מ-160 שפות.
תגובות