ElevenLabs השיקה את Eleven Realtime: משפחה חדשה של מודלים שמקבלים דיבור ומשיבים בדיבור, ומיועדים לבניית סוכנים קוליים, כלומר תוכנות שמנהלות שיחה בקול בזמן אמת. לפי הודעת החברה, כל מודל הוא סוכן קולי שלם, והמטרה היא לחסוך ממפתחים את ההרכבה המסורבלת של רכיבים נפרדים.
למה זה נדרש
סוכן קולי שנשמע טבעי מורכב בדרך כלל מכמה חלקים: זיהוי דיבור, זיהוי הרגע שבו המשתמש סיים לדבר, ניהול תורות הדיבור, מודל שפה והפקת קול. לדברי ElevenLabs, לגרום להם לעבוד יחד דורש הרבה בדיקות וכיוונונים. Eleven Realtime אמור לספק את כל זה כמערכת אחת מכוונת מקצה לקצה.
שתי גרסאות
Eleven Realtime v1 Mini מיועד לשיחות טבעיות בעלות נמוכה, למשל עוזרים, מורים ודמויות אינטראקטיביות, ולדברי החברה יספיק לרוב השימושים. Eleven Realtime v1 Max מיועד למשימות מורכבות כמו תמיכת לקוחות, סינון לידים ותהליכים רב־שלביים. שני המודלים תומכים ביותר מ-90 שפות ובקולות מספריית ElevenLabs.
המספרים
לפי ההודעה, Artificial Analysis, גוף שמריץ מבחני השוואה למודלי AI, בדק את המודלים באופן עצמאי בשלושה מבחנים. במבחן Big Bench Audio, שבו נשאלות 1,000 שאלות חשיבה בקול, Max ענה נכון על 98.8% ו-Mini על 75.9%. זמן ההתחלה של התשובה הוא בממוצע 0.57 שניות ב-Max ו-0.62 שניות ב-Mini.
במבחן Full-Duplex-Bench, שבודק הפסקות, החלפת תורות והפרעות באמצע דיבור, Mini קיבל 95.8% ו-Max 94.1%. בזירת Speech Agent Arena, שבה אנשים משווים שני מודלים בשיחות חיות ועיוורות, Max קיבל 998 ו-Mini 988. במשימות שמצריכות הפעלת כלים השלים Max 87.1% ו-Mini 60.3%, ולכן החברה ממליצה על Max לשימושים כבדי כלים.
כדאי לזכור שהפרסום הוא של ElevenLabs עצמה. לא ברור מהמקורות איך המספרים מחזיקים בטבלה החיה של Artificial Analysis, ואין השוואת מחיר או ביצועים מפורטת מול מודלים קוליים של OpenAI ואחרים.
מה מתחת למכסה
לפי התיעוד, המודלים אינם "מאוחדים": הארכיטקטורה היא מדורגת, וכל רכיב הוא מודל נפרד, אך הם מכוונים לעבוד יחד. פרטי המודלים שבפנים אינם פומביים, ולא ידוע איזה מודל שפה משמש בהם.
תאימות ל-OpenAI
ElevenLabs מציעה גם ממשק Realtime API שתואם לזה של OpenAI. מי שכבר בנה על הממשק של OpenAI יכול, לדברי החברה, להחליף את כתובת היעד ואת שם המודל ולהשאיר את שאר הקוד. החיבור הוא דרך WebSocket בלבד, כך ששילוב שנשען על WebRTC יצטרך לעבור קודם ל-WebSocket. הממשק פועל בנפרד מהפלטפורמה ElevenAgents, ולכן מי שזקוק לערוצים כמו טלפון ו-WhatsApp, למאגר ידע ולשאר היכולות צריך לבנות עליה מההתחלה. התיעוד מציין גם שהוראות לחיבור מצד שרת עדיין לא פורסמו.
מגבלות ותנאים
לפי התיעוד, המודלים מתפרסים בהדרגה, וייתכן שעדיין לא יופיעו בחשבונכם. הם לא מתאימים לסוכן שמשתמש במודל שפה מותאם אישית, שזקוק למודל שפה או מודל קול מסוים או שהוא טקסטואלי בלבד. Mini אינו זמין במצב אפס שמירת נתונים (Zero Retention) וב-HIPAA, תקן אמריקאי להגנה על מידע רפואי, ו-Max אינו זמין בסביבות אחסון הנתונים בהודו ובסינגפור.
מה זה אומר בשבילכם
המודלים מיועדים בעיקר למפתחים וחברות שבונים סוכנים קוליים. הדרך המומלצת היא ליצור סוכן ב-ElevenAgents ולבחור מודל Realtime בתפריט; אפשר גם להשתמש בממשק התואם ל-OpenAI. החיוב הוא לפי תעריף הדקה הרגיל של ElevenAgents, ובנוסף לפי טוקנים (יחידות טקסט שהמודל מעבד) בתעריף המודל, כש-Max יקר יותר מ-Mini. המחירים המדויקים לא מפורטים במקורות. ההודעה אינה מציינת במפורש אם יש תמיכה בעברית ספציפית, רק "יותר מ-90 שפות", ולא אם השירות זמין בישראל.
תגובות