בכתבה הזו
NVIDIA פרסמה את Nemotron 3.5 Transcribe, מודל בעל משקולות פתוחות שהופך הקלטות דיבור לטקסט שימושי. לפי הבלוג של החברה ב-Hugging Face, הוא זמין ב-Hugging Face וב-ModelScope. יחד איתו פורסם Granary v2, מאגר נתוני דיבור פתוח עם צינור עיבוד לשימוש חוזר, וכן מדריכי התאמה למי שרוצה לדייק את המודל לתחום שלו.
מודל אחד, כמה משימות
הרעיון המרכזי הוא שאותו מודל עושה כמה דברים, לפי ההנחיה שכותבים לו בשפה רגילה. הוא מתמלל 40 שפות ומתרגם 31 מהן אל אנגלית או ממנה. הוא גם מסמן מי דיבר (זיהוי דוברים) ב-13 שפות. הוא מטפל בהקלטות של עד שעה ומסמן עד שמונה דוברים. בנוסף הוא עונה על שאלות על ההקלטה, כמו "אילו החלטות התקבלו בפגישה?". כל משימה נתמכת בשפות אחרות, והשאלות על שמע אומנו באנגלית. הכרטיס של המודל כולל טבלת תמיכה לפי משימה ושפה. הבלוג לא מציין אם עברית נתמכת.
אפשר גם לתת למודל רמזים. בדוגמה מתחום הרפואה מפרטים בהנחיה מונחים אפשריים, כמו HbA1c ו-metformin, ומבקשים להשתמש בהם רק כשהם נשמעים בהקלטה. המודל תומך גם בחותמות זמן ברמת המילה. חברת Agora, שמפעילה פלטפורמת קול ווידאו בזמן אמת, השתמשה בהן בהדגמה של שיעור מוקלט, שבה התמלול מוצג לצד ההקלטה. NVIDIA מזהירה שכמו בכל מודל דיבור כדאי לבדוק שמות, החלפות דוברים ותשובות מול ההקלטה. המודל מיועד להקלטות ולא לשידור חי.
הדירוגים, לפי NVIDIA
הטבלאות שהחברה מציגה מראות את המודל בראש. ב-Open ASR Leaderboard של Hugging Face הוא ראשון בין המודלים הפתוחים באנגלית, עם שיעור שגיאות ממוצע של 5.33%. בבדיקה רב־לשונית בשבע שפות הוא מגיע ל-4.62%, ובהקלטות ארוכות ל-10.98%. שיעור השגיאות (WER) מודד איזה חלק מהמילים תומלל לא נכון, ולכן נמוך יותר טוב יותר.
המודל משלב מקודד דיבור עם מודל שפה היברידי מסוג Mamba–Transformer בשיטת "תערובת מומחים", ומתוך 30 מיליארד פרמטרים רק כ-4 מיליארד פעילים בכל צעד. ב-Artificial Analysis, גוף שמדרג מודלי תמלול, הוא חולק מקום ראשון בין הפתוחים עם 2.8% שגיאות, לעומת 24 מיליארד פרמטרים פעילים במודל שאיתו הוא תיקו. בזיהוי דוברים הוא מציג את שיעור השגיאה הנמוך ביותר בטבלת David AI ל-21 שפות (18.26%), ומקום ראשון ב-VoiceArena מבין 14 מערכות. חלק מהתוצאות מגיעות ממקורות חיצוניים, אבל הבלוג הוא של NVIDIA, וכדאי להתייחס לטענות כאל נתוני החברה.
לפי הבלוג, המודל רץ על כרטיס NVIDIA יחיד, מ-DGX Spark ועד שרתי Blackwell. על כרטיס RTX PRO 6000 Blackwell הוא מעבד 100 שעות שמע בפחות משלוש דקות, במדידה על קטעים של 30 שניות.
Granary v2 והתאמה לתחום
Granary הוא מאגר נתוני דיבור ש-NVIDIA פרסמה בעבר ל-25 שפות אירופאיות. הגרסה החדשה מכסה לפי המניפסט הציבורי 463,062 שעות ב-48 שפות ו-16 מאגרי מקור. הנתונים נבנו עם NeMo Curator, כלי של NVIDIA להכנת נתונים. לכל הקלטה יש שלוש גרסאות תמלול, למשל "I paid, uh, twenty-five euros" בכתיב מילולי, או "I paid €25" בכתיב מקובל וללא גמגומים. בנוסף יש כיתובי שמע, שאלות ותשובות, מונחי הקשר ותרגומים עם ציון איכות אוטומטי. את אודיו המקור מורידים בנפרד, לפי הרישיון של כל מאגר.
כדי להראות התאמה בפועל, NVIDIA מציגה מקרה בוחן רפואי על מבחן Eka Care של הקלטות רופאים וסטודנטים לרפואה בהודו. ציון הבסיס היה 30.8% שגיאות. רק אחרי שהנחיה ציינה "אנגלית באותיות לטיניות" הוא ירד ל-23.8%, וההתאמה (fine-tuning) הורידה אותו ל-11.8% על המבחן כולו. על דוברים שלא נראו באימון השגיאה ירדה מ-22.44% ל-12.17%, ירידה יחסית של 45.8%. לפי התיעוד ב-GitHub, זה עבר מודל רפואי פתוח ייעודי (13.79%) ו-Whisper-large-v3 (14.92%) באותה בדיקה.
הנתונים לאימון נוצרו בעיקר סינתטית: טקסט רפואי שנכתב במודל פתוח, הוקרא בקולות מלאכותיים, ועורבב עם כ-29 שעות אנגלית בהגייה הודית ו-63 שעות הקלטות רפואיות אמיתיות. כל התהליך ארך כ-14 שעות GPU על כרטיס GB300 אחד, כ-125 דולר לפי התיעוד.
יש גם מגבלות. בשמות מותגים של תרופות המודל הרפואי הייעודי עדיין מוביל (38.3% זיהוי מדויק מול 36.6%). בהקלטות אנגלית כללית השגיאה עלתה מעט, מ-1.54% ל-1.69% ב-LibriSpeech. למי שרוצה להתאים את המודל לתחום שלו, NVIDIA ממליצה להחזיק לפחות 100 קטעים אמיתיים מתויגים לבחירת נקודת האימון.
מה לא ברור
הבלוג לא מפרט את תנאי הרישיון של המודל. את רוב הנתונים מפרסמת NVIDIA עצמה, ואלה לא נבדקו כאן באופן עצמאי. גם בתוצאות שמקורן בגופים חיצוניים כדאי לבדוק את המודל על ההקלטות שלכם לפני שנשענים עליו.
מה זה אומר בשבילכם
המודל מיועד בעיקר למפתחים וחברות שבונים שירותי תמלול. אפשר לנסות אותו בהדגמה ב-Hugging Face או ב-ModelScope Studios, להוריד את נקודת האימון ולהריץ אותה עם vLLM או מקומית עם NeMo-Speech.cpp. מי שלא רוצה לארח בעצמו יכול להשתמש בשירותים של Baseten, DeepInfra או Simplismart. הבלוג לא מציין מחיר, וגם לא תמיכה בעברית או זמינות בישראל.
תגובות