OpenAI הודיעה ש-Decisions API, ממשק תכנות שנועד לקבלת החלטות קטנות ומהירות בתוך אפליקציות וסוכנים, יוצא משלב הבטא וזמין כעת באופן כללי. לפי הודעת החברה, הוא בנוי על GPT-6 Luna, המודל המהיר והחסכוני בסדרת GPT-6, ומיועד לשאלות עם תשובות מוגבלות מראש.
מה זה עושה
אפליקציות וסוכנים מקבלים הרבה החלטות זעירות: איך לסווג קלט, לאן לנתב בקשה, מה הצעד הבא. כל אחת פשוטה, אבל בהיקף גדול הזמן והעלות מצטברים. במקום שהמודל יכתוב תשובה מלאה, המפתח מגדיר שאלה ואת התשובות האפשריות, ומצרף הקשר כטקסט, תמונות או JSON. OpenAI טוענת שכך מתקבלות תשובות עד פי 10 מהר יותר מ-GPT-6 Luna דרך ה-Responses API, הממשק הרגיל שלה. המדידה היא מול הממשק של OpenAI עצמה, והחברה לא פרסמה מבחן עצמאי של דיוק.
יש שלושה סוגי תשובה:
- predicate – הערכה בין 0 ל-1 לכך שתנאי מסוים נכון, למשל האם במוצר שבתמונה יש נזק גלוי.
- choice – בחירה באחת מאפשרויות שהוגדרו מראש, למשל האם סוכן ימשיך, ינסה שוב או ישאל הבהרה. התשובה כוללת גם הסתברויות ורמת ביטחון.
- score – דירוג מול רמות מסודרות, למשל חומרת תקלה. לפי התיעוד, הציון הוא ממוצע של מספרי הרמות (שמתחילים ב-0), משוקלל לפי ההסתברות של כל רמה, ולכן הוא יכול לצאת בין שתי רמות.
מה חדש מאז הבטא
לפי ההודעה ותיעוד המפתחים נוספו שילוב ישיר עם GPT-Live, מודל הקול של OpenAI, שמאפשר לקבל החלטות תוך כדי שיחה חיה, למשל להחליט אם סוכן תמיכה ישאל שאלת הבהרה או יעביר את הפנייה הלאה. נוספו גם שמירת הקשר חוזר במטמון, עיבוד אזורי בארה"ב ובאירופה, קלט JSON ישיר, תמונות בהוראות השאלה, וקישורי תמונה ציבוריים. מספר השאלות בבקשה אחת הוכפל ל-400. התיעוד מציין גם דיווח על שימוש בארגון וחיבור דרך Private Link.
OpenAI מציגה שימושים פנימיים: צוות Personal Finance מסווג תיאורי עסקאות, וצוות התקשורת מסווג סיקור לפי נושאים ובודק אם הוא מחזק או מאתגר מסרים מרכזיים.
המחיר
לפי ההודעה, קלט עולה 0.10 דולר למיליון טוקנים (יחידות טקסט שהמודל קורא), וקלט ממטמון 0.01 דולר. משלמים רק על קלט, בלי חיוב על פלט. התיעוד מוסיף שיש תוספות עבור עיבוד אזורי ומכפילים לקלט ארוך מאוד, ושיש תמיכה ב-Zero Data Retention (אי-שמירת נתונים) וב-HIPAA ללקוחות מתאימים.
המתחרה
הכיוון אינו ייחודי ל-OpenAI. חברת TypeSafe AI מפרסמת את Jev, מודל שמוגדר כ"System One", כלומר למשימות החלטה בתוך תוכנה. בפוסט בבלוג של החברה היא מציגה את גרסה 1.14.0 עם תמיכה בתמונות, סוג תשובה חדש שמחזיר תיבת תוחמת, והסרת מגבלת ההקשר הארוך, הכול כתכונות ניסיוניות. TypeSafe כותבת שהיא לא אוהבת מדדים ציבוריים, ושהמספרים הפנימיים שלה הם הערכה בלבד ועלולים להיות מוטים לטובת המודלים שלה. הזמינות הרחבה של Jev לא ברורה מהמקורות, ויש מקורות שמתארים אותו כגישה מוקדמת.
מה עדיין לא ידוע
אין מבחן עצמאי של דיוק. המחיר הסופי והמגבלות נקבעים לפי מדריך התמחור של OpenAI, והמקורות כאן מציגים רק את התעריף שלמעלה.
מה זה אומר בשבילכם
הכלי מיועד למפתחים ולצוותים שבונים אפליקציות וסוכנים ומקבלים שוב ושוב החלטות כמו סיווג או ניתוב. הוא זמין כעת דרך נקודת הקצה /v1/decisions עם gpt-6-luna, המודל היחיד הנתמך כרגע. אפשר לנסות ב-Decisions Playground עם טקסט או תמונות משלכם, או לפי מדריך המפתחים. ההודעה לא מפרטת אם השירות זמין בישראל או מתאים לעברית.
תגובות