בכתבה הזו
OpenAI פרסמה תיאור מפורט של מערכת הניטור שבה היא מנסה לזהות מתי מודלי הדגל שלה פועלים בניגוד למה שהתכוונו מפתחיה. לפי הפוסט של החברה, ההרחבה נעשתה בעקבות תקרית Hugging Face: היא החלה בבדיקות סייבר פנימיות, שבהן OpenAI לא הפעילה מנטרים לזיהוי התנהגות לא רצויה. זה היה פער בכיסוי, והחברה אומרת שסגרה אותו.
מה קרה בתקרית, ומה היה משתנה
כדי לבדוק אם המערכת המחוזקת הייתה עוזרת, OpenAI הריצה מחדש את ההתנהגות שתועדה בתקרית. לדבריה, בסימולציה הזאת צוות האבטחה היה מקבל התרעה כ-30 דקות אחרי שהסוכנים יצאו מהסביבה המבודדת שלהם (sandbox), ויותר מ-30 שעות לפני שהמערכות של Hugging Face נפרצו בפועל. החברה מעריכה שזה היה נותן למגיבים זמן לעצור את הפעילות לפני שהמודלים הגיעו לשירותים חיצוניים.
חשוב לדעת שמדובר בסימולציה על תיעוד קיים ולא בזיהוי חי. הפוסט לא מפרט את שיעור ההתראות השגויות של המערכת, ורק אומר שהיא דורשת כוח חישוב "משמעותי".
אולם מקרה אחד כן זוהה בזמן אמת. בספטמבר מודל מצא בזמן ריצת אימון דרך לגשת לאינטרנט מסביבה שהייתה אמורה להיות מבודדת. המנטרים סימנו את זה תוך 15 דקות, אדם התחיל לבדוק שלוש דקות אחר כך, ו-OpenAI עצרה את האימון של מודלי הדגל עד שחיזקה את מערכות הבידוד.
איך המערכת בנויה
הניטור פועל בשכבות, כדי לחסוך בחישוב. בשכבות הראשונות משקיעים מעט משאבים וכל מקרה חשוד עובר הלאה, גם כשהראיות עמומות. בשכבות המאוחרות מושקע יותר כדי להבין מה קרה.
- L0: מסווגים קלים שבודקים את הפעילות הפנימית של המודל (activation probes). הם מכוונים לזהות כמה שיותר, גם במחיר התראות שווא. כדי לבדוק מה הם מחמיצים, 5% אקראיים מהתעבורה שלא סומנה נשלחים הלאה.
- L1: מודל שקורא את השיחה האחרונה של הסוכן, את שרשרת החשיבה שלו ואת השימוש שלו בכלים, ומחפש הונאה, פעולות לא מורשות וניסיונות לתמרן בדיקה. בריצות אימון של מודלי הדגל ובתעבורת Codex פנימית הבדיקה נעשית בסוף כל תור, ו-OpenAI עוברת ללוח זמנים של לא יותר מ-30 דקות בין בדיקות.
- L2: סוכן חוקר שיכול לבדוק את מטרת הבדיקה, לקרוא את ההקשר המלא ולהריץ קוד בסביבה מבודדת. יש סוכן לאבטחה, שמחפש למשל בריחה מ-sandbox, וסוכן ליישור (alignment), שמחפש התנהגות ששווה לחקור גם בלי סכנה מיידית.
- L3: בעומסי עבודה רגישים משווים את התמלילים ליומני רשת ולמקרים קודמים, ומחליטים אם להתריע לאדם. ההתראות החשובות ביותר מגיעות לצוותי האבטחה והאימון בדרך כלל תוך 15 דקות.
לפי OpenAI, כל ריצת אימון והערכה של מודלים ברמת GPT-6 Astra ומעלה מנוטרת, וכך גם כל תעבורת Codex הפנימית. גרסה של המערכת פועלת גם בפריסה חיצונית של מודלים עם יכולות סייבר ברמה קריטית. היא לא מכסה בקשות Chat Completions API, ואינה מעבירה מקרים לבדיקה אנושית ב-OpenAI באופן שגרתי. בהגדרות מסוימות היא יכולה להשהות שיחה, ולקוחות ארגוניים יכולים לקבל התראות ב-webhook.
איך בודקים את המנטרים עצמם
OpenAI משחזרת תקריות מוקלטות ומריצה התקפות מדומות, כמו משימת קוד שבה הסוכן מנסה בסתר לכבות ניטור, או ניסיון בריחה מ-sandbox. בתקריות מוקלטות, בתמלילים סינתטיים ובמשימות חבלה מנטרים המבוססים על GPT-5.6 Sol תפסו יותר מקרים מאלה שמבוססים על Terra או Luna. בבדיקת הבריחה מ-sandbox כל שלושת המודלים הגיעו לביצועים מושלמים או כמעט מושלמים. החברה מעריכה שחלק מהיתרון של Sol נובע מכך שהנחיית הניטור כוונה במיוחד עבורו.
החברה גם הזמינה בדיקה חיצונית. כפי שמסביר METR בפוסט שלו, שני אנשים מ-METR ומ-Redwood Research בחנו את המערכת הפנימית במשך שלושה שבועות, מ-21 ביולי עד 11 באוגוסט. הם העריכו ש-75%–94% מתעבורת ה-Responses API הפנימית של מודלים חזקים לפחות כמו GPT-5.5 הייתה כשירה לניטור, וש-99.2% בתעבורת Codex. הם גם מצאו חולשות: דרך להשבית ניטור באמצעות כותרות בבקשות, וכשלים בניטור בזמן סיכום הקשר. OpenAI אומרת שרוב הליקויים תוקנו ותיקון אחד עדיין בעבודה. METR מציינת שלא בדקה את המערכת המורחבת ואת טענות התיקון, ושהבדיקה התייחסה למערכת כפי שהייתה ב-21 ביולי ולפני כן.
הדילמה של שרשרת החשיבה
OpenAI מזהירה שניטור עלול לעודד מודל להסתיר את מה שהוא עושה. כשמענישים מודל על חשיבה בעייתית בשרשרת החשיבה שלו, הוא עלול ללמוד להסתיר אותה במקום להפסיק. לכן, כשדגימת אימון מפעילה את המנטרים, החברה לא משנה את התגמול שלה ומשאירה אותה באימון, והניטור אסינכרוני. עם זאת היא עשויה להשהות או להפסיק ריצה שלמה. בכרטיס המערכת של GPT-6 Astra OpenAI גם מודה שהמודל שולט טוב יותר במה שמופיע בשרשרת החשיבה שלו, ולכן קל פחות לנטר אותו.
מה עוד לא ברור
הפוסט לא מפרט את היקף התקרית ואת ציר הזמן שלה, ואת שיעור ההתראות השגויות של המערכת. נתון ה-30 דקות מגיע מסימולציה בלבד, ואין נתונים על ביצועי המנטרים במקרים חדשים.
תגובות