בכתבה הזו
מאמר חדש שפורסם ב-arXiv טוען שאפשר להטמיע בתוך מודל בינה מלאכותית יכולת שלמה ומוסתרת, כזו שנפתחת רק כשהמודל מקבל מפתח סודי, ושגם מי שיש לו גישה מלאה למשקלי המודל יתקשה מאוד לחשוף. לפי המחברים, זה מצביע על גבול מהותי של בדיקות הבטיחות הנהוגות היום. הפרטים כאן מבוססים על תקציר המאמר; את המאמר המלא לא ניתן היה לבחון, ושמות המחברים והשתייכותם אינם מופיעים בטקסט שעמד לרשותנו.
ההנחה שמאחורי בדיקות היכולות
לפני שמשחררים מודל גדול, חברות ורגולטורים מריצים עליו "הערכות יכולות": ניסיונות לגרום לו להפגין התנהגות מסוכנת, למשל סיוע לפיתוח נשק כימי או ביולוגי. ההנחה שמאחורי הבדיקות היא שאם ליכולת מסוכנת יש קיום במודל, אפשר להוציא אותה החוצה באמצעות הנחיות, אימון נוסף או כלים אחרים. המאמר החדש טוען שבתנאים עוינים ההנחה הזו אינה מתקיימת.
מנעול דיגיטלי בתוך המודל
החוקרים בנו מה שהם מכנים התקפת "דלת אחורית": רשת עצבית מוצפנת שמוטמעת בתוך משקלי מודל מארח. הרשת המוסתרת מפוענחת ומופעלת רק כשהמודל מקבל טריגר סודי. כדי לעשות זאת הם השתמשו ב"מנעולים דיגיטליים" (digital lockers), מנגנון הצפנה שנפתח רק עם המפתח הנכון.
לטענתם, בהנחות קריפטוגרפיות מקובלות המעגלים המוסתרים הללו קשים להפליא לחילוץ ולפירוש, גם כשהבודק רואה את כל המשקלים. זו הרחבה של עבודות קודמות שהראו הסתרה של מחרוזת קבועה, והמאמר החדש מרחיב אותה להסתרה של חישוב שרירותי.
מה נבדק בפועל
המחברים מימשו את הבניות כהוכחת היתכנות בספריית PyTorch ובדקו אותן מול כמה דרכים לחלץ יכולת נסתרת: אימון נוסף (fine-tuning), הוספת רעש למשקלים, חיפוש טריגר בעזרת גרדיאנטים ואימון עוין במרחב הלטנטי. המשימה הייתה קטנה: חיזוי תגובות כימיות, שמשמשת כמעין תחליף ליכולות הקשורות לנשק כימי, ביולוגי, רדיולוגי וגרעיני. לפי התקציר, ההסתרה עמדה בפני כל השיטות האלה.
החוקרים מפרסמים את המודלים שבנו כדי לאפשר פיתוח הגנות.
הרקע: מחקר קודם על דלתות אחוריות והסתרה
הרעיון נשען על קו מחקר ותיק. מאמר מ-2022 הראה איך לשתול בסיווג של מודל דלת אחורית שאי אפשר לגלות בלי "מפתח", בעזרת חתימות דיגיטליות. מאמר אחר, מ-2024, עסק ב"sandbagging", כלומר תת-ביצוע אסטרטגי בבדיקות. הוא הראה שמודלים יכולים להסתיר יכולות מסוימות ולחשוף אותן רק כשמקבלים סיסמה. גם שם המסקנה הייתה שהערכות יכולות פגיעות. ההבדל הוא שבגישה החדשה ההסתרה נתמכת בטענות קריפטוגרפיות ולא רק בהתנהגות שנלמדה באימון.
הרקע הרגולטורי חשוב: המאמר מ-2024 מציין שמסגרות הבטיחות של חברות מובילות, וכן מכוני בטיחות ממשלתיים בארה"ב ובבריטניה ורשות ה-AI של האיחוד האירופי, נשענים על הערכות יכולות.
מה עוד לא ברור
יש כמה סימני שאלה. הניסויים נערכו על משימה כימית קטנה, ולא ידוע אם הבנייה תעבוד על מודלי חזית גדולים בלי לפגוע בביצועים או בלי שתתגלה בדרכים אחרות. לא ברור גם עד כמה מפתח מודלים יוכל בפועל להשתמש בשיטה כדי לעקוף ביקורת, ואילו הגנות, כמו אימון מהימן, מעקב אחר מקור המודל או בדיקת משקלים, יוכלו לצמצם את הסיכון. הממצאים הם טענות של המחברים, ולא נבדקו באופן עצמאי.
המסקנה המעשית, אם הטענות יתאששו, היא שבדיקה שבה המודל "לא הראה יכולת מסוכנת" אינה מספיקה כהוכחה שהיכולת אינה קיימת, ושמודל שנבנה על ידי גורם שאי אפשר לסמוך עליו דורש הגנות נוספות מעבר לבדיקות מבחוץ.
תגובות