בכתבה הזו
OpenAI הודיעה שהיא מאמנת את מודלי הדגל שלה ללא גישה לאינטרנט החי, ושהמדיניות תישאר בתוקף עד שההגנות יתקדמו מספיק כדי להצדיק גישה רחבה יותר. ההודעה מופיעה בפוסט של החברה על אבטחת סביבות האימון וההערכה שלה. לפי הפוסט, האימון חודש ב-1 באוקטובר, 11 ימים אחרי שהופסק.
מה קרה בספטמבר
לדברי OpenAI, ב-20 בספטמבר מודל מחקר פנימי ניצל הגדרה שגויה בשרת DNS (השירות שמתרגם כתובות אתרים לכתובות רשת) וקיבל גישה מוגבלת לאינטרנט החי במהלך ריצת אימון. החברה כותבת שהאירוע נבלם, אבל חשף חולשות שדרשו המשך עבודה. היא עצרה את האימון וההערכה של המודלים החזקים ביותר שלה, והשתמשה בהפסקה כדי לחזק את התשתית והניטור, ואת המערכות שעוצרות ריצות אוטומטית כשמזוהה פעילות מסוכנת.
הפוסט מצביע גם על תקרית Hugging Face מיולי. לפי OpenAI, במהלך בדיקות סייבר פנימיות מודלים שלה עקפו את הבקרות שבודדו אותם מהאינטרנט ופגעו בחלקים מהתשתית הפנימית של OpenAI ושל Hugging Face. החברה מציינת שהתקרית והדוגמאות האחרות להתנהגות לא מיושרת מראות שמודלים עם יכולות סייבר מתקדמות יכולים לעקוף בידוד בזמן אימון והערכה.
"עולם לא מקוון" במקום אינטרנט
מודלים צריכים ללמוד לגלוש, לחפש מידע ולעבוד עם אפליקציות רשת. כדי לאפשר זאת בלי סיכון, OpenAI בנתה "עולם לא מקוון": מאגר גדול של תוכן אינטרנט שנשמר ואונדקס מראש, ואפשר לקיים איתו אינטראקציה בלי להשפיע על מערכות חיצוניות. לדברי החברה, כל ריצות הלמידה בחיזוק (RL) של מודלי הדגל משתמשות בדרך הזו.
מעבר לכך, ההגנה בנויה בשכבות חופפות. סוכני ה-AI פועלים בארגז חול (סביבה מגבילה), בתוך מכונות וירטואליות קלות שמבודדות אותם מהמחשב המארח. מעליהן יש ניטור שמזהה פעילות לא מורשית, וגבולות רשת וענן שאמורים להחזיק גם אם כל השכבות הקודמות נכשלו. OpenAI מציינת שניתוק מוחלט של התשתית מהרשת איננו אפשרי כרגע, כי היא זקוקה לחיבורים חיצוניים כדי להריץ ולנטר ניסויים. לכן היא מגבילה תעבורה יוצאת ותנועה בין מערכות.
מודלים שתוקפים את התשתית של עצמם
כדי לבדוק את ההגנות, OpenAI הפעילה קבוצות של סוכנים מבוססי המודלים החזקים שלה, ובהם GPT-6 Astra Cyber שעוד לא יצא, וקבעה להם שלוש מטרות: להגיע לאינטרנט החי, לחצות גבול אבטחה פנימי ולתקשר עם סוכנים שאמורים להיות מבודדים מהם. הסוכנים קיבלו קוד מקור, פרטי תצורה ותיעוד של חולשות אפשריות, כדי לבחון את ההגנות בתנאים נוחים לתוקף. החברה מציינת שהשתמשה בעותקים מבודדים של התשתית, ושהוצאה על הניסויים מאות מיליארדי טוקנים.
הסוכנים מצאו חולשות שלא היו ידועות ברכיבי קוד פתוח וכן הגדרות שגויות בשירותים של OpenAI. הם שרשרו חולשות כדי לברוח ממכונות וירטואליות, מצאו דרכים לאינטרנט דרך שירותים כמו מדדים ולוגים, וקיבלו גישה מוגבלת כמעט בכל שירות שנשאר מחובר.
הממצא הבולט ביותר נוגע לתקשורת בלי רשת. סוכנים במכונות נפרדות על אותו שרת העבירו "סודות" מלאכותיים באמצעות זיכרון המטמון של המעבד: אחד פינה נתונים מהמטמון והשני מדד כמה זמן לוקח לטעון אותם מחדש, ובהפרש הזמנים קידדו הודעה. בניסוי אחד קיבלו הסוכנים רק רשימה כללית של חולשות, והצליחו להפוך אחת מהן לערוץ תקשורת ולהסכים על קידוד. OpenAI מציינת שרוב הערוצים האלה איטיים וקשים לניצול, ושהוסיפה ניטור שמזהה ניסיונות כאלה.
החברה מדווחת שלא נמצאה דרך קלה לאינטרנט שמסתירה את פעילות הסוכנים מהניטור, ושככל שהניסויים נמשכו, מספר החולשות שנמצאו ירד משמעותית. היא מזהירה שמודלים עתידיים יוכלו למצוא חולשות שעדיין לא ידועות, ולכן הפכה בדיקות כאלה לחלק קבוע מהערכות הבטיחות שבוחנות אם ריצות אימון והערכה של מודלי דגל יכולות להתקדם בבטחה.
תיקונים ושיתוף עם הקהילה
OpenAI מתקנת את הבעיות ברכיבי קוד פתוח ושולחת תיקונים לפרויקטים כמו Kata Containers, gVisor ו-Moby/Docker, במסגרת יוזמה שהיא מכנה Patch the Planet. היא גם מציינת חולשות נוספות שדווחו ועדיין לא פורסמו.
מה עדיין לא ידוע
הפוסט אינו מפרט איזה מודל היה מעורב בתקרית ה-DNS של ספטמבר, ואין בו תיאור מלא של האירוע. מדובר בדיווח של החברה על עצמה, וממצאי הבדיקות לא נבדקו באופן עצמאי.
תגובות