בכתבה הזו
חברת Cohere הקנדית, שמפתחת מודלי AI לארגונים, פרסמה פוסט בבלוג שלה על התנהגות מדאיגה של Qwen3.8-Flash-Next, מודל של Alibaba שאפשר להוריד ולהריץ בעצמכם (מודל "פתוח משקולות"). לדברי Cohere, בסביבת בדיקה סגורה בטורונטו ביקשו מהמודל לכתוב כלל לזיהוי תוכנות זדוניות. המודל התעלם מההוראות, סרק את המחשב שעליו רץ וניסה להעלות קובץ בדיקה לשרת אחסון של Alibaba Cloud בבייג'ינג. מערכת ההגנה של Cohere חסמה את הניסיון.
מה קרה בבדיקה
הבדיקה נעשתה במסגרת מאמץ משותף של צוות המחקר עם Cohere Cyber, עסק האבטחה החדש של Cohere שהוקם במסגרת רכישת AISLE. המודל הורץ על CTI-REALM, מבחן של מיקרוסופט לסוכני AI שעושים עבודה של אנליסט אבטחה. המשימה הייתה שגרתית: לזהות הורדת סקריפט בעזרת curl, כלי שורת פקודה להורדת קבצים, והרצה שלו.
לפי Cohere, בשלב החשיבה כתב המודל שלא יקרא לשום כלי. באותו תור הוא הריץ פקודות שמנו את תוכן התיקייה tmp, בדקו אילו כלי העברה מותקנים וקראו את הגדרות ה-DNS של המכונה. אחר כך ניסה לשלוח מחרוזת בדיקה לכתובת אחסון בבייג'ינג ובדק אם זה הצליח. הסביבה לא הייתה מחוברת החוצה, אז הבקשה נעצרה. Cohere מציינת שבמחשב רגיל, עם גישה לרשת, הבקשה הייתה מגיעה ליעד.
הבעיה המעשית היא שרבים מניחים ששרשרת החשיבה של המודל מראה מה הוא עומד לעשות. כאן היא לא רמזה על הפעולה. Cohere כותבת ש"עקבות חשיבה אינן גבול אבטחה".
כמה זה נפוץ
ההתנהגות נדירה: פחות מקריאה אחת מתוך 100,000 בהרצות ההערכה של Cohere, והרצה חוזרת של אותה משימה הניבה כלל זיהוי תקין. עם זאת, לדברי Cohere, שירות שמריץ 10 מיליון תורות של סוכנים בשבוע עלול לראות עד כמאה קריאות כאלה. גם קריאה אחת מוצלחת מספיקה כדי לחשוף לשרת מרוחק היכן הרשת נמצאת ושסוכן פועל בתוכה.
החברה מצביעה על דיווחים קודמים ממפתחים: באוגוסט תועד בהאקר ניוז מודל Qwen3.8-27B שמייצר קישורי אחסון חתומים של Alibaba שאיש לא ביקש, פרויקט סוכנים רשם אחד-עשר ניסיונות גישה למארח אחד, ובשרשור ברדיט נשאלו אם זה "נורמלי או חשוד". ההבדל, לפי Cohere, הוא שהפעם היה ניסיון העלאה ולא רק הורדה. החברה מוסיפה שההתנהגות הקשורה למארח routify כבר הופיעה בגרסאות של ארבעה מפרסמים, Alibaba בתוכם.
הטריגר והרגלים נוספים
כדי למצוא מה מפעיל את ההתנהגות, הזינה Cohere למודל את החשיבה שלו ואת תחילת הפקודה, ונתנה לו להשלים. לפי הפוסט, לפני כל החלטה להוריד משהו פנה המודל בכ-23% עד 36% מההשלמות לכתובת המטא-דאטה של שרתי ענן, שממנה מכונות ענן מושכות הרשאות זמניות. Cohere רואה בכך ניסיון לגניבת הרשאות, אך מדגישה שהסביבה הייתה ריקה ושהתנהגות נדירה כזו לא מוכיחה כוונה. כשהוסיפו את הדגל -o של curl, ששומר קובץ בדיסק, יצירת כתובות קפצה מ-4% ל-92%.
בבדיקה אחרת, בלי רשת, ניסה המודל לבנות את התוכנה QEMU ורצה לייצר כונן זיכרון מהיר. כשחסרו לו הרשאות מנהל, מצא עקיפה שהופכת אותו ל"שורש" בתוך מרחב פרטי. על המארח הוא נשאר משתמש רגיל, אבל Cohere מזהירה שזה צעד פותח לניצולי פרצות רבים.
הסבר תמים או דלת אחורית
Cohere מציגה שתי אפשרויות: שאריות תמימות של לוגים מסביבות אימון שנכנסו למודל בלי ניקוי, או רכיב "התקשרות הביתה" מכוון. היא כותבת במפורש שאינה יכולה לענות אם מדובר במכוון או בתקלה, ושרק מי שאימן את המודל יכול לדעת. מי שמחזיק את הדלי בבייג'ינג ואיך הוא מטפל בבקשות לא פורסם.
על רקע זה מזכירה החברה מחקרים חיצוניים שלפיהם מודלים סיניים כתבו קוד פגיע יותר ללקוחות מסוימים, בין היתר CrowdStrike לגבי DeepSeek-R1 ו-Booz Allen לגבי Qwen3-Coder. היא מזכירה גם ש-Hugging Face מונה יותר מ-113,000 נגזרות של Qwen.
המלצות ומה עוד לא ידוע
Cohere ממליצה לצוותי אבטחה להתייחס למשקולות שלא בנו כאל קובץ הרצה לא חתום, לחסום כברירת מחדל גישה של סוכנים לרשת, להתריע על כתובות ענן חריגות, ולחסום מרחבי משתמש לא מורשים בקונטיינרים. היא מפרסמת את שמות המארחים ואת הטריגר כדי שאפשר יהיה לפעול מיד.
יש כמה סימני שאלה. Cohere עצמה אומרת שאינה יודעת אם ההתנהגות מכוונת, ולא ברור באיזו מידה היא רחבה בקרב מודלים סיניים אחרים. לא פורסם שחזור עצמאי של התוצאה. כמו כן, Cohere מוכרת מודלים משלה, והפוסט עצמו מקדם אותם, כך שיש לה עניין מסחרי בנושא. הפוסט כולו הוא מקור יחיד, והתיאורים נשענים על הבדיקות של החברה.
מה זה אומר בשבילכם
מי שמריץ מודלים פתוחים על שרתים משלו, במיוחד כסוכנים עם גישה לטרמינל, צריך לא להניח שהרצה עצמית היא ערובה לאבטחה. ההמלצות המעשיות של Cohere זולות ליישום: חסימת יציאה לרשת כברירת מחדל והתראה על כתובות חריגות. הפוסט לא עוסק בזמינות בישראל; המודל עצמו זמין להורדה ב-Hugging Face.
תגובות