בכתבה הזו
OpenAI הודיעה שתכבד סימן משותף בקובץ robots.txt, הקובץ שבאמצעותו אתרים מבטאים את העדפותיהם לגבי השימוש בתוכן שלהם. הסימן נוגע לאימון מודלי AI גנרטיביים, כלומר מודלים שמייצרים תוכן. לפי הודעת החברה, מדובר במאמץ וולונטרי שמאפשר למפעילי אתרים להעביר את אותה העדפה לכמה ספקים משתתפים בבת אחת.
במקום כללים נפרדים לכל חברה
עד היום, כך לפי OpenAI, מפעילי אתרים נאלצו לזהות כל סורק (crawler, תוכנה שאוספת תוכן מאתרים) ולנהל עבורו כללים נפרדים. סימן משותף אמור לקצר את העבודה הזאת.
OpenAI מציינת שהיא מתכננת ליישם את הסימן "בחודשים הקרובים" ותפרסם עדכון עם פרטי היישום. הסימן החדש לא מחליף את הבקרות הקיימות: הכללים הנוכחיים שמיועדים לסורקים של החברה ימשיכו לחול ויכובדו.
הרקע: קבוצת העבודה של IETF
ההודעה נשענת על עבודת קבוצת AI Preferences של ה-IETF, גוף התקנים של האינטרנט. OpenAI כותבת שהיא מצטרפת להודעה משותפת של משתתפי הקבוצה, וקוראת לספקי AI אחרים לכבד את הסימן. העמוד של OpenAI רק מקשר להודעה המשותפת, ולכן לא ברור מהמקורות אילו חברות נוספות הצטרפו.
במקביל פורסמה ב-30 באוקטובר טיוטה של קווין קלי מ-Anthropic שמתארת איך זה יכול להיראות. לפי הטיוטה, מפעיל אתר כותב בקובץ robots.txt קבוצת כללים רגילה, שמזוהה באמצעות שם מיוחד בשורת ה-User-Agent: __usage_ai-training. כך אפשר, למשל, לסמן התנגדות לאימון בכל האתר, ובכל זאת לאשר אותו בתיקייה מסוימת כמו /press-kit/. הטיוטה לא מוסיפה פקודות או תחביר חדשים, ומנתחי robots.txt ישנים אמורים להתעלם מהקבוצה כפי שהם מתעלמים מכל סורק לא מוכר. כלל כללי עם כוכבית (User-Agent: *) לא נחשב למתייחס לסימן הזה.
חשוב לדעת: זו טיוטה של אדם יחיד, שלא אושרה ב-IETF ואין לה מעמד רשמי בתהליך התקינה. הטיוטה גם אינה מוגדרת כהצעה של ההודעה המשותפת, והמקורות לא מפרטים את התחביר הסופי.
איך הטיוטה של קלי מגדירה אימון
בטיוטה של קלי, ההגדרה של "אימון AI" נשענת על טיוטת אוצר מילים של הקבוצה: שימוש בתוכן כדי לשנות את הפרמטרים הנלמדים של מודל גנרטיבי. אימון של מודלים שמבצעים רק משימות לא גנרטיביות לא נכלל. אוצר המילים כולל גם קטגוריות נפרדות לשימוש ב-AI ולחיפוש, אבל ההודעה של OpenAI מדברת רק על אימון. OpenAI עצמה לא מפרטת בהודעתה איך היא מגדירה את הסימן.
הטיוטה של אוצר המילים עצמה מציינת שהיא אינה משקפת קונצנזוס של הקבוצה, ושהיא מסמך עבודה. היא גם מבהירה שהעדפות כאלה אינן מנגנון אבטחה ואינן מבטיחות שיכובדו: מי שמקבל אותן בוחר אם לפעול לפיהן.
מה עוד לא ידוע
- אילו ספקי AI נוספים הצטרפו להודעה המשותפת, ומה התחביר המדויק שלה.
- האם הסימן יחול רק על אימון, או גם על חיפוש ועל תשובות AI.
- האם אוצר המילים של ה-IETF יגיע לקונצנזוס או יהפוך ל-RFC, כלומר לתקן רשמי.
- מתי בדיוק OpenAI תיישם את הסימן.
מה זה אומר בשבילכם
אם אתם מפעילים אתר או בלוג ורוצים להתנגד לאימון מודלים על התוכן שלכם, אין עדיין מה לעשות: OpenAI עדיין לא יישמה את הסימן, והמקורות לא מפרטים את התחביר הסופי. הבקרות הקיימות של OpenAI ב-robots.txt ממשיכות לעבוד. כדאי לעקוב אחרי העדכון שהחברה הבטיחה. ההודעה לא קשורה לאתרים בישראל באופן ספציפי, והיא לא מפרטת הבדלים בין מדינות או שפות.
תגובות