כלים חדשניים מבוססי טקסט להפקת וידאו, באמצעות בינה מלאכותית, מסוגלים לייצר תוכן אנטישמי ותוכן שנאה בקלות, למרות מנגנוני הגנה שנועדו למנוע תכנים כאלה. כך עולה ממחקר שפרסמה הליגה נגד השמצה (ADL).
הניתוח, שבוצע על ידי המרכז לטכנולוגיה וחברה של הליגה נגד השמצה (CTS), בחן 50 פקודות טקסט אנטישמיות ובעלות תוכן שנאה בארבעה מחוללי וידאו מבוססי AI, ומצא כי הכלים ייצרו וידאו בתגובה לתוכן אנטישמי, קיצוני או תוכן שנאה בלפחות ב-40% מהמקרים.
המחקר בחן את הכלים Veo 3 של גוגל, Sora 1 ו-Sora 2 של OpenAI, ואת Character-3 של Hedra. מבין הכלים שנבדקו, הדגם החדש Sora 2 – שהושק ב-30 בספטמבר, הציג את הביצועים הטובים ביותר מבחינת סינון תוכן, כשסירב לייצר תוכן עבור 60% מהפקודות הבעייתיות.
לעומת זאת, הדגם המקורי Sora 1 לא סירב לאף פקודה המכילה תוכן שנאה, Veo 3 סירב רק ל-20% מהן, ו-Hedra סירב ל-4% בלבד.
"לאורך ההיסטוריה, גורמים עוינים ניצלו טכנולוגיות חדשות כדי לייצר תוכן אנטישמי, קיצוני ותוכן שנאה, וזה בדיוק המקום שבו אנו נמצאים כיום, כשהפקת וידאו מבוססת AI הופכת למתקדמת ונגישה יותר", אמר ג'ונתן גרינבלט, המנכ"ל העולמי של הליגה נגד השמצה. "כאשר פלטפורמות AI נכשלות בזיהוי אזכורים ברורים לתיאוריות קונספירציה אנטישמיות, כמו עלילת הדם, או שפה מקודדת שנפוצה בקרב אנטישמים, הן הופכות לשותפות לא מודעות להפצת שנאה. חברות טכנולוגיה חייבות לפעול מיידית לחיזוק מנגנוני ההגנה ולמנוע מהחידושים שלהן להפוך לכלים של שנאה".
המחקר בדק פקודות שכללו אזכורים לסטריאוטיפים בעלי תוכן שנאה, רטוריקה קיצונית ותוכן אלים, כולל הכחשת שואה, תיאוריות קונספירציה אנטישמיות, סיסמאות גזעניות ואזכורים ישירים לרוצחים המוניים, קהילות אלימות ברשת, רשתות ופלטפורמות. כל ארבעת הכלים ייצרו תוכן המציג סטריאוטיפים בעלי תוכן שנאה, כמו וידאו של אנשים יהודים שמפעילים "מכונות לשליטה במזג האוויר" - אזכור לתיאוריות קונספירציה על כוח יהודי ותוכן שמזכיר את עלילת הדם העתיקה.
הפלטפורמות גם ייצרו תוכן המעודד אלימות וקיצוניות, כולל אזכורים ל"קהילת הפשע האמיתי" שמפארת רוצחים המוניים ויורים בבתי ספר, ולאתר הזוועות "WatchPeopleDie". בנוסף, כל ארבעת הכלים ייצרו סרטוני אנימציה של ילדים הלובשים חולצות עם הכיתוב "764", רשת מבוזרת הידועה באלימות ובניצול קטינים.
הדוח מדגיש גם כיצד ניתן לנצל את הכלים המתקדמים הללו ליצירת תעמולה ריאליסטית שיכולה למשוך ולגייס צעירים לתמיכה באידיאולוגיות קיצוניות. בניגוד לטכנולוגיות וידאו מוקדמות, הכלים החדשים ידידותיים מאוד למשתמש ויכולים לייצר וידאו מורכב עם דיאלוג ואודיו מתוך פקודות טקסט פשוטות.
"חברות AI חייבות לפעול בדחיפות כדי לטפל בכשלים הברורים הללו במניעת הפצת אנטישמיות וקיצוניות, החל משיפור נתוני האימון ועד לדיוק במדיניות סינון התוכן", אמר דניאל קלי, מנהל אסטרטגיה ותפעול וראש זמני של המרכז לטכנולוגיה וחברה. "אנו מחויבים לשתף פעולה עם מובילי התעשייה כדי להבטיח שהמערכות הללו לא יהפכו לכלים להפצת שנאה ומידע שקרי".
הדוח כולל המלצות מדיניות ספציפיות לתעשייה ולממשל, כולל יישום מנגנוני הגנה חזקים יותר נגד שפה שונאת מקודדת, השקעה בצוותי אמון ובטיחות, ביצוע בדיקות מכוונות על בסיס סטריאוטיפים שונאים ודרישה לחשיפת תוכן שנוצר על ידי AI.
