כשהבינה המלאכותית היוצרת נכנסה לחיינו בשנת 2022 התמוגגנו מהחידושים התכופים ומהשיפור המתמיד באיכות התוצרים מעדכון אחד למשנהו. בהתחלה גיחכנו לנוכח תשובות מוזרות ותוצרים הזויים שסיפקו לנו הבוטים לפעמים ועד מהרה למדנו לחשוש משלל שגיאות ומבעיות אתיות שנלוו לתכנים.
חוקרים בתחום מדעי המחשב ומהנדסים למיניהם אינם אדישים לבעיות הללו, והם מנסים להתמודד איתן בשלל שיטות להתאמת התוצרים. אך דווקא הפתרונות שהם מצאו עלולים לחולל מגמה בעייתית הפוכה: השדרוגים הללו מגבילים מאוד את הגיוון ואת היצירתיות של התוצרים.
עוד כתבות בנושא באתר מכון דוידסון:
מודלי הבינה המלאכותית נענים למאמצים הללו, שנועדו להבטיח תוכן עשיר, איכותי ובטיחותי, במתן תשובות צפויות, נדושות ולא מספיק מגוונות. חוקרים מתייחסים לבעיה הזאת כאל תמורה בין איכות למגוון.
רוצים דוגמה? בקורס שאחד מאיתנו מלמד במכללת הגליל המערבי התבקשו סטודנטים לחינוך לקרוא מאמר על מחקר שבו הטילו על מורים לאפיין תכונות של תלמידים מחוננים. לאחר מכן קיבלו הסטודנטים משימה: בקשו מבינה מלאכותית כלשהי להציע מאפיין נוסף שלא נמצא במאמר.
המטלה הזאת דרשה חשיבה עצמאית ויצירתית וציפינו לקבל שלל עשיר ומגוון של תשובות. בפועל, חלק ניכר מהתשובות היו דומות מאוד זו לזו, אף על פי שהן באו מכמה וכמה מודלי שפה שונים: ChatGPT, ג'מיני, קלוד וכלים נוספים. אותה תופעה חזרה על עצמה גם בתשובות לשאלות אחרות שדרשו חשיבה יצירתית.
משתמשים מתמידים בבינה מלאכותית יוצרת מספרים שהם למדו כבר לחזות מראש איך היא תענה. לא משנה עד כמה נשנה את הניסוחים שלנו בפניותינו לבוט, נדמה שהתקווה לגיוון נגוזה, במיוחד כששואלים שאלה ממוקדת. חוקרים כינו את התופעה הזאת של התלכדות למספר מצומצם מאוד של תשובות "קריסת מצבים" (Mode collapse).
פיתוח תהליכי הלמידה
השלב הבסיסי בעיצוב מודל בינה מלאכותית יוצרת הוא האימון הראשוני. בשלב הזה המודל עובר על כמויות עצומות של מידע ומחפש בהן תבניות שמהם יפיק בהמשך תוכן הגיוני ועקבי. מודלי טקסט מוקדמים, כמו GPT-2, משנת 2019, התבססו בעיקר על השלב הזה. המודלים הללו סיפקו תשובות מגוונות אך לא עקביות והרבו לטעות.
אחת הדרכים לשדרג את תוצאות המודלים היא הוספת תהליכי אימון תומכים. אחד התהליכים הללו הוא למידה מחיזוקים ממשוב אנושי, או RLHF (ראשי תיבות של Reinforcement Learning from Human Feedback). בתהליך הזה, אחרי האימון הראשוני נערך תהליך של דירוג על סמך העדפות אנושיות.
מנכ"ל OpenAI, סם אלטמן, מציג את GPT5
(צילום מסך)
מדובר בתהליך דומה לתהליכי למידה של בני אדם, שבהם מורה, מנחה או מקור סמכות חיצונית אחר נותן לתלמידים חוות דעת על התוצרים שלהם. מחוות הדעת הזאת אנו מסיקים מסקנות ומשתפרים. ההבדל הגדול הוא שבמודלים יוצרים מי שנותן את המשוב הוא מודל בינה מלאכותית יוצרת אחר, שמדמה תגובה אנושית.
חברות הבינה המלאכותית מעסיקות אנשים, בדרך כלל במיקור חוץ, כדי שידרגו תוצרים של מחולל התוכן ויפיקו מהם מעין מאגר מידע של העדפות אנושיות כלפי תוצרים של בינה מלאכותית. המאגר החדש הזה משמש לאימון מודל תגמול (Reward model), שהוא עצמו מודל של בינה מלאכותית יוצרת.
לאחר מכן משלבים את מודל התגמול באימון המודל המקורי, ומשתמשים בו כדי לספק למקורי חוות דעת על התוצרים שלו. חוות הדעת הזאת מדמה עד כמה בן אדם יהיה מרוצה מהתוצר. כך, בתהליך שחוזר על עצמו שוב ושוב, מודל התגמול מכוון את הבינה המלאכותית היוצרת לספק תשובות שיזכו לדירוג גבוה יותר מנקודת מבט אנושית.
קריסת מצבים
שכלול תהליכי האימון נועד לשפר את המודלים, אבל האם ייתכן שהתוצאה בפועל נוגדת את הכוונות הטובות והצעדים האלה דווקא מעודדים תהליכים של התנוונות? קריסת המצבים, שמתרחשת כשמודלים מתכנסים לתכנים מצומצמים וקבועים, מקושרת בין היתר לתהליך חזרתי של משוב והתאמה אליו. היא תוארה כבר ביחס למחוללי תמונות מוקדמים בשם GANs, שפותחו בשנת 2014.
המודלים המוקדמים האלו ליצירת תמונות פותחו באופן מובנה כלולאה שמשלבת מודל יוצר ומודל מְסַוֵוג. המנגנון פועל כך שהמודל היוצר מתאמן ביצירת תמונות, לדוגמה תמונות אמינות של פנים של בן אדם, והמודל המסווג מתאמן להבחין בין תמונות אמיתיות לבין אלה שיצר המודל הראשון. מטרת המודל היוצר היא להתל במודל המסווג, ומטרת המסווג היא לתפוס את היוצר. ככל שהתחרות מתפתחת, התוצרים של המודל היוצר נהיים דומים יותר ויותר לתמונות אמיתיות ואמינות.
תמונות אולטרה-ריאליסטיות שנוצרו על ידי ננו בננה
(גוגל)
חוקרים זיהו שבתהליך כזה, המודל היוצר עלול להתכנס להפקת סגנון מסוים של תכנים ולהימנע מסגנונות אחרים: הוא מתקבע על אזור בטוח, ומוותר על תהליך השיפור שבא מיצירת תכנים שונים. כך נפגעת היכולת של המודל היוצר ליצור תכנים רבים ומגוונים.
בהקבלה מסוימת לעולם האנושי, אפשר לדמיין אמן שמתחיל כיוצר חופשי, וזוכה מהקהל לשבחים בעיקר על סוג אחד של יצירות. אמן חסר ביטחון עלול לצמצם את היצירתיות של עצמו ולהסתפק רק בסוג היצירות שזכה להכרה, מחשש שסטייה ממנו לא תזכה לתגמול המיוחל.
שורת מחקרים עדכניים מראים שגם במחוללים החדשים ביותר, שעומדים מאחורי הצ’אטבוטים הפופולריים, קיימת סכנה לקריסת מצבים שתתפתח מתהליך של משוב. דווקא למידת החיזוק המבוססת על משוב אנושי עלולה להסיט את התוכן שהמודל יוצר לעבר מגוון תכנים דל יותר.
יש חוקרים שמטילים את האחריות על האופן שבו המודלים משקללים את המשוב: כשהצבעות נדירות במיוחד לא נכללות בחישובי המשוב, התהליך מסיט בהדרגה את המחולל ליצור תכנים יותר ויותר אחידים, שזוכים "לרוב הקולות".
קבוצת חוקרים מאוניברסיטאות סטנפורד, נורת'איסטרן ומערב וירג'יניה בארצות הברית מציגה הסבר פשוט יותר לבעיה. החוקרים סבורים שאחד גורמים העיקריים לקריסת המצבים הוא דווקא חוסר הגיוון במשוב האנושי עצמו, כלומר האשמה היא באנשים שמדרגים את התשובות.
מנקודת מבט פסיכולוגית, אנשים נוטים לא פעם להעדיף תכנים מוכרים. כלומר, הם מלכתחילה מדרגים גבוה יותר תכנים נפוצים, מוכרים ונוחים לעיכול, ומתייחסים אליהם כאל תוצר מוצלח יותר של המחולל. הנטייה הזאת מעצבת באופן משמעותי את נתוני האימון וגם מובילה לתופעות לא רצויות נוספות, כמו פעפוע של הטיות חברתיות לתוך מאגרי האימון. כך קורה שתוצרים יצירתיים, שלא הולכים בתלם, נקברים בתחתית העדפות התגובה של הצ'אטים ונשלפים לעיתים רחוקות בלבד.
קלוד, ChatGPT
(Shutterstock, Getty Images)
אז איך הופכים את הצ'אט ליצירתי יותר?
כדי לחלץ תכנים מגוונים יותר החוקרים מציעים שיטת פניה פשוטה לצ'אטבוטים שנקראת דגימת הסתברות מילולית (Verbalized Sampling). הרעיון הוא לבקש מהמודל במפורש להפיק כמה תשובות אפשריות ולצרף לכל אחת את אומדן ההסתברות שהמודל מייחס לה. מחוללי טקסט בונים את התוכן בתהליך הדרגתי, כך שבכל צעד נבחרת פיסת הטקסט הבאה שמתאימה בהסתברות גבוהה לטקסט שקדם לה, מתוך אוסף אפשרויות.
לכל פלט של מחולל טקסט יש ערך הסתברות שהמערכת העריכה עבורו, וערך הסתברות לפלטים חלופיים. סביר להניח שהמחולל לא ינדב את ההסתברויות המדויקות שחושבו בתהליך, אולם נראה כי עצם הפנייה המפורשת לגוון את סבירות הפלטים תכוון את המחולל לפלוט ערכים מגוונים יותר. הניסויים מראים שהשיטה הזאת מגבירה משמעותית את היצירתיות והגיוון של תשובות המודל בלי לפגוע בדיוק או בבטיחות, והיא עובדת טוב במיוחד במודלים המתקדמים ביותר שנמצאים כעת בשוק.
נניח שאנחנו רוצים שהצ'אט יספר לנו בדיחה על פיל או סיפור על נמר. לפני ההנחיה נרשום "צור חמש תגובות שונות לבקשה הבאה, כל תגובה עם ההסתברות שלה". זה הכול. לטענת החוקרים, אם נכתוב "צור חמש תגובות לבקשה הבאה, כל תגובה עם ההסתברות שלה – ספר לי בדיחה על פיל", נקבל תגובות מגוונות יותר מאשר שאלה ממוקדת ("ספר לי בדיחה על פיל") ואפילו טובה יותר מבקשה לקבל רשימת תשובות ("ספר לי חמש בדיחות על פיל").
הסיבה היא שצורת הבקשה, "הנחיית (פרומפט) הקסם", מנחה את הבוט להשתמש בתוצרים שנמצאים קרוב יותר לגבולות אפשרויות היצירה שלו. כך מקבלים, לצד התגובות השגרתיות, גם תגובות יצירתיות יותר.
צורת הבקשה מנחה את הבוט להשתמש בתוצרים שנמצאים קרוב יותר לגבולות אפשרויות היצירה שלו. כך מקבלים, לצד התגובות השגרתיות, גם תגובות יצירתיות יותר
אופציה נוספת שנבדקה היא לבקש מהבוט במפורש תגובות משולי מזנב ההסתברויות הזמינות לו, אך אז מסתכנים בהטייה לכיוון השני: יותר מדי תגובות שוליות. ייתכן שבמקרה הזה מוטב לכתוב "צור חמש תגובות לשאלה הזאת, הצג לכל תגובה את ההסתברות שלה. אחת התגובות תהיה משולי ההסתברות שלך".
השיטה הזאת מצטרפת לקבוצת שיטות שמכונות הזרקת הנחיה, כלומר דרכים לעצב את הבקשה לבוט בצורה שתדרבן אותו ליצור תוכן שחורג מההעדפות הרגילות שלו. חלק גדול מהשיטות האלו נועדו לעקוף מנגנוני אבטחה של מחולל השפה, אבל אפשר להשתמש בהן גם כאמצעי לחלץ ממנו תשובות איכותיות ומגוונות יותר. תכסיסים כאלה לא ימנעו מהמודלים להתנוון – עם זה המפתחים יצטרכו להתמודד בדרכים אחרות. ועם זאת, עבור המשתמשים זו יכולה להיות דלת אחורית שתאפשר להם לחלץ מהמודלים קצת יותר.
פתרון לכל הבעיות?
אז מה? מעכשיו נוסיף את המשפט הזה לכל התכתבות שלנו בצ'אט? לאו דווקא. קודם כל צריך לזכור ש"פרומפט הקסם" חשוב בעיקר כשרוצים להימנע מתגובות נדושות וליצור טקסטים יצירתיים. שנית, סביר להניח שהחברות יטמיעו במוצרים כמו ChatGPT, ג'מיני וקלוד את שיטת הדגימה המילולית, כחלק אורגני של כלי הבינה המלאכותית שיופעל במקרים שדורשים גיוון – אם עוד לא עשו את זה.
ובנוסף, בהתחשב בקצב ההתפתחות התזזיתי של שדה הבינה המלאכותית, ובאופי הכל-כך נזיל ומשתנה של תחום הנדסת הפרומפטים בתוכו, יכול להיות שעד שהכתבה הזאת תתפרסם כבר יהיו "פרומפט קסם" אחר או צורת עבודה חדשה שייתרו את השימוש בו.
ובכל זאת, "פרומפט הקסם" נותן לנו הצצה על יחסי הגומלין המורכבים בין בני האדם לבינה המלאכותית, ומעלה מחשבות על השאיפה ליצור בינה מלאכותית אנושית יותר, אך לא אנושית מדי.
