את האהבה שלי לשפות קיבלתי כנראה מאבא שלי עליו השלום, שבילדותו דיבר שלוש שפות ותמיד רצה ללמוד עוד שפות. גם לי נכנס הג׳וק הזה, ובמהלך השנים למדתי ערבית, ספרדית, פורטוגזית, איטלקית וקצת סינית. בשנת 2007, כשהייתי תלמיד לתואר הראשון במדעי המחשב ומדעי המוח באוניברסיטה העברית בירושלים, שמעתי הרצאה של פרופ׳ ארי רפופורט ז"ל על האפשרות ללמד מחשבים להבין שפה של בני אדם. ההרצאה שלו ריתקה אותי, ואחריה פניתי אליו בבקשה שינחה אותי בפרויקט מחקר. לשמחתי הוא הסכים, ויצאנו לדרך משותפת שכללה גם לימודים לתואר מוסמך ולתואר דוקטור.
מאפיין נוסף שלי הוא שאני בעל מודעות סביבתית, מסוג האנשים שחשוב להם מאוד לכבות את האור כשיוצאים מהחדר ושמעדיפים לפתוח חלון מלהפעיל מזגן כשלא חם מדי. ב-2019, כשהייתי חוקר במכון אלן לבינה מלאכותית בסיאטל, הייתי רוכב על אופניים לעבודה בשביל שלא להזיז את המכונית. בשלב מסוים הבנתי שבעוד בחיי האישיים אני עושה מאמצים קטנים להקטין את טביעת הרגל הסביבתית שלי, בעבודה אני מריץ ניסויי בינה מלאכותית שצורכים פי כמה וכמה מכמות האנרגייה שאני חוסך בשנה שלמה של רכיבה. ההבנה הזאת גרמה לי לשנות את כיוון המחקר שלי ולהתחיל לחקור בינה מלאכותית ירוקה.
חוקרים פרטיים - לטורים הקודמים
הפילוסופיה של הבינה המלאכותית הירוקה עומדת על שתי מטרות מרכזיות. קודם כול - להגביר את השקיפות בעניין כמות האנרגייה שנדרשת להרצת ניסויים בבינה מלאכותית. כשאתם קונים מכונת כביסה או מקרר חדשים אתם יכולים לדעת כמה אנרגייה הם צורכים. כשאתם מזמינים טיסה או קונים מכונית חדשה, אתם יכולים לדעת כמה הם מזהמים. לעומת זאת, כשמשתמשים בכלי בינה מלאכותית כמו ChatGPT, Sora או Claude לא ברור כמה אנרגייה צורכת כל פעולה וכמה זיהום נוצר בשל כך. חוסר השקיפות מקשה מאוד על משתמשים שרוצים לקבל החלטות מודעות בעניין השימוש בכלים האלה. הוא גם אינו מאפשר לחוקרים להבין את התמונה הרחבה של תג המחיר האנרגטי של הטכנולוגיה. המטרה של הבינה המלאכותית הירוקה היא לשנות את המציאות הזאת באמצעות חשיפת המחירים.
המטרה השנייה של הבינה המלאכותית הירוקה היא למצוא דרכים יעילות יותר להריץ כלי בינה מלאכותית. כמו במקרים רבים אחרים, הדרך הפשוטה לשפר את הדיוק של כלי בינה מלאכותית היא הפיכתם לגדולים יותר ובזבזניים יותר. בדומה להגדלת המנוע של מכונית כדי לגרום לה לנסוע מהר יותר, גם במודלי שפה ניתן לשפר את הביצועים באמצעות הגדלת הזמן שהם רצים, כמות הזיכרון שהם צורכים וכמות האנרגייה שנדרשת להריץ אותם. המחקר שלי בשנים האחרונות מתמקד בזיהוי הזדמנויות לחיסכון בבניית הכלים הללו ובשימוש בהם בעזרת אתגור של הנחות יסוד של התחום, וספציפית - ערעור על ההנחה שגידול במשאבים הוא הדרך היחידה לשיפור כלי הבינה המלאכותית.
כשאתם מזמינים טיסה או קונים מכונית חדשה, אתם יכולים לדעת כמה הם מזהמים. לעומת זאת, כשמשתמשים בכלי בינה מלאכותית כמו ChatGPT, Sora או Claude לא ברור כמה אנרגייה צורכת כל פעולה וכמה זיהום נוצר בשל כך
לדוגמה, אחת העבודות שלי אתגרה את ההנחה שלכל עניין צריך להריץ את הכלים הגדולים ביותר. למשל, כשרוצים לדעת מה בירת צרפת, אין צורך בבינה מלאכותית, אלא מספיק כלי פשוט וזול שיכול לתת תשובה מספקת. אבל כשמחפשים הסבר לתופעות מסובכות, כשרוצים להתייעץ על נושא מורכב או כשמבקשים סיכום של מאמר אקדמי, אולי אין ברירה אלא להשתמש במודל שפה מורכב וכבד.
במעבדה שלי פיתחנו שיטות להפריד בין המקרים הפשוטים או הקלים לבין המקרים המסובכים או הקשים יותר, וכך הצלחנו להגיע לחיסכון רב. במקרה אחר התמקדנו באורך התשובות של מודלי שפה גדולים: העלות האנרגטית של הכלים הללו תלויה באופן ישיר באורך הפלט שלהם - ככל שהתשובות שהם מספקים ארוכות יותר, הן יקרות יותר. סטודנטים במעבדה שלי פיתחו מספר שיטות שמאפשרות לקצר במידה ניכרת את התשובות שמחזירים מודלי שפה גדולים בלי לפגוע בדיוק שלהן, ולעיתים אף מתוך שיפורו, וכך הן מייעלות אותם מאוד.
אין ספק שהבינה המלאכותית משנה לחלוטין את הצורה שבה אנחנו עובדים, מחפשים מידע ולומדים. המטרה שלי לטווח הארוך היא להוריד את המחירים החישוביים, הכלכליים והסביבתיים של הכלים הללו כדי לוודא שהטכנולוגיה הזאת ממשיכה להיות מצד אחד נגישה לכולם ומצד שני בעלת השפעה מינימלית על הסביבה.
רועי שוורץ הוא פרופסור חבר בבית הספר להנדסה ולמדעי המחשב באוניברסיטה העברית בירושלים.
אתר הבית של הקבוצה של רועי שוורץ: https://ancillary-proxy.atarimworker.io?url=https%3A%2F%2Fschwartz-lab-huji.github.io
מאמר על בינה מלאכותית ירוקה: https://ancillary-proxy.atarimworker.io?url=https%3A%2F%2Fdl.acm.org%2Fdoi%2F10.1145%2F3381831
"חוקרים פרטיים" הוא מדור ב-ynet שנוסד ביוזמת האקדמיה הצעירה הישראלית, שבו חוקרים מסבירים מדוע החליטו לעסוק בתחום המחקר שלהם.
המדור נערך בסיוע פרופ' נעמה גבע-זטורסקי, פרופ' אורי בן-דוד, ופרופ' ארז בן-יוסף מהאקדמיה הצעירה הישראלית.
