האם השבוע התקדם עולם הבינה המלאכותית צעד אחד גדול קדימה בדרך לבינה מלאכותית כוללת (AGI)? ככה לפחות זה נראה אם בוחנים את הפרסום בגיטהאב של קבוצת המחקר Sapient Intelligence מסינגפור.
החוקרים הציגו מודל חשיבה היררכית (HRM) שמדמה טוב יותר את החשיבה האנושית, משלב חשיבה מהירה מסוגים שונים, ומצליח לפתור בעיות בצורה טובה, מהירה ולא פחות חשוב – זולה יותר ממודלי השפה הגדולים (LLMs).
האם נמצאה הדרך ל"סופר-אינטיליגנציה"?
במקרים אותם מציגה קבוצת המחקר, המודל החדש עשה שימוש ב-27 מיליון פרמטרים בלבד ובכ-1,000 דוגמאות אימון ללא אימון מקדים, והוא הצליח להשיג תוצאות טובות יותר במבחנים מסוימים כמו סודוקו, לעומת כמה מהמודלים הענקיים של OpenAI ושל אנת'רופיק, שנכשלו בהם. עכשיו נותרה השאלה האם זו בעצם הדרך להתגבר על המכשולים, שמעכבים כבר חודשים את ענקיות ה-AI בדרך ל-AGI.
אתר VentureBeat הציג את הטכנולוגיה החדשה כארכיטקטורת ה-AI שמספקת חשיבה מהירה פי 100 ממודלי השפה הגדולים הנוכחיים וציין כי ליעילות הזו עשויות להיות השלכות חשובות על שימושי AI "בעולם האמיתי", שבו הנתונים נדירים ומשאבי החישוב מוגבלים.
הארכיטקטורה החדשה מספקת חשיבה מהירה פי 100 ממודלי השפה הגדולים הנוכחיים, כאשר ליעילות הזו עשויות להיות השלכות חשובות על שימושי AI "בעולם האמיתי"
לדבריו של מומחה ה-AI קרלוס פרז באתר Medium, "המחקר מצביע על כך שהדרך ל-AGI אינה עוברת בהרחבת ארכיטקטורות קיימות, אלא בהבנה ויישום של הקוגניציה האנושית. מודל HRM מציג הוכחת היתכנות שזה אפשרי.
"הוא פותח את הדלת למערכות AI שלא רק שיש להן אינטליגנציה, אלא שהן מבינות אינטליגנציה. המהפכה בבינה המלאכותית החלה - HRMהוא צעד ראשון לקראת מוחות מלאכותיים שיכולים לנווט במרחב החשיבה המלא של האדם".
על מה בכלל מדובר
אז מה זה HRM בעצם? מדובר על מודל שתוכנן בהשראת האופן שבו המוח האנושי מפעיל במקביל חשיבה איטית להבנת הבעיה ותכנון דרך הפתרון, לצד מקטעי חשיבה מהירה ולא תמיד מודעת, לביצוע חישובים אינטואיטיביים.
5 צפייה בגלריה
המוח האנושי מפעיל כמה סוגי חשיבה במקביל, ואת זה החוקרים מנסים לפצח
(צילום: shutterstock)
מודל החשיבה הזו שונה מהחשיבה ההיסקית (reasoning) שלOpenAI ומתחרותיה, המתאפיינת בשרשרת חשיבה (CoT) סדרתית שניתן לעקוב אחריה ולעצור אותה בכל שלב לצורך פיקוח ("מחשבה בקול רם"), אבל התוצאה הסופית היא ריסון תהליך החשיבה ופתח לטעויות במהלכה.
החוקרים הסינגפורים טוענים במחקר כי "CoT הוא כמו קביים לתהליך החשיבה, הוא מסתמך על פירוק הבעיה לחלקים שהגדירו בני אדם, בהם צעד שגוי בודד, או סדר שגוי של השלבים, יכולים לטרפד לחלוטין את תהליך ההסקה".
לטענתם, ה-CoT הוא ניסיון להבין את תהליך החשיבה של ה-AI ואולי לתקן אותו. לצד זאת, כמו שכבר נמצא בלא מעט מחקרים, ה-AI מצליח להערים על החוקרים גם אם הם מתערבים ב-CoT, ולעיתים מניב תוצאה שגוייה למרות שכל שרשרת החשיבה נראתה נכונה.
המודל הסינגפורי מנסה לחקות את החשיבה הסמויה (לטנטית) שמתרחשת אצלנו במוח פעמים רבות מבלי שאנחנו מודעים אליה
המודל שהם פיתחו מנסה לחקות את החשיבה הסמויה (לטנטית) שמתרחשת אצלנו במוח פעמים רבות מבלי שאנחנו מודעים אליה. מדובר בשרשראות חשיבה שהן לעיתים ארוכות ומבוססות היטב, שמתרחשות מבלי שבסופן יש תרגום לשפה, כלומר לא ביטאנו את התוצאה במילים.
שילוב בין מספר תהליכי חשיבה סמויים כאלה תוביל בסופו של דבר להבנה כוללת של הפתרון, והוא ינוסח במילים. פיתוח מודל שמחקה את החשיבה הזו מסובך במיוחד שכן החשיבה הסמויה לא מקבלת ביטוי בכתב ולכן היא אינה נגישה לאימוני ה-AI.
המטרה: לחקות את החשיבה העמוקה
מי שמתעניין בקוגניציה ימצא את החלק הזה מעניין להפליא: "המוח האנושי מספק את הבסיס הרעיוני להשגת עומק חישובי יעיל, כזה שחסר למודלי AI נוכחיים. המוח מארגן חישובים בצורה היררכית על פני אזורים שונים במוח שפועלים בזמנים שונים, וכך מתאפשרת חשיבה עמוקה ורב-שלבית", נכתב במאמר.
5 צפייה בגלריה
סם אלטמן, מנכ"ל OpenAI. כבר תקופה שחברות ה-AI מתקשות לפרוץ את הדרך ל-AGI
(Joel Saget/AFP)
במטרה לחקות את התהליך הזה, החוקרים תכננו שני מודלים צמודים: מודל H שפועל ברמה הגבוהה ומבצע תכנון איטי ורחב, ומודל L הפועל ברמה הנמוכה, שנשלח לבצע חישובים מהירים ונקודתיים. לא מדובר בסדרה טורית של חישובים כאמור, אלא בפיקוח כולל של המודל העליון, ש"מתזז" את המודל הזוטר הלוך ושוב עד שמושג הפתרון לבעיה.
היתרון הגדול של מודל L הזוטר הוא שהוא נזקק רק לחלק קטן מהנתונים ומנפח האחסון שצורכים תהליכי הסקת CoT הנוכחיים, ואין לו גם צורך בשכבה של הבנת שפה שמאיטה את תהליך החשיבה.
כדי לבחון את תהליך ה-HRM, השוו החוקרים את הביצועים שלו מול מודלי LLM מובילים כמו GPT וקלוד במבחנים שמצריכים חיפוש נרחב וחזרה לאחור, למשל תשבצי סודוקו קשים, מבוכים ומבחני חשיבה המופשטת ARC-AGI. התוצאה הייתה מפתיעה: מודל HRM הצליח לפתור כמעט בציון מושלם בעיות שמודלי CoT נכשלו לחלוטין בפתרונן.
החוקרים השוו את ביצועי המודל מול מודלי LLM מובילים והתוצאה הייתה מפתיעה: HRM הצליח לפתור כמעט בציון מושלם בעיות שהאחרים נכשלו בהם
במבחן ARC-AGI שבוחן את היכולות של מודלים להתמודד עם בעיות לא מוגדרות מראש, HRM הגיע לציון 40.3% לעומת o3-mini-high שלOpenAI שקיבל 34.5% ו-Claude 3.7 Sonnet של אנת'רופיק שקיבל 21.2%. ואם חושבים על זה ש-HRM עשה את זה עם 27 מיליון פרמטרים בלבד ואחרי אימון על 1,000 דוגמאות בלבד, אפשר להבין את ההתרגשות שנרשמה בסינגפור.
לא תחרות, אלא השלמה של החלק החסר
לדבריו של גואן וואנג, מייסד ומנכ"ל Sapient Intelligence, "לא מדובר בהכרח בתחרות בין מודלי ה-AI השונים. מודלי LLM צריכים להמשיך ולהיות בשימוש במשימות שנועדו לעיבוד שפה (NLP) או ליצירתיות (GenAI) אבל עבור משימות מורכבות או דטרמיניסטיות, מודל HRM יציע ביצועים טובים יותר ואפילו פחות הזיות".
השוק אליו מכוון וואנג הוא ה-AI הפיזי, רובוטיקה ונהיגה אוטונומית – שם נדרשת קבלת החלטות מורכבת במיוחד ובמהירות גבוהה במיוחד, וגם למחקרים מדעיים בתחומים בהם אין הרבה נתוני מחקר.
לדבריו, HRM מצטיין בלמידה תוך כדי ביצוע ולמשל בבעיות סודוקו ברמת קושי גבוהה, זמן הפתרון שלו הלך והתקצר מבדיקה לבדיקה. "זה אומר האצה של פי 100 בזמן השלמת המשימות", הוא טוען. ל-HRM יש יתרון פוטנציאלי נוסף: פירוק הבעיה למשימות "נמוכות" פירושה פחות משאבי GPU יקרים בענן, ויותר שימוש ביכולות AI של מכשירי הקצה ברובוט או ברכב האוטונומי.
כעת עובדים ב-Sapient Intelligence על הדור הבא של HRM, שיהיה מודל הנמקה כללי הרבה יותר מהנוכחי, עם יכולת תיקון עצמי וכתיבת כלים מחדש במקומות בהם הכלים המהירים שלו לא יתנו את התוצאות הרצויות.
בין השאר הוא יהיה מיועד לפתרון בעיות בתחום הבריאות (אבחון מחלות נדירות שהסימפטומים שלהן מועטים), חיזוי אקלים מדויק, ורובוטיקה (רובוט שיוכל לפעול בסביבה אנושית מורכבת). מדובר באתגר קשה מאוד לפיצוח שמעכב את תעשיית ה-AI האמריקאית כבר חודשים ארוכים.
"אנחנו עוסקים באינטליגנציה ברמה אנושית ואפילו מעבר לאנושית – למכונות", אומר וואנג, "בנינו ארכיטקטורה בהשראת המוח כי הטבע כבר השקיע מיליארדי שנים בשכלול שלה. המודל שלנו חושב כמו אדם, לא רק מחשב הסתברויות כדי לעמוד ביעדים. אנחנו מאמינים שהוא יגיע לרמת האינטליגנציה האנושית ואז יעלה עליה, וזה הרגע שבו השיח על AGI יהפוך לאמיתי".
מרכז הפעילות של Sapient Intelligence הוא אמנם בסינגפור אבל יש לה מרכזי מחקר בסן פרנסיסקו ובבייג'ינג. הצוות שלה כולל יוצאי חברות כמו אנת'רופיק, דיפמיינד של גוגל, דיפסיק הסינית ו-xAI של אילון מאסק, ולצידם חוקרים מאוניברסיטת צינגהואה, אוניברסיטת פקינג, אוניברסיטת קליפורניה בברקלי, אוניברסיטת קיימברידג' ואוניברסיטת אלברטה. ואולי יש בזה מסר של שיתוף פעולה בינלאומי בעולם שכרגע מטריף את עצמו בתחרות בין הגושים על שליטה ב-AI.
