בניסוי, שנערך על ידי שני חוקרים מתחום ההוראה, התבקש ChatGPT לפתור את בעיית "הכפלת הקובייה". הניסוי מתעמק בהתנהגות הקוגניטיבית של הבינה המלאכותית, במטרה לקבוע האם הצ'אטבוט יישם שליפה ישירה של ידע בנוגע לפתרון הגאומטרי המוצג בשיעוריו של אפלטון בסביבות שנת 385 לפני הספירה או שמא ידגים התנהגות דינמית יותר, על ידי יצירת פרשנות משלו לבעיה.
"הכפלת הקובייה" הינה בעיה שבה יוצרים ריבוע חדש עם שטח כפול משטח הריבוע הנתון, על ידי הפיכת אורך הצלעות שלו לאלכסון של הריבוע המקורי. הניסוי שנערך משקף התייחסות עכשווית לאופן שבו מערכות בינה מלאכותית גנרטיביות, למרות יכולתן החישובית, עשויות לשקף את נתיבי הלמידה של תלמידים אנושיים.
המחקר החדש בחן את הידע המתמטי של ChatGPT – כפי שהוא נתפס על ידי המשתמשים בו. החוקרים רצו לדעת האם הצ'אטבוט יפתור את בעייתו של אפלטון באמצעות ידע שכבר "החזיק" בו, או על ידי פיתוח פתרונות משלו באופן אדפטיבי.
אפלטון מתאר את סוקרטס מלמד ילד חסר השכלה כיצד להכפיל את שטח הקובייה. בתחילה, הנער מציע בטעות להכפיל את אורך כל צלע, אך סוקרטס בסופו של דבר מוביל אותו להבין שצלעות הריבוע החדש צריכות להיות באותו אורך כמו האלכסון של הריבוע המקורי.
שיטה פדגוגית קלאסית זו מעלה שאלות משמעותיות: האם ידע מתמטי הוא יכולת טבועה, או שהוא מתפתח ככל שאנו מקיימים אינטראקציה עם בעיות ומחפשים פתרונות? דילמה עתיקה זו מניעה את המחקר על פעולות ChatGPT, ומעוררת את השאלה כיצד בינה מלאכותית, נטולת ניסיון אנושי, מתמודדת עם מושגים מתמטיים.
החוקרים הציבו בעיה זו בפני ChatGPT-4 (בתרגום חופשי: "טרנספורמר מאומן מראש בעל יכולת יצירה"), הדור הקודם של מודל השפה של חברת OpenAI, שבו ניתן להזין קלטים של טקסטים ותמונות, כשהוא משיב בטקסט. לפי החברה, היכולת להשתמש בשני סוגי המידע מאפשרת למערכת לייצר פלטים מורכבים יותר. תחילה, חיקו החוקרים את שאלותיו של סוקרטס, ולאחר מכן הציגו במכוון שגיאות, שאילתות ווריאציות חדשות של הבעיה.
כמו מודלים של שפה גדולים (LLM), גם ChatGPT מאומן על אוספים עצומים של טקסט ומייצר תגובות על ידי ניבוי רצפי מילים שנלמדו במהלך האימון. החוקרים ציפו שהוא יתמודד עם אתגר המתמטיקה מימי יוון העתיקה על ידי חזרה של "הידע" הקיים שלו על הפתרון המפורסם של סוקרטס. במקום זאת, נראה שהוא אילתר, ובשלב מסוים גם ביצע טעות אנושית מובהקת.
המחקר, שפורסם בכתב העת International Journal of Mathematical Education in Science and Technology, נערך על ידי ד"ר נדב מרקו מהאוניברסיטה העברית בירושלים ומהמכללה האקדמית לחינוך ע"ש דוד ילין בירושלים, ואנדראס סטייליאנידס, פרופ' להוראת המתמטיקה באוניברסיטת קיימברידג'. "כאשר אנו מתמודדים עם בעיה חדשה, האינסטינקט שלנו הוא לעתים קרובות לנסות דברים על סמך ניסיון העבר שלנו", אמר ד"ר מרקו. "בניסוי שלנו, נראה היה ש-ChatGPT עשה משהו דומה. כמו אדם שנמצא בתהליך של למידה או אדם מלומד, נראה שהוא הגיע עם השערות ופתרונות משלו".
מכיוון ש-ChatGPT מאומן על טקסט ולא על דיאגרמות, הוא נוטה להיות חלש יותר בסוג ההיגיון הגאומטרי שסוקרטס השתמש בו בבעיית הכפלת הקובייה. למרות זאת, הטקסט של אפלטון כל כך מוכר שהחוקרים ציפו שהצ'אטבוט יזהה את שאלותיהם וישחזר את הפתרון של סוקרטס.
למרבה ההפתעה, הוא נכשל בכך. כשהתבקש להכפיל את הקובייה, ChatGPT בחר בגישה אלגברית שלא הייתה מוכרת בתקופתו של אפלטון. לאחר מכן, הוא נמנע מניסיונות לגרום לו לעשות את הטעות של הילד ודבק בעקשנות באלגברה, אפילו כאשר החוקרים התלוננו על כך שתשובתה איננה מדויקת. רק כאשר מרקו וסטייליאנידס הביעו את אכזבתם מכך שלמרות כל האימון, הצ'אטבוט הפופולרי לא יכול היה לספק תשובה מתבקשת ומדויקת, ChatGPT ייצר את האלטרנטיבה הגאומטרית.
לאורך איטרציות שונות של הבעיה, החוקרים אימצו טכניקות המזכירות שאלות סוקרטיות. הן לא סיפקו ל-ChetGPT תשובות ישירות וגם לא הובילו אותו למסקנות הצפויות. זה אילץ את הבינה המלאכותית להתמודד עם המשימה באופן יצירתי ולא פסיבי – החלטה שבסופו של דבר הובילה להדגמה של התנהגות דמוית תלמיד שלומד, וחשפה את המורכבויות של הפוטנציאל והמגבלות של הבינה המלאכותית הגנרטיבית. בשלב מסוים, ChatGPT ביצעה טעות בולטת בסגנון אנושי, וטשטשה עוד יותר את הגבולות בין חישוב אלגוריתמי ללמידה אמיתית.
למרות הקושי לספק את הפתרון הקלאסי הצפוי בתחילה, ChatGPT הפגין ידע מעמיק במיוחד בנוגע להקשר הפילוסופי של הבעיה כאשר התבקש לדון ישירות בעבודתו של אפלטון. ממצא זה מצביע על כך שבעוד שחישובי הבינה המלאכותית עשויים לסטות מהתשובות הצפויות, הבנת העקרונות הבסיסיים נותרה בעינה. יחסי הגומלין בין אחזור מידע, קירוב וחדשנות הפכו לנושא מרכזי בהבנת המגבלות והיכולות של הבינה המלאכותית בהיגיון מתמטי.
החוקרים הציגו בפני הצ'אטבוט גרסה מעט שונה של הבעיה הגאומטרית, וביקשו ממנו להכפיל את שטחו של מלבן תוך שמירה על הפרופורציות שלו. למרות שהיה מודע בשלב זה להעדפתם של החוקרים לגאומטריה, ChatGPT דבק בעקשנות באלגברה. כאשר נאלץ להכפיל את גודלו של המלבן, טען הצ'אטבוט בטעות שמכיוון שלא ניתן להשתמש באלכסון של מלבן כדי להכפיל את גודלו, פתרון גאומטרי איננו זמין.
הטענה לגבי האלכסון נכונה, אך קיים פתרון גאומטרי אחר. ד"ר מרקו הציע שהסיכוי שטענה זו מגיעה מבסיס הידע של הצ'אטבוט הוא אפסי. במקום זאת, נראה כי ChatGPT מאלתר את תשובותיו על סמך הדיון על בעיית הריבוע. לבסוף, מרקו וסטייליאנידס ביקשו מהצ'אטבוט להכפיל את גודלו של משולש. גם כאן, הוא חזר שוב לאלגברה – אך לאחר הנחיות נוספות הגיע לתשובה גאומטרית נכונה.
החוקרים מדגישים את החשיבות של אי-פרשנות יתר של תוצאות אלו, מכיוון שלא יכלו לצפות באופן מדעי בקידוד של ChatGPT. מנקודת מבטם של חווייתם הדיגיטלית כמשתמשים, לעומת זאת, מה שעלה ברמה השטחית הזו היה שילוב של אחזור נתונים והיגיון תוך כדי תנועה.
הם משווים התנהגות זו לתפיסה החינוכית של "אזור ההתפתחות הקרובה" (ZPD) – הפער בין מה שהלומד כבר יודע, לבין מה שהוא עשוי לדעת בסופו של דבר עם תמיכה והדרכה. לב ויגוצקי, פסיכולוג התפתחותי יהודי-רוסי, הגדיר זאת כמרחק בין רמת הפיתוח בפועל כפי שנקבעה על ידי פתרון בעיות עצמאי לבין רמת ההתפתחות הפוטנציאלית כפי שנקבעה באמצעות פתרון בעיות בהדרכת מבוגרים או בשיתוף פעולה עם עמיתים מוכשרים יותר. הרעיון הוא שאנשים לומדים בצורה הטובה ביותר כאשר עובדים יחד עם אנשים אחרים, ובאמצעות שיתוף פעולה שכזה עם אנשים מיומנים יותר, התלמידים לומדים ומפנימים מושגים חדשים, כלים פסיכולוגיים ומיומנויות. על כן, טוענים החוקרים, ייתכן שבמקרים מסוימים, הצ'אטבוט לא יוכל לפתור בעיות באופן מיידי, אך בהחלט יוכל לעשות זאת בעזרת הנחייה.
מחברי המחקר סבורים אם כן, כי תרגול של ChatGPT באמצעות תפיסת "אזור ההתפתחות הקרובה" עשוי לסייע בהפיכת מגבלותיו להזדמנויות של למידה. על ידי הנחייה, שאילת שאלות ובדיקת תגובותיו של הצ'אטבוט, התלמידים לא רק ינווטו בין גבולות ChatGPT, אלא גם יפתחו את המיומנויות הביקורתיות של בחינת נתונים ומתודולוגיות מחקר כדי להוכיח השערה או תיאוריה וכן הנמקה – מה שנמצא בלב החשיבה המתמטית.
"בניגוד להוכחות שנמצאות בספרי לימוד בעלי מוניטין, תלמידים אינם יכולים להניח שההוכחות של ChatGPT תקפות. הבנה והערכה של הוכחות שנוצרו על ידי בינה מלאכותית הופכות למיומנויות מפתח שיש לשלב בתוכנית הלימודים במתמטיקה", אמר סטייליאנידס. "אלה מיומנויות ליבה שאנחנו רוצים שהתלמידים ישלטו בהן. זה אומר להשתמש בהנחיות כמו 'אני רוצה שנחקור את הבעיה הזו יחד', ולא 'תגיד לי את התשובה'", הוסיף מרקו.
