מערכת בינה מלאכותית חדשה בשם "אלזה" (Elsa), שהוטמעה לאחרונה במינהל המזון והתרופות האמריקני (FDA), ממציאה מחקרים שמעולם לא פורסמו ומספקת מידע שגוי ומטעה – כך עולה מדוח שפורסם ב-CNN. המערכת פותחה כחלק מיוזמה של שר הבריאות והשירותים האנושיים של ארה"ב, רוברט פ. קנדי ג'וניור, שמקדם שילוב כלי בינה מלאכותית בסוכנויות פדרליות כמו ה-FDA, במטרה לייעל את עבודתן ולהאיץ את אישור התרופות.
קנדי אף הצהיר לאחרונה בריאיון כי בקרוב תשתמש ה-FDA בבינה מלאכותית לצורך אישור מהיר של תרופות חדשות. עם זאת, ממצאי הדוח מעלים חששות כבדים בנוגע לאמינות המערכת, שנכנסה לפעולה רשמית ב-2 ביוני.
3 צפייה בגלריה
דוח ה-CNN מעלה חשש כבד לגבי "אלזה", מערכת הבינה המלאכותית שמשמשת את ה-FDA
(צילום: Shutterstock)
לפי הדיווח, שישה עובדים נוכחיים ועובדים לשעבר של ה-FDA תיארו את השימוש ב"אלזה". שלושה מהם העידו כי המערכת שימושית ליצירת סיכומי פגישות ומסמכים פנימיים, אך שלושה נוספים התריעו שהיא "הוזה", מונח המתאר תופעה מוכרת בכלי בינה מלאכותית ("הזיות"), שבה נוצר תוכן שקרי שמוצג כביכול כעובדה. לפי עדויותיהם, "אלזה" לא רק ממציאה מחקרים שמעולם לא פורסמו, אלא גם מציגה בצורה שגויה נתונים ממחקרים קיימים. המערכת נותנת תשובות שגויות בביטחון מלא. אמנם היא מתנצלת כשהיא מתוקנת – אך התנצלות של תוכנה לא משנה את התוצאה בפועל.
בפועל, העובדים הסבירו שחומר שאי אפשר לבדוק אותו לעומק – אינו אמין. לדבריהם, המערכת יוצרת ביטחון שווא גם כשהיא מספקת מידע לא מדויק, מה שמחייב בדיקה מדוקדקת של כל פלט. כך, במקום לחסוך זמן – השימוש בכלי גורם לעיתים לעודף עבודה.
לא כל כלי בינה מלאכותית מתאים לרפואה
"חשוב להבין שבינה מלאכותית איננה טכנולוגיה אחת אחידה, אלא אוסף של כלים שונים – שלכל אחד מהם יתרונות וחולשות", מסביר פרופ' רן בליצר, סמנכ"ל וראש מערך החדשנות בכללית, ששירת בגוף המייעץ למזכ"ל האו"ם בנושא בינה מלאכותית. "הסוג הוותיק יותר של בינה מלאכותית – 'למידת מכונה' – נמצא בשימוש כבר עשרות שנים, והוא מבוסס, בטוח ויציב יחסית. זו הטכנולוגיה שעומדת בבסיס מערכות הבינה המלאכותית שפרושות בשנים האחרונות בשטח, במרפאות".
פרופ' רן בליצרצילום: טל שחרלעומת זאת, הדור החדש של בינה מלאכותית – בינה יוצרת (Generative AI), כמו ChatGPT – נשען על טכנולוגיה שונה לגמרי, הכוללת רכיב סטטיסטי של ניחוש.
"כתוצאה מכך, מערכות מהסוג הזה מתקשות להגיע לרמות דיוק גבוהות דיין, ונוטות לעיתים לטעויות ולהמצאות, מה שנקרא 'הזיות'", אומר פרופ' בליצר. "אמנם קל ומהיר לפתח באמצעותן פתרונות שמספקים תשובות נכונות ברוב המקרים – נניח 80%–85% – אך כשמדובר בתחומים שדורשים דיוק כמעט מוחלט, כמו רפואה, משפט או מדיניות ציבורית, אי אפשר להסתפק בזה".
3 צפייה בגלריה
האם ה-FDA מאשרים תרופות על בסיס הזיות של בינה מלאכותית?
(צילום: grandbrothers / Shutterstock.com)
הוא ממחיש את דבריו: "אם אתה תלמיד תיכון שכותב עבודה ויכול לחיות עם 5% של מקורות שגויים – זה אולי בסדר. אבל אם אתה עורך דין שמסתמך על פסיקות שמעולם לא ניתנו, או רשות ממשלתית שמאשרת תרופות – כמו ה-FDA – אתה חייב לוודא שהכלי שבו אתה משתמש עומד ברמת מהימנות גבוהה מאוד. לשם כך, נדרש או תהליך פיתוח ארוך וקפדני של מערכת מדויקת במיוחד, או מנגנון אנושי קבוע שיבדוק ויתקן את התוצרים של הבינה המלאכותית לפני השימוש".
"כלי שעלול להוביל לאישורים שגויים של תרופות"
מחקר שנערך לאחרונה בקרב מתכנתים העלה כי משימות שבוצעו בסיוע בינה מלאכותית ארכו בממוצע 20% יותר – גם בקרב משתתפים שהיו בטוחים שהם יעילים יותר.
הסכנות שבשימוש בכלים כאלה אינן רק תיאורטיות. במאי האחרון פרסמה הוועדה שהקים קנדי – "להפוך את אמריקה לבריאה שוב" (MAHA) – דוח שהכיל ציטוטים רבים ממחקרים שגויים או לא קיימים. ניתוח של גוף התקשורת העצמאי NOTUS גילה כי לפחות שבעה מהמחקרים שצוטטו בדוח לא פורסמו מעולם, ורבים אחרים סולפו או הוצגו בצורה מטעה. לא ברור אם הדוח נכתב בעזרת "אלזה", אך השימוש בה במוסדות פדרליים הולך ומתרחב.
כמו כן, המערכת נחשבת ל"חסכונית", ועלותה בחודש הראשון עמדה על כ-12,000 דולר. ראש מינהל המזון והתרופות האמריקני, ד"ר מרטי מקארי, הצהיר כי "אלזה" מתקדמת על פי לוחות הזמנים ואף מתחת לתקציב והציג אותה כהצלחה. עם זאת, גורמים ב-FDA טוענים כי מדובר בכלי שעלול לסכן את איכות העבודה המחקרית ולהוביל לאישורים שגויים של תרופות שעלולות להזיק לבריאות הציבור.
הבעיה המרכזית, לדברי הדוח, היא שאין דרך פשוטה לדעת אם הפלט שמפיקה המערכת מדויק. כאשר מבקשים מאלזה לסכם דוח בן 20 עמודים על תרופה חדשה, אין שום ודאות שהסיכום מדויק ושום דרך לדעת אם מידע קריטי – כמו תופעות לוואי חמורות – הושמט. הדרך היחידה לבדוק זאת היא לקרוא את כל המסמך המלא. בנוסף, בבדיקות שנעשו בידי עובדים, שאלות פשוטות כמו "כמה תרופות מסוג מסוים אושרו לילדים?" הניבו תשובות שגויות לחלוטין – למרות שנאמרו בביטחון מלא.
לא ברור מהו תהליך העבודה שמובילה ה-FDA בעת השימוש בבינה מלאכותית, אך קנדי כבר העיד ביוני בפני ועדת משנה של הקונגרס כי הכלי משמש כיום להאצת תהליכי האישור של תרופות חדשות. קנדי, שידוע בעמדותיו הקיצוניות נגד חיסונים, ממשיך לקדם שימוש בטכנולוגיות ניסיוניות ובלתי מבוססות במסגרת מערכות הבריאות הפדרליות.
3 צפייה בגלריה
קנדי העיד בפני ועדת משנה של הקונגרס כי הבינה המלאכותית משמשת כיום להאצת תהליכי האישור של תרופות חדשות
(צילום: Jim WATSON / AFP)
מעבר לכך, קנדי העיד בפני הקונגרס כי הוא שואף שבמהלך ארבע השנים הקרובות כל אזרח אמריקני ישתמש במכשיר רפואי לביש לניטור נתונים בריאותיים. יצוין כי המועמדת של הנשיא טראמפ לתפקיד המנתחת הכללית, ד"ר קייסי מינז, היא הבעלים של חברת "Levels", שמייצרת מכשירים ללבישת ניטור סוכר – גם עבור אנשים שאינם סובלים מסוכרת. לפי מומחים רפואיים, אין כל הצדקה לכך.
"השאלה המתעוררת כעת – בעקבות הדיווחים על הכלי 'אלזה' שהוכנס לשימוש ב-FDA – היא עד כמה נבחנה לעומק אמינותו של הכלי לפני שהוחלט להטמיעו", אומר פרופ' בליצר. "לפי הפרסומים, ישנן טענות שלפיהן מסמכים רשמיים שהופקו בעזרתו כוללים מובאות שמעולם לא פורסמו במציאות. הרשויות מצידן, כמובן, מכחישות את הדברים – אך הספקות ממשיכים לעלות".
ד"ר מקארי הודה בפני CNN כי "אלזה" עלולה לסבול מהזיות – אך לטענתו, זה "אינו שונה" ממערכות בינה מלאכותית אחרות. עם זאת, בפועל מדובר במערכת שאינה מתאימה לשימוש מקצועי, כל עוד היא מייצרת תוכן שגוי באופן עקבי.
תגובת ה-FDA לדוח לא הכחישה את הממצאים, אך טענה כי המידע שפורסם ב-CNN סולף והוצא מהקשרו. לדבריהם, CNN בחרה להתבסס על מקורות לשעבר או כאלו שלא השתמשו בגרסה הנוכחית של המערכת. לסיום נכתב בהודעה: "הדבר היחיד ש'הוזה' כאן הוא הדיווח הכושל של CNN".
