"אני חושב שאני אחד האנשים שהכי חושש שבסוף, בגלל פנדה, חלילה ילד יקבל את המינון הלא נכון של התרופה או שתתרחש תקלה. אני אמנם חסיד של הטכנולוגיה אבל יחד עם זה אני סופר-מודע לסכנות. ומזה נולדה פנדה – מתוך מטרה למנוע את המצבים האלה".
כך מסביר בשיחה עם ynet ד"ר שי יצחקי, רופא ילדים צעיר במרכז הרפואי לילדים שניידר, ומי שיזם את פיתוחה של PANDA - מערכת מבוססת בינה מלאכותית לסיוע לרופאים בנקודות הכי קריטיות בעבודתם.
באמצעות גרסה מותאמת של ChatGPT, המערכת מחפשת במאגר הפרוטוקולים הרפואיים של בית החולים מסמכים שמנחים רופאים איך לטפל בילדים, אילו בדיקות ואילו תרופות צריך לתת להם ואילו מדדים צריך לבדוק אצלם. אבל יש שאלה שמלווה את פיתוח המערכת מיומה הראשון: האם אפשר לסמוך על AI שיציג אך ורק מידע מהימן ולא הזיות למשל, שעלולות להוביל לתוצאות הרות אסון במקרה הזה.
רעיון מתבקש
הרעיון בבסיס המערכת מתבקש: כשמדובר במאות סוגי טיפולים שניתנים בשניידר, רופא לא יכול לסמוך תמיד על ניסיונו ועל אחת כמה וכמה הרופאים המתמחים. "מתמחה מתחיל בבית חולים צריך להכיר מאות פרוטוקולים", אומר יצחקי, "מתמחים הרבה פעמים לא יודעים אם קיים פרוטוקול לבעיה שהם מתמודדים איתה. בשתיים בלילה רצות הודעות בקבוצות וואטסאפ של המיון – 'מישהו יודע אם יש פרוטוקול לבירור כשל כבדי בילוד? מישהו זוכר? מישהו מצא?', אז הצורך מתחיל שם".
"מתמחים הרבה פעמים לא יודעים אם קיים פרוטוקול לבעיה שהם מתמודדים איתה, אז הצורך מתחיל שם"
"המקום שממנו פנדה נולדה הוא תסכול על כך שיש כלי בשם ChatGPT, שצודק ב-98% מהמקרים, עובר את המבחנים, מקבל ציון יותר גבוה מרוב המתמחים, ועדיין אני לא יכול להשתמש בו כשאני מטפל בילד", אומר יצחקי, "להיות צודק ב-95% מהפעמים זה שווה לאפס מבחינתי".
כך נולד הרעיון של PANDA, ראשי תיבות של Pediatric AI Navigation and Decision Assistance - מערכת מבוססת בינה מלאכותית שניתן יהיה להתייעץ איתה בשפה פשוטה ולקבל מידע. "היא עוזרת לנו לנווט בתוך סל הפרוטוקולים המאוד נרחב שיש לבית חולים גדול כמו בשניידר שמטפל בהרבה מאוד מצבי קצה - מהשתלת כבד ועד טיפול בחסר ברזל", אומר יצחקי.
"בנוסף, המערכת משמשת לתמיכה בהחלטות, כי בסופו של דבר גם אנחנו לא מושלמים. כל הזמן יש פספוסים קטנים שאנחנו רוצים להימנע מהם כדי להגיע לכמה שפחות סיטואציות לא נעימות ומיותרות, כמו למשל לגלות שלא לקחנו בדיקת דם ועכשיו צריך לדקור שוב את הילד, כי לא ידענו בכלל שיש פרוטוקול לדבר הזה".
פיילוט ראשון מסוגו
מדובר בפיילוט ראשון מסוגו בישראל, ואולי בעולם, של הסתמכות על קוד ה-API של OpenAI לשימוש בבינה מלאכותית יוצרת (GenAI) לייעוץ לרופאים, והוא צפוי לשנות את הדרך בה רופאי ילדים מקבלים החלטות טיפוליות בזמן אמת, ליד מיטת המטופל.
כדי למנוע בעיות, פנדה משתמשת רק במידע מפרוטוקולים פנימיים של בית החולים ולא ממאגרי מידע רפואיים מסוימים, לבחירת הרופא. הבעיה העיקרית היא 'לאלף' את ה-AI, לשים סביבו גדרות ביטחון שמרסנות אותו ולא מאפשרות לו לטעות, וזה נעשה באמצעות מתודולוגיה המכונה RAG , בה המידע מועבר ל-AI ביחד עם ההנחיה (פרומפט). כך מוודאים שה-AI יתרכז במשימה ולא יתפזר להמצאות ולהזיות.
הרעיון נולד בהאקטון של מיקרוסופט, זכה בהתעניינות רבה ובהמשך לתמיכה נלהבת גם של כללית חדשנות. "המערכת נולדה לפני שנתיים בניסיון לגשר על פער בשימוש קליני במודלי בינה מלאכותית" אומר יצחקי.
כדי למנוע בעיות, פנדה משתמשת רק במידע מפרוטוקולים פנימיים של בית החולים ולא ממאגרי מידע רפואיים מסוימים, לבחירת הרופא
"עם כל מהפכת ה-GenAI המאוד מרשימה, עדיין רופאים קלינאים מאוד מתקשים לסמוך על AI ולהשתמש בתשובות שהם מקבלים ממנו בגלל האופי הסטטיסטי שלהן. יכול מאוד להיות שב-99.9% מהפעמים הוא יהיה צודק, אבל יכול להיות גם שלא. ובסוף אני כקלינאי רוצה לקבל תשובה שאני עכשיו להוציא לפועל במיון או בטיפול נמרץ. פנדה נולדה בעצם בשביל לתת מענה לפער הזה", הוא מסביר.
מערכות AI קיימות יודעות לנבור במאגרי מידע מכל הסוגים ולהפיק תשובה שנראית מדויקת ומועילה ובמרבית המקרים היא באמת כזו. אבל רופא שמטפל במקרה דחוף לא יכול שתנקר במוחו השאלה אם התשובה שקיבל הייתה מדויקת או מוטעית.
בהתאם, עם פנדה זה עובד אחרת: בשלב ראשון הרופא בוחר מה מקור המידע שהוא מבקש לפנות אליו, כשהמקור העיקרי יהיה הפרוטוקולים של שניידר. בשלב השני הוא שואל שאלה בשפה חופשית וה-AI מחפש את הפרוטוקולים הכי רלוונטיים לשאלה. הוא יציג את התשובה שלו לשאלה ולצידה את הפרוטוקולים שהיא מבוססת עליה. הרופא יכול לוודא שהתשובה מבוססת עליהם.
נכון לעכשיו וכל עוד המערכת נמצא בשלב הבטא, היא נמצאת כל הזמן תחת מבחן למהימנותה. אחד הכלים הוא בנק "תשובות נכונות", המכונה Gold Standards ובו תשובות של רופאים מקצועיים במגוון תחומים.
פנדה אמורה לייצר את התשובות האלה על בסיס המידע שנגיש לה. בדרך הזו, כשמשנים תהליך או מחליפים מודל AI, אפשר לבדוק שפנדה עדיין מגיעה לתשובות הנכונות ושהיא לא מדרדרת להזיות או סתם טעויות. "בחלק מהפרמטרים הביצועים הם מאוד טובים ובחלק עדיין יש מקום לשיפור, אבל זה משהו שאנחנו כל הזמן עובדים על לשפר", אומר יצחקי.
אתיקה ומהימנות בראש
אם יש תחום אחד שזו השימוש ב-AI בתחום הבריאות שונה מכל שאר התחומים הוא היבטי האתיקה והמהימנות. טעויות או הזיות של AI בתחום הבריאות יכולות להביא לטיפול שגוי, ואולי אפילו למוות.
ומערכת הבריאות מרבה לעסוק בשאלות האלה. לפני כמה חודשים נערך כנס של המרכז לרגולציה ומדיניות בינה מלאכותית במשרד החדשנות המדע תחת השם "בינה מלאכותית ברפואה: חדשנות לצד אחריות". פרופ' עידו וולף, ראש בית הספר לרפואה באוניברסיטת תל אביב, סיפר בכנס על התקדמות בעולם בשילוב AI בעבודת הרופא, מערכות שמבצעות חלק מעבודת הרופא בדיוק גבוה יותר ובמהירות רבה יותר ממה שבן אנוש מסוגל.
טעויות או הזיות של AI בתחום הבריאות יכולות להביא לטיפול שגוי, ואולי אפילו למוות
לדבריו, מודלי AI הצליחו לעבור מבחני התמחות בציונים גבוהים מאלף רופאים ישראלים, והראו יכולות גבוהות בסיכום תיקים רפואיים, כתיבת הפניות ובהסבר לחולים. הבעיה נוצרת כשה-AI טועה: מחקר הראה ש-65% מהרופאים לא הבחינו בשגיאות קריטיות בתשובות AI.
גם בבית החולים שניידר עוסקים בשאלות האלה. ד"ר חבצלת ירדן בילבסקי, אחראית על הטיפול התרופתי בשניידר ועל שאלות אתיות הכרוכות בטיפולים, אשר נחשפה לציבור גם כמי שהייתה אחת מצוות הרופאים במחלקת השבים, שם נקלטו הילדים שהיו בשבי החמאס, טוענת כי "כשנחשפתי למיזם של פנדה, ובתור האחראית על הפרוטוקולים בבית החולים, שאלתי המון שאלות על המערכת, כמו למשל אם שאלת שאלה על פרוטוקול מסוים, האם אין חשש שהוא 'ישכח' לציין שיש מצבים שמחייבים מינונים אחרים".
לדבריה, במהלך פיתוח המערכת נתנו מענה לכל השאלות האלה, כשהדרך העיקרית היא הימנעות מהסתמכות על המלצות ה-AI, אלא לאחר בחינת הפרוטוקולים שעליהם הן מבוססות. יצחקי מצידו טוען כי בתהליך הפיתוח הצוות עדיין נתקל במידע שגוי שה-AI נותן. "יש לנו חששות, שלא תבין אחרת. למשל אני חושב על מצב שמתמחים לא יסתכלו על מסמכים, אלא יתרגלו לסמוך על התשובה של ה-AI. אנחנו עוסקים בזה לא מעט".
מה לגבי החשש להטיות כלפי אוכלוסיות מסוימות, כמו למשל המלצה על טיפולים שפחות מתאימים לבנות לעומת בנים? או ערבים לעומת יהודים?
בילבסקי: "מערכת הפרוטוקולים של בית החולים לא בנויה באופן שהיא מבדילה בין אוכלוסיות. יש מעל ל-200 פרוטוקולים בבית החולים, ואני לא מצליחה לחשוב על פרוטוקול שמתייחס לאוכלוסייה או למגדר או למשהו שיכול להוות הטיה מהסוג הזה. הדבר היחיד שיכול להיות זה שהוא ייתן לך תשובה על ילדים, שצריכה להיות שונה במקרה של פגים".
אם מתגברים על בעיות האתיקה, בשלב הבא אפשר לאמן את ה-AI לא רק לענות על בסיס פרוטוקולים, אלא לעקוב אחר טיפולים שבוצעו בפועל והתוצאות שהשיגו ואז אולי להמליץ על דברים שאפילו הפרוטוקולים לא מכילים
יצחקי: "זה נקרא ראיות מבוססות מציאות ((real world evidence - תחום ברפואה שאומר 'בוא נסתכל על מקרים דומים'. נניח ב-20 השנים האחרונות בשניידר, מה קרה עם ילדים שהיה להם תסמינים דומים ומה היו תוצאות הטיפול בתרופה כזו או אחרת.
"זה בהחלט תחום מאוד מעניין אבל הוא עוסק בנתוני מטופלים מסוימים. במערכת הזאת, בגלל שזו הפעם הראשונה שיש הטמעה GenAI, לא רצינו להסתבך עם פרטיות הנתונים, ולכן הלכו לאזור היותר 'רך' של הפרוטוקולים".
"בגלל שזו הפעם הראשונה שיש הטמעה GenAI במערכת כזו, לא רצינו להסתבך עם פרטיות הנתונים, ולכן הלכו לאזור היותר 'רך' של הפרוטוקולים"
המערכת נמצאת בימים אלה בתנופת פיתוח, והיא תציע בקרוב גם גרסת מובייל, שתאפשר לרופאים גישה מהירה מהסמארטפון האישי. לאחר השקתה הרשמית בקרוב, בכוונת כללית חדשנות להפיץ אותה בבתי חולים נוספים בישראל ואולי גם בעולם.
ואולי כדאי בנקודה הזו להזכיר לכל הצוותים שמפתחים מערכות בינה מלאכותית לתחום הרפואה את דבריו של ד"ר אורן אסמן, מנהל המיזם לבינה מלאכותית אחראית ברפואה באוניברסיטת תל אביב, שנאמרו בכנס: "לא כל מה שאפשרי טכנולוגית הוא בהכרח ראוי.
"השאלה העיקרית צריכה להיות כיצד להפוך עקרונות מופשטים כמו אמפתיה, דאגה, מידות טובות או צדק חברתי למרכיבים מעשיים בתכנון של מערכות AI .אחת המטרות היא להימנע משיח חלול שמדבר על אתיקה ללא דרך ליישם אותה, ולבחון כיצד אפשר לעצב מערכות מהימנות במובן העמוק של המילה – לא רק מדויקות, אלא גם מתחשבות במבנים של כוח, הטיה וחולשה חברתית".
