עד לא מזמן, מודלי שפה גדולים (LLMs) , אותם מנועי בינה מלאכותית חכמים שמאחורי צ'אטבוטים כמו ChatGPT, נתפסו ככלי עזר נוח לכתיבת קוד, ניתוח נתונים, ניסוח טקסטים מורכבים ועוד. אולם מחקר חדש ופורץ דרך, שנערך על ידי אוניברסיטת קרנגי מלון בשיתוף עם חברת אנת'רופיק (המפתחת של Claude), מציג תרחיש קודר בהרבה: אותם כלים עצמם עלולים להפוך למבצעים אוטונומיים של מתקפות סייבר מורכבות, ללא כל התערבות אנושית.
2 צפייה בגלריה
רובוט מקליד. מתברר ש-AI מסוגל להוציא לפועל מתקפות סייבר באופן עצמאי
(צילום: shutterstock)
החוקרים בחנו את המודלים לא בתרחישים הפשוטים והמקובלים, אלא בסביבות ריאליסטיות ומאתגרות יותר. עד כה, ניסויי AI בסייבר התבצעו לרוב במסגרת אתגרי "לכבוש את הדגל" (Capture-the-Flag) – משחקים מבוקרים שבהם המודל מחפש מחרוזות טקסט המחקות חולשות אבטחה.
במחקר הנוכחי לעומת זאת, החוקרים הציבו את המודלים בסביבת פעולה מורכבת, חילקו להם תפקידים בתוך מבנה היררכי של סוכנים, והזינו להם הנחיות מדויקות המדמות מתקפה אמיתית.
פריצת אקוויפקס בגרסת AI
כדי לבדוק עד כמה רחוק יכולים המודלים להגיע, החוקרים שיחזרו את אחד מאירועי הסייבר החמורים ביותר בעשור האחרון - פריצת הענק לאקוויפקס (Equifax) בשנת 2017. אותה מתקפה התבססה על פגיעות ידועה בתוכנה המשמשת לפיתוח יישומי אינטרנט. אף שעדכון אבטחה שפורסם היה יכול למנוע את האירוע, החברה לא התקינה אותו בזמן, וכתוצאה נחשף המידע האישי של כ־147 מיליון אזרחים אמריקנים, כולל שמות, מספרי זהות, כתובות ותאריכי לידה.
המודל לא הסתפק בזיהוי הפגיעות: הוא תכנן את כל שלבי המתקפה, פרץ, הפיץ תוכנות זדוניות, ואף חילץ נתונים רגישים. הכול באופן אוטונומי לחלוטין, בלי פקודות ישירות מבני אדם
בתרחיש הבדיקה, המודל קיבל את תנאי הרשת כפי שתועדו בדוחות הרשמיים על המתקפה. הוא לא הסתפק בזיהוי הפגיעות: המערכת תכננה את כל שלבי המתקפה, פרצה, הפיצה תוכנות זדוניות ואף חילצה נתונים רגישים. הכול באופן אוטונומי לחלוטין, בלי פקודות ישירות מבני אדם.
המודל לא צריך להיות מתכנת, הוא צריך להיות המוח
אחת התובנות המרתקות והמטרידות שעלו מהמחקר היא שהמודל כמעט ולא כתב קוד בעצמו. בגישות מסורתיות, רוב העבודה נעשית באמצעות תכנות ישיר או הרצת פקודות מערכת (shell commands), פעולה שרוב המודלים מתקשים לבצע.
כאן, לעומת זאת, ה-LLM שימש כ"מנהל העל" של המתקפה: הוא תכנן את האסטרטגיה, חילק משימות לסוכני משנה, וכל סוכן התמחה בביצוע טכני של חלק מסוים, החל מאיסוף מידע ועד לפריצה והחדרת נוזקות. כך עקפה המערכת את המגבלות המובנות של מודלי שפה.
2 צפייה בגלריה
סם אלטמן, מנכ"ל OpenAI. העולם צועד אל עבר סוכני AI וחברות הענק בתחום דוחפות לכך
(רויטרס)
המשמעות ברורה - גם אם המודל הבסיסי אינו "מתכנת על", הוא יכול להפעיל צבא של סוכנים חכמים שיבצעו עבורו את העבודה ה"מלוכלכת", בצורה מדויקת ויעילה.
מאיום תיאורטי למציאות אפשרית
הניסויים נערכו אמנם בסביבה מבוקרת, אך המסקנות מטרידות: אם מודלי AI מסוגלים לבצע מתקפות סייבר שלמות באופן עצמאי, שחקנים זדוניים יוכלו לנצל אותם להרחבת המתקפות בקנה מידה חסר תקדים, הרבה מעבר ליכולת של צוותים אנושיים.
גם כלי הגנה מתקדמים, כמו תוכנות אנטי-וירוס או מערכות הגנת נקודות קצה (endpoint protection), עלולים להתקשות להתמודד עם סוכנים מסתגלים שמסוגלים ללמוד בזמן אמת, לשנות טקטיקות ולנסות שוב ושוב.
גם כלי הגנה מתקדמים, כמו תוכנות אנטי-וירוס או מערכות הגנת נקודות קצה (endpoint protection), עלולים להתקשות להתמודד עם סוכנים מסתגלים שמסוגלים ללמוד בזמן אמת
אך לצד האיום, יש גם הזדמנות. אותם כלים יכולים לשמש לאיתור חולשות בצורה יעילה יותר, לדמות תרחישי תקיפה אמיתיים ולבחון מערכות הגנה באופן שלא היה אפשרי בעבר. המשך המחקר כבר בוחן איך להפעיל סוכני AI כדי לחסום מתקפות בזמן אמת, ואולי אפילו להקדים את התוקף צעד אחד קדימה.
בשיחה עם ליאור עטרת, מנהל מרכז הסייבר וחטיבת התוכנה של GE Vernova בישראל, ביקשנו להבין עד כמה הקו שמפריד בין שימוש הגנתי להתקפי ב-AI הפך לדק, והאם אנחנו באמת נכנסים לעידן בו הקרב כבר לא מתנהל בין האקר לאנליסט, אלא בין בינה מלאכותית אחת, לבינה מלאכותית אחרת
האם הגענו לשלב בו יש יכולת ללמד LLM לתכנן מתקפות סייבר?
"סה״כ מדבר על הוכחת יכולת די מוגבלת. ברור שבעתיד זה יהיה בשימוש עוין, אבל הדמו הזה הוא יותר של כלי תקיפה שנעזר ב-AI בתהליך שלו. בעצם הכלי הזה שולח נתונים ל-AI (GPT4o, Claude 3.5 וג'מיני), משם הוא מקבל הכוונה ואז מבצע את התקיפה בעצמו.
"בעצם הדרך שהם עוקפים את ההגנות של ה-AI נגד שימוש עוין זה באמצעות ביצוע כל הפעולות העוינות בכלי ייעודי שהם פיתחו. אפשר להתווכח כמה ה-AI הוסיף כאן יכולת חדשה יחסית לתשתית שיודעת לבצע את התקיפה, לסרוק ולתת את כל הנתונים. אבל בעתיד (הלא כזה רחוק) יהיה אפשר לבנות כלי חכם שיוכל לפעול לבד בצורה מבוזרת וזה בהחלט משהו שיעשה כאב ראש".
והרעיון שכלי AI יוכל לנהל אוטונומית מתקפה כזו?
"קשה לבנות כלי כזה שהוא אוטונומי - הוא צריך גישה לאינטרנט בשביל הגישה ל-AI, או להעמיס על המחשב בשביל לבצע משהו מנותק מהאינטרנט. בגלל שבשני המקרים האלו זה יהיה די בולט ברשת ארגונית מתוחזקת, זה יאפשר תקיפה של רשת מנותקת מאינטרנט כמו במקרה של 'נגיעה אחת'. אבל זה יכול לאפשר לתוקף לבזר את התקיפה שלו מהרבה מקומות וככל שהטכנולוגיה תשתפר, גם לבצע את זה בצורה אמינה ובהיקפים גדולים יותר מאשר מבעבר".
המחקר הזה מהווה סוג של הוכחת היתכנות, או שזה לא שם עדיין?
"אני הייתי קורא לזה הדגמת כוונות. נדרש כאן תחכום מאוד גדול של כלי תקיפה אוטומטי שזה משהו מסובך לעשות למערכות מורכבות ובסופו של דבר לא קשור ל-AI. וכמובן שגם ספקי ה-AI מתאימים את עצמם והם יכולים לשפר את הזיהוי של שימוש של הכלי שלהם לפעילות כזאת ולחסום בצורה יותר טובה. כמו תמיד בתחום אבטחת מידע, זה ישאר משחק חתול ועכבר, פשוט (עכשיו) AI יהיה חלק מזה".
