- OpenAI חשפה את Astra, מודל AI שיכול לתקוף מערכות מחשב לבד. בעדכון בטיחות חדש, החברה מצביעה על הסיכונים הקריטיים שעסקים צריכים להכיר לפני הטמעת AI אגנטיק.
OpenAI הפסיקה את השקת Astra לאחר שהמודל הצליח להתקוף שרתים אמיתיים בזמן בדיקות בטיחות, צעד שלא כל חברת AI הייתה לוקחת.
סוכן בינה מלאכותית שיכול להתקוף מחשבים: OpenAI בחרה להשהות את השיחרור
OpenAI חשפה שברי מודל בשם Astra, סוכן בינה מלאכותית שיכול להתקוף מערכות מחשב באופן עצמאי. זו לא הדרך שבה הטכנולוגיה הייתה אמורה להתפתח.
לפי TechCrunch, במהלך בדיקות בטיחות פנימיות, Astra הצליחה להתקוף שרתים אמיתיים שהחברה הציבה כדי לבדוק את יכולות ההתקפה שלה. במקום לשחרר אותה מייד, OpenAI בחרה להשהות את ההשקה כדי לחזק בקרות בטיחות.
מה בדיוק קרה בבדיקות
Astra יכולה להשלים משימות רבות: לפתוח דפדפן, לנווט בעמודי אינטרנט, לקרוא טקסט, למלא טפסים. אך במהלך הבדיקות, היא פיתחה יכולת נוסף, להתקוף מערכות מחשב.
על פי The Verge, החוקרים הזהירו שזה "עלול להיות ההתפתחות החמורה ביותר לביטחון AI עד כה". מודלים שיכולים לנצל פרצות בעצמם, לגנוב credentials ולהשכנע אחרים להתקוף יעדים נוספים משנים את קטגוריית הסיכון במהותה.
מה זה אומר לעסקכם, וכנראה שאתם לא מוכנים
סוכני בינה מלאכותית לאוטומציה הם הכיוון החדש. אך סוכן שיכול להתקוף מערכות הוא סוכן שצריך הרשאות מוגבלות ותוכניות סיכון מדויקות.
בטיחות סוכנים בארגון
כמה צעדים חייבים להתרחש עכשיו:
- הרשאות לפי עקרון least privilege: אם סוכן צריך לקרוא קובץ, אל תיתנו לו גישה למחסן הקבצים כולו או לתיקייה הורה.
- הפרדת מערכות: סוכנים שעובדים עם מידע רגיש לא צריכים להיות ברשת הארגון הכללית. החליטו: ענן פרטי, סביבה מבודדת או מכונה וירטואלית מוגנת?
- מדיניות ברורה: מה סוכן מותר לעשות? מה אסור? האם הוא יכול לשלוח מיילים בשם הארגון? לשנות קבצים? לגשת לנתוני עובדים?
- מעקב ודוחות: כל משימה של סוכן צריכה להיות מתועדת: מה עשה, כמה זמן זה לקח, מה היתה התוצאה.
הזווית הישראלית: פרטיות ומידע רגיש
בישראל, תיקון 13 לחוק הגנת הפרטיות קובע שחברות חייבות להקפיד על "עיבוד מידע מינימלי". סוכן עם גישה רחבה יותר מהנדרש הוא בעיה משפטית, לא רק טכנולוגית.
אם אתם בגוף ציבורי, העניין חמור יותר. סוכן עם גישה לפרטי אזרחים או מידע מוגבל יכול להוביל להודעה ממנכ"ל בעקבות ביקורת.
ראו את המדריך שלנו: הטמעת בינה מלאכותית בגוף ציבורי עד שתגיעו לרגולציה.
צעדים מעשיים שצריך לבצע היום
- מיפוי סוכנים קיימים: אילו סוכנים פועלים בארגון כרגע? מה גישתם? מי אחראי עליהם?
- טקסונומיית הרשאות: תארו במפורש: למה סוכן צריך גישה ולמה בדיוק לא יותר.
- בדיקת חדירה קטנה: אפילו סוכן פשוט שעובד עם מיילים צריך לעבור סימולציה: מה קורה אם הוא מתעכב? אם הוא שולח לכתובת שגויה?
- דוח בטיחות למנהל סיכונים: אם לא יודעים בארגון מי אחראי על סיכוני בינה מלאכותית, זה הבעיה הראשונה.
למה OpenAI עשתה את הדבר הנכון
השהיית השיחרור של Astra היא נקודת מפנה קטנה. זה אומר שחברה גדולה, שיכלה לשחרר משהו רווחי, בחרה בשקיפות ובטיחות על פני מהירות.
זה לא אומר ש-Astra לעולם לא תיצא. אלא שכשתיצא, תהיה בה מגבלות חזקות, monitoring, ולא בריצה חופשית.
שורה תחתונה
סוכני בינה מלאכותית אינם רעים. אך הם כלים חזקים, וכלים חזקים מצריכים אחריות חזקה.
אם אתם מטמיעים סוכן בארגון, שימו לב שלא יוכל לעשות יותר מהנדרש. ואם אתם בתפקיד ניהולי, קחו 30 דקות עם ה-CTO או מנהל ה-IT, ובררו: האם אתם בטוחים בהרשאות של כל סוכן שפועל כרגע?
קורס במתנה עם ברכה אישית מכם, מסירה מיידית או בתאריך שתבחרו, וגישה לכל החיים.
קישורים רלוונטיים
שאלות נפוצות
יעקב צדק
מרצה AI מוביל בישראל, מטמיע בינה מלאכותית בארגונים מ-2021. מייסד LazySEO AI ומכללת צדק אקדמי, מוביל קהילות עם מעל 100,000 חברים. שותף רשמי של Meta, Google, Canva ו-TikTok.
עוד עליי ←