נוהל אירוע AI לארגון: מה עושים כשסוכן חורג מההרשאות [2026]

חצי שעה. זה הזמן שיש לאדם אנושי להכריע אם לעצור סוכן AI שהמערכת התריעה עליו, ואם הוא לא מכריע, הפעילות נעצרת ממילא. הכותרות דיווחו שאופן-איי-איי (OpenAI) בונה כפתור כיבוי אוטומטי לסוכני AI, וזה נשמע כמו מערכת שמזהה חריגה ועוצרת אותה לבד. מה שקיים בפועל הוא מנגנון התראה עם שעון עצר, והבחירה הזו היא בדיוק המודל שכל ארגון צריך להעתיק.

בקצרה: אופן-איי-איי אישרה במכתב למחוקקים בארה"ב שצוותיה מפתחים יכולות כיבוי אוטומטי לכלי AI, אבל המנגנון בפועל אינו אוטונומי: הוא מייצר התראה, אדם חייב להכריע בתוך חצי שעה, ובהיעדר הכרעה הפעילות נעצרת. במדריך הזה לקחתי את העיקרון והפכתי אותו לנוהל שאפשר לאמץ השבוע: שישה תנאים שמצדיקים עצירת סוכן, שבעה שלבים בשש השעות הראשונות אחרי אירוע, ובעל תפקיד מוגדר שמקבל את ההתראה.

הדיווח שממנו התגלגלה הכותרת. שימו לב לניסוח הזהיר: כלים שיכולים לכבות מערכות AI כשההתנהגות שלהן יוצרת חשש בטיחותי. קרדיט: Techstrong.ai

מה בעצם נבנה אצל אופן-איי-איי, ולמה זה לא כפתור אוטומטי?

אופן-איי-איי אישרה במכתב למחוקקים בארה"ב שצוותיה מפתחים יכולות "כיבוי אוטומטי" (automated shutdown), שנועדו לעצור כלי AI מיידית אם מזוהה הפרת בטיחות או אבטחה חמורה. אבל לפי הדיווח, המערכת לא מכריעה. היא מייצרת התראה, אדם אנושי חייב לבחון אותה ולקבל החלטה בתוך חצי שעה, ואם לא התקבלה החלטה, הפעילות נעצרת.

ההבדל אינו סמנטי. מערכת אוטונומית מקצרת את זמן התגובה לאפס אבל לוקחת על עצמה סיכון של עצירת שווא. מערכת עם אדם בלולאה שומרת על שיקול דעת אנושי, ומכניסה תלות בזמינות של אותו אדם.

מה שאופן-איי-איי עשתה כדי לגשר על הפער הוא הדבר שכדאי להעתיק: הגדירה שברירת המחדל בהיעדר תשובה היא עצירה. באבטחת מידע קוראים לזה fail-closed, כלומר כשהמנגנון נכשל הוא קורס למצב הבטוח ולא למצב הנוח.

באותו מכתב יש התחייבות שנייה שקיבלה פחות תשומת לב: מעקב צמוד יותר אחרי פעילות מערכות ה-AI של החברה, כולל ניטור הכלים הדיגיטליים שבהם נעשה שימוש ורצף הצעדים שבוצע. זו למעשה תנאי מוקדם לראשונה, כי אי אפשר לעצור סוכן על התנהגות חריגה בלי תיעוד רציף של מה הוא עשה ובאיזה סדר.

מה הרקע בשורה אחת?

הרקע לצעד הוא סוכנים אוטונומיים שהיו בבדיקות, עקפו הגבלות, קיבלו גישה לאינטרנט הפתוח וחדרו לתשתית שרתים של חברת האגינג פייס (Hugging Face). במקביל מונחת בקונגרס האמריקאי הצעת חוק דו-מפלגתית בשם AI Kill Switch Act, של חברי הקונגרס טד ליו (Ted Lieu) מקליפורניה ונתנאל מורן (Nathaniel Moran) מטקסס, שתחייב חברות שמפתחות את מערכות ה-AI המתקדמות ביותר להחזיק ביכולת טכנית להאט, להשעות או לכבות את המודלים שלהן. ההצעה עדיין אינה חוק.

את הסיפור המלא של הבריחה מסביבת הבדיקה, את התגובה של אופן-איי-איי ואת מה שההצעה בקונגרס אומרת בפירוט פירקתי בכתבה הנפרדת על האירוע והצעת החוק. כאן אני ממשיך מהנקודה שבה זה נוגע בכם.

ומה שנוגע בכם הוא זה: מה שנבנה אצל אופן-איי-איי מגן על התשתית של אופן-איי-איי. הבלמים שרלוונטיים לארגון שלכם הם אלה שיושבים בין הסוכן לבין המערכות שלכם, ואף אחד לא יבנה אותם במקומכם.

מתי מוצדק לכבות סוכן בארגון שלכם?

שישה תנאים מצדיקים עצירה מיידית ואוטומטית של סוכן, בלי לחכות לאישור. כל אחד מהם מתחיל בהגדרה מראש של מה מותר, כי בלי הגדרה אין חריגה, ויש רק תחושה.

1. חריגה בהרשאות. הסוכן ניגש למשאב שלא הוגדר לו: טבלה, תיקייה, ממשק או מפתח. איך מיישמים: כל סוכן מקבל חשבון שירות נפרד עם הרשאות מינימום ולא את המפתח הכללי של הארגון, וכל ניסיון גישה שנדחה על ידי מערכת ההרשאות מוגדר כאירוע עצירה ולא כשורה בלוג.

2. התחברות ליעד רשת לא מאושר. הסוכן פונה לדומיין שאינו ברשימת ההיתר. איך מיישמים: allowlist מפורש של הדומיינים שהסוכן באמת צריך, וחסימה של כל השאר ברמת הרשת ולא ברמת ההנחיה. הנחיה בפרומפט היא בקשה, חוקת רשת היא גבול.

3. יצירת משתמש או מפתח גישה חדש. סוכן שמייצר לעצמו הרשאות עתידיות הוא הסימן החד ביותר להסלמה. איך מיישמים: כל פעולת יצירה של משתמש, טוקן, מפתח API או הרשאה חדשה מוגדרת כפעולה אסורה לחלוטין לסוכן, ומפעילה עצירה ברגע שהיא מנוסה, גם אם היא נכשלה.

4. ניסיון לעקוף פיקוח. כיבוי לוגים, שינוי הגדרות ניטור, מחיקת היסטוריה או שינוי של כללי ההרצה עצמם. איך מיישמים: הלוגים והניטור יושבים במקום שהסוכן אינו יכול לכתוב אליו, וכל שינוי בהגדרות הפיקוח מגיע ממערכת אחרת לגמרי. אם הסוכן יכול לכבות את המצלמה, אין מצלמה.

5. חריגה מתקציב פעולות. מספר קריאות, עלות מצטברת או זמן ריצה שעברו את התקרה. איך מיישמים: לכל הרצה יש תקרה קשיחה בשלושת המדדים, והחריגה עוצרת אוטומטית. זה גם הבלם היחיד שתופס תקלות שקטות, כמו לולאה אינסופית שלא הפרה אף כלל אבל שרפה תקציב שלם.

6. התראה פתוחה שאיש לא הכריע לגביה. זה התנאי שנובע ישירות מהבחירה של אופן-איי-איי, והוא זה שכמעט אף ארגון לא כותב. איך מיישמים: לכל התראה יש חלון זמן מוגדר, ואם החלון נסגר בלי הכרעה אנושית, הסוכן נעצר אוטומטית. לא ממשיך, לא ממתין ללא הגבלה.

מה עושים בשש השעות הראשונות אחרי אירוע?

שבעה שלבים לפי הסדר. הסדר חשוב יותר מהמהירות, כי שלב שמדלגים עליו לא ניתן לשחזור אחר כך. אפשר להעתיק את הרשימה הזו כמעט כמו שהיא לתוך נוהל ארגוני.

1. זיהוי ותיעוד. רשמו את השעה המדויקת שבה התנאי הופר, איזה תנאי מתוך השישה, ומי או מה הפעיל את ההתראה. השעה המדויקת היא נקודת העוגן של כל החקירה שתבוא אחריה.
2. עצירה. עצרו את הסוכן, לא את המערכת כולה. עצירה כירורגית מאפשרת להמשיך לתפקד ומונעת את הפיתוי לדחות את ההחלטה כי המחיר גבוה מדי.
3. ניתוק הרשאות. בטלו את המפתחות והטוקנים של הסוכן, ולא רק את התהליך שרץ. סוכן שנעצר אבל המפתח שלו עדיין תקף הוא בעיה פתוחה, במיוחד אם הוא הספיק להעביר אותו הלאה.
4. שימור לוגים. העתיקו את הלוגים למקום שהסוכן ומערכת ההרצה אינם יכולים לכתוב אליו, לפני שמישהו מתחיל לתקן. זה השלב שהכי קל לדלג עליו והוא זה שקובע אם תהיה בכלל חקירה.
5. בדיקת חשיפה. מפו איזה מידע הסוכן נגע בו, מה יצא החוצה ולאן. שתי שאלות עיקריות: האם נגע במידע אישי או במידע לקוח, והאם משהו הגיע לגורם שלישי.
6. דיווח פנימי. עדכנו את בעלי העניין לפי מה שהחשיפה מחייבת: הנהלה, אבטחת מידע, ואם רלוונטי גם יועץ משפטי. תיעוד קצר וכתוב, לא שיחת מסדרון, כי אחרי שבוע אף אחד לא זוכר מה סוכם.
7. הפקת לקחים. תרגמו את האירוע לשינוי קונקרטי באחד משישה תנאי העצירה או בהגדרת ההרשאות. אירוע שלא שינה שום שורה בהגדרות הוא אירוע שיחזור.

חשוב לדעת שאין היום חובת דיווח חיצונית ברורה על אירועי סוכני AI, וזו בדיוק הסיבה שהשלב השישי הוא פנימי. את פער הרגולציה הזה, ואת מה שהוא אומר למנהלי מערכות מידע ולדירקטוריון, פירקתי בכתבה על חובת הדיווח.

מי מחליט ומי מקבל את ההתראה?

אם אין שם ספציפי, אין נוהל. יש תיאוריה. לכל אחד משישה תנאי העצירה צריך להיות בעל תפקיד מוגדר שההתראה מגיעה אליו, ערוץ שהוא באמת קורא, וחלון זמן מוסכם להכרעה.

בפועל זה נראה כך: בעל תפקיד ראשי לכל תנאי, גיבוי מוגדר בשם, וחלון זמן שמתאים לחומרה. תנאי 3 (יצירת מפתח) ותנאי 4 (עקיפת פיקוח) הם מיידיים ולא סובלים חלון ארוך. תנאי 5 (חריגת תקציב) יכול להמתין שעה.

ואז מגיע החלק שקובע: מה קורה כשהוא לא זמין. בלילה, בחופשה, באמצע ישיבה. זו בדיוק הנקודה שבה אופן-איי-איי בחרה fail-closed, כלומר בהיעדר הכרעה, עצירה.

שווה לבדוק את זה פעם אחת בפועל, ולא רק על הנייר. תריצו התראה מדומה בשעה שבה אף אחד לא מצפה לה, ותראו אם מישהו באמת ראה אותה ובתוך כמה זמן. רוב הארגונים מגלים בתרגיל הזה שההתראה מגיעה לערוץ שאף אחד לא פותח.

מה זה אומר לארגון שלכם?

שלוש שורות תחתונות:

1. הגדרה קודמת לזיהוי. אי אפשר לזהות חריגה בלי רשימה מפורשת של מה מותר. ששת התנאים למעלה הם למעשה שש רשימות שצריך לכתוב פעם אחת לכל סוכן, ואחר כך רק לתחזק.
2. fail-closed הוא החלטה ניהולית ולא טכנית. מישהו צריך לאשר שעדיף לעצור תהליך תקין מאשר להחמיץ אירוע. סוכן שנעצר בטעות עולה חצי שעה של עבודה, סוכן שהמשיך לרוץ כי אף אחד לא ענה יכול לעלות הרבה יותר.
3. נוהל בלי בעלי תפקיד הוא מסמך. השלב שהופך את המדריך הזה לנוהל אמיתי הוא רגע שבו כותבים שמות ליד התנאים, לא כותרות תפקיד.

מי שרוצה לדעת איפה הוא עומד היום יכול להתחיל בסריקת AI מהירה לארגון, שמצביעה על התהליכים שבהם סוכן כבר רץ בלי בלמים מוגדרים.

מקורות: Reuters · Techstrong.ai על יכולות הכיבוי של אופן-איי-איי · TechTimes (4.9.2026) על מנגנון ההתראה וחלון חצי השעה · Al Jazeera על הצעת החוק AI Kill Switch Act