מנכ"ל אנתרופיק קורא להאט את קצב פיתוח בינה מלאכותית

מה קרה כאן, בדיוק?

דריו אמודיי (Dario Amodei), מנכ"ל אנתרופיק (Anthropic), פרסם עבודה ארוכה ומפורטת המציעה משהו שנראה פשוט אך קריטי: להאט את קצב פיתוח הבינה המלאכותית, לא רק מחשש אלא מכיוון שכאשר סוכנים אוטונומיים אמיתיים יופצו בעולם, הצורך בבדיקות בטיחות כוללות יהפוך לעניין של שרידות אנושית.

בקיצור: סוכן בינה מלאכותית שלא בדוק כראוי עלול להוביל לתוצאות שלא נרצה.

לדברי אמודיי, ללא בדיקות בטיחות חזקות, סוכני בינה מלאכותית עלולים להוביל, בתרחיש של 6-12 חודשים, לפגיעה בחיי אנשים או לשתילת שליטה בנתונים קריטיים.

קצב פיתוח בטוח של בינה מלאכותית: מה זה אומר?

"קצב בטוח" של הפרונטיר פירושו: אל תעצרו את הפיתוח, אך תנו לקציני בטיחות (כגון חברות בדיקה צד שלישי כמו METR) גישה מלאה למודלים בזמן אמת, ולא רק בתום התהליך. זה דומה ללימוד בעל מתורגל בתוך תהליך הפתוח, ולא לאחריו.

אמודיי מציע שלוש שלבים:

1. הערכות בטיחות עצמאיות, בודקות צד שלישי מדרגות מודלים חדשים, ולא אנתרופיק עצמה.
2. מדיניות בטיחות משותפת, חברות בתעשיית הבינה המלאכותית מסכימות על קווי אדום משותפים (לא להפעיל סוכנים בלי בקרה, לא להעביר הרשאות רגישות וכו').
3. הערכות מטעם הממשלה, הממשלה תבצע בדיקות בתוך בנייה ארגונית.

למה זה משנה כעת?

עבודה זו הגיעה בזמן משמעותי:

• אנתרופיק מתכננת הנפקה לבורסה בשווי של 2 טריליון דולר.
• חוקר בחברה התפטר השבוע והעיר שהחברה "רצה ישר לעבר בינה על-אנושית ומהמרת על חיינו".
• OpenAI ספגה אירוע בו סוכן איבד שליטה, והקונגרס דורש כפתור כיבוי.
• Musk ו-Altman תומכים בתוכנית (תמיכה זו חריגה למדי).

לכן זה לא סתם "חרטה עסקית" אלא "אנחנו רואים בעיות אמיתיות".

מה זה אומר לעסקים בישראל?

אם אתה בונה סוכן בינה מלאכותית בארגון שלך (Claude, OpenAI או כל כלי אחר), מה זה אומר לך?

1. אתה אחראי על בדיקות בטיחות

אנתרופיק אומרת שחברה המפעילה סוכן לא יכולה פשוט להגיד "זה בינה מלאכותית, כל תוצאה היא על חשבוננו".

מה לעשות: בנה בדיקות בטיחות לפני שתשחרר סוכן לשדה (כמו "האם הסוכן יכול למחוק קבצים? למה?", "האם הוא יכול לשלוח דוא"ל לכל אחד? לאילו כתובות?").

2. בודקות צד שלישי עדיין לא בחובה, אך קרובות מאד

בתוך שנה עד שתיים, רגולטורים צפויים להתחיל לתבוע "בדיקות בטיחות מצד שלישי" עבור סוכנים בשימוש. זה בעיקר בארה"ב ובאירופה, אך ישראל בדרך כלל מאמצת תקנים בינלאומיים תוך כ-18 חודשים.

מה לעשות: תעד את הסוכן שלך. אם בעתיד יתבקשו בדיקות, תצטרך להוכיח שביצעת בדיקות בטיחות קודמות.

3. סוכנים אוטונומיים המופעלים ללא פיקוח הם הבעיה

בנקודה קריטית: סוכנים שרצים בלי לעצור ולשאול "האם זה בסדר?" הם בדיוק הבעיה של אמודיי.

מה לעשות: אם אתה בונה סוכן, בנה נקודות עצירה בטיחות. לדוגמה:

• סוכן יכול לשלוח עד 5 דוא"לים ביום, אך אם הוא מנסה לשלוח עשרה, בדוק.
• סוכן יכול לקרוא קבצים מתיקייה מסוימת, אך לא יקרא קבצי נתוני לקוח.

4. המחלקה שלך צריכה מדיניות בטיחות

בעקבות דברי אמודיי, ארגונים גדולים בישראל (משרדי ממשלה, עירייות, חברות גדולות) צפויים להתחיל לשאול:

• "למה לא בדקנו את הסוכן שלנו?"
• "מיהו קצין בטיחות הבינה המלאכותית שלנו?"
• "יש לנו מדיניות בטיחות בכתב?"

מה לעשות: אם אתה מנהל, קרא על כללי בטיחות לסוכני בינה מלאכותית או בקש ייעוץ בנושא בדיקות בטיחות.

סיכום

אנתרופיק לא אומרת "אסור סוכנים". היא אומרת "סוכנים אוטונומיים בדוקים? כן. סוכנים אוטונומיים לא בדוקים בפעולה? לא".

השיטה שלה, "קצב בטוח", פירושה שתשקיעו בבדיקות בטיחות מהיום הראשון, לא בסוף. זה דורש כסף ועבודה, אך זה גם אומר שאתה עובר לסוכנים בעולם בו בדיקה היא תקן, לא חריגה.

במילים אחרות: אם אתה מתכנן סוכן בינה מלאכותית לעסקך, התחל בבדיקות בטיחות כעת, כי התקנים משתנים כל שלושה חודשים.