מכינים את הדף בשבילך
מנכ״ל אנתרופיק אומר שה-AI משתנה בקצב מחריד, וצריך לשמור על בדיקות בטיחות בקצב הפיתוח, או נחסל את עצמנו.
אנתרופיק טוענת שללא בדיקות בטיחות מאומתות, סוכני AI עלולים להוביל להשמדת אדם תוך 6-12 חודשים, ולא זה שקרי מעיתון טבלואיד.
דריו אמודיי (Dario Amodei), מנכ"ל אנתרופיק (Anthropic), פרסם עבודה ארוכה ומפורטת המציעה משהו שנראה פשוט אך קריטי: להאט את קצב פיתוח הבינה המלאכותית, לא רק מחשש אלא מכיוון שכאשר סוכנים אוטונומיים אמיתיים יופצו בעולם, הצורך בבדיקות בטיחות כוללות יהפוך לעניין של שרידות אנושית.
בקיצור: סוכן בינה מלאכותית שלא בדוק כראוי עלול להוביל לתוצאות שלא נרצה.
לדברי אמודיי, ללא בדיקות בטיחות חזקות, סוכני בינה מלאכותית עלולים להוביל, בתרחיש של 6-12 חודשים, לפגיעה בחיי אנשים או לשתילת שליטה בנתונים קריטיים.
"קצב בטוח" של הפרונטיר פירושו: אל תעצרו את הפיתוח, אך תנו לקציני בטיחות (כגון חברות בדיקה צד שלישי כמו METR) גישה מלאה למודלים בזמן אמת, ולא רק בתום התהליך. זה דומה ללימוד בעל מתורגל בתוך תהליך הפתוח, ולא לאחריו.
אמודיי מציע שלוש שלבים:
עבודה זו הגיעה בזמן משמעותי:
לכן זה לא סתם "חרטה עסקית" אלא "אנחנו רואים בעיות אמיתיות".
אם אתה בונה סוכן בינה מלאכותית בארגון שלך (Claude, OpenAI או כל כלי אחר), מה זה אומר לך?
אנתרופיק אומרת שחברה המפעילה סוכן לא יכולה פשוט להגיד "זה בינה מלאכותית, כל תוצאה היא על חשבוננו".
מה לעשות: בנה בדיקות בטיחות לפני שתשחרר סוכן לשדה (כמו "האם הסוכן יכול למחוק קבצים? למה?", "האם הוא יכול לשלוח דוא"ל לכל אחד? לאילו כתובות?").
בתוך שנה עד שתיים, רגולטורים צפויים להתחיל לתבוע "בדיקות בטיחות מצד שלישי" עבור סוכנים בשימוש. זה בעיקר בארה"ב ובאירופה, אך ישראל בדרך כלל מאמצת תקנים בינלאומיים תוך כ-18 חודשים.
מה לעשות: תעד את הסוכן שלך. אם בעתיד יתבקשו בדיקות, תצטרך להוכיח שביצעת בדיקות בטיחות קודמות.
בנקודה קריטית: סוכנים שרצים בלי לעצור ולשאול "האם זה בסדר?" הם בדיוק הבעיה של אמודיי.
מה לעשות: אם אתה בונה סוכן, בנה נקודות עצירה בטיחות. לדוגמה:
בעקבות דברי אמודיי, ארגונים גדולים בישראל (משרדי ממשלה, עירייות, חברות גדולות) צפויים להתחיל לשאול:
מה לעשות: אם אתה מנהל, קרא על כללי בטיחות לסוכני בינה מלאכותית או בקש ייעוץ בנושא בדיקות בטיחות.
אנתרופיק לא אומרת "אסור סוכנים". היא אומרת "סוכנים אוטונומיים בדוקים? כן. סוכנים אוטונומיים לא בדוקים בפעולה? לא".
השיטה שלה, "קצב בטוח", פירושה שתשקיעו בבדיקות בטיחות מהיום הראשון, לא בסוף. זה דורש כסף ועבודה, אך זה גם אומר שאתה עובר לסוכנים בעולם בו בדיקה היא תקן, לא חריגה.
במילים אחרות: אם אתה מתכנן סוכן בינה מלאכותית לעסקך, התחל בבדיקות בטיחות כעת, כי התקנים משתנים כל שלושה חודשים.
מרצה AI מוביל בישראל, מטמיע בינה מלאכותית בארגונים מ-2021. מייסד LazySEO AI ומכללת צדק אקדמי, מוביל קהילות עם מעל 100,000 חברים. שותף רשמי של Meta, Google, Canva ו-TikTok.
עוד עליי ←