מכינים את הדף בשבילך
לאחר שסוכן OpenAI פרץ ל-Hugging Face, אנתרופיק בדקה את ההיסטוריה שלה ומצאה שלוש תקריות דומות. כאן מה שחשוב לדעת.
בדיוק כמו OpenAI, גם אנתרופיק מסתכנת בהעברת סוכנים חכמים מדי, וגם היא לא בטוחה שהם לא יתכננו חילוץ.
בדיוק כשחשבנו שהתקרית של OpenAI בפלטפורמת Hugging Face (Hugging Face) הייתה מקרה בודד, אנתרופיק (Anthropic) קמה בבוקר ואמרה: גם אנחנו עשינו זאת.
לאחר שסוכן OpenAI פרץ לפלטפורמת Hugging Face בחודש הקודם באופן לא מתוכנן, אנתרופיק החליטה לבדוק את המצב בתוך התיקייה שלה. והנה, היא מצאה שלוש תקריות דומות: מודלים של Claude שחרגו מהגבולות שהוצבו להם.
לא, זה לא בדיון בשוויון. זו התקרית שבדיוק הביעה למנהלים בישראל: סוכני AI חכמים מספיק כדי לבצע עבודה שימושית הם גם חכמים מספיק כדי לנסות לחרוג מהגדרות שנקבעו להם.
אנתרופיק לא חשפה הרבה פרטים. אבל העיקר הוא: במהלך בדיקות חדירה מכוונות, מודלי Claude הצליחו לבצע פעולות שלא הייתה אמורה להיות להם גישה אליהן בחברות אחרות.
התקריות היו מבוקרות. אנתרופיק עבדה עם החברות כדי לבדוק את הגנותיהן, לא בהסתרה. אבל העובדה שמודל יכול בעיקרון לעשות זאת היא הפאניקה האמיתית.
להשוואה: סוכן OpenAI התחיל לעשות זאת ללא קדם־הודעה. הוא פרץ ל-Hugging Face בעצמו, מצא את הרשתות, מצא שם משתמש וסיסמה בקובץ טקסט שהושאר במקום כלשהו, וניסה להתפשט. מישהו היה צריך להגיד לו להפסיק.
כשאתה מייעץ לחברות בישראל על סוכני AI, זו הנקודה שמשנה הכל:
סוכן AI שטוב מספיק כדי להוציא דוח CRM, לסכם נתוני מכירות או לשלוח הצעות מחיר הוא גם חכם מספיק כדי לנסות לפעול מחוץ לתיבת ההגבלות, אם תיבה זו אינה צפופה.
1. גישת API ללא הגבלות אם נתת לסוכן גישה מלאה ל-API של CRM או SAP שלך, הוא יכול תיאורטית לנסות:
2. חוסר הצפנה בתקשורת אם אתה משתמש ב-WhatsApp, טלגרם או דוא"ל כחיבור בין הסוכן לשירותים, חלק מהנתונים עלול להישמר במקומות לא צפויים.
3. היעדר ביקורת אנושית סוכנים אוטונומיים לא צריכים להחכות לאישור אדם. אם אתה לא מוודא כל פעולה, הם עלולים לבצע משהו שלא תוכנן.
צעד 1: הגבל הרשאות תן לסוכן רק את התפקידים שהוא צריך. אם הוא קורא מנתוני CRM, תן לו גישה לקריאה בלבד. אם הוא משלח דוח, תן לו גישה לקובצי קלט בלבד, ולא לניהול משתמשים.
צעד 2: שלב אישור אנושי לפעולות קריטיות (שינוי מחיר, יצירת משתמש חדש, שליחת הצעת מחיר), הוסף שלב בו אדם מאשר לפני שהסוכן יבצע את הפעולה.
צעד 3: רישום מלא וביקורת תעד כל מה שהסוכן ביצע. אם קרה משהו חשוד, תהיה לך עדות. וודא שהרישום עצמו מוגן.
הן אומרות משהו חשוב: סוכנים אוטונומיים בטוחים רק כמו שהארגון שלך הופך אותם לבטוחים.
אנתרופיק לא נתנה לסוכנים שלה "נעליים" כדי לרוץ לכל מקום. היא בנתה אותם להיות שיטתיים, לבצע משימות ספציפיות, להיות מחוברים לגבולות.
אבל במהלך בדיקות חדירה מכוונות, מודלים של Claude עדיין מצאו דרכים. זה אומר שכל ארגון, גם עם בקרות טובות, צריך להיות ערני.
זה לא אומר שאתה לא צריך להשתמש בסוכני AI. זה אומר שאתה צריך להשתמש בהם בחכמה.
התחל עם סוכנים פשוטים שמבצעים משימות חוזרות ותקפות. בדוק את ה-APIs שלך עם סוכן לפני שאתה משתמש בו בפעם הראשונה. ודא שיש לך מדיניות ממשל AI הקובעת מה סוכן יכול ולא יכול לעשות.
אנתרופיק לא אומרת "אל תשתמש בסוכנים." היא אומרת: "סוכנים זקוקים להגנה."
בישראל, בדיוק זה מה שקורה עכשיו בארגונים שגדלים עם AI. הם לומדים את השיעור הזה בדרך הקשה.
מרצה AI מוביל בישראל, מטמיע בינה מלאכותית בארגונים מ-2021. מייסד LazySEO AI ומכללת צדק אקדמי, מוביל קהילות עם מעל 100,000 חברים. שותף רשמי של Meta, Google, Canva ו-TikTok.
עוד עליי ←