מכינים את הדף בשבילך
מחקר אבטחה פנימי באמזון חשף חולשה ביכולת ההגנה של מודלי קלוד החדשים. התגלית הובילה את ה-FBI וה-CISA להורות לאנתרופיק להשעות את הגישה למודלים אלה בחו״ל, אפילו לעובדי החברה עצמה. הסוד: מודלים חזקים יותר גם יותר קשים לשלוט בהם.
מחקר אבטחה מאמזון החשיף שקלוד 5 יכול להיות מחוסן כנגד ניסיונות שליטה, בדיוק כמו שברים בקירות ביטחון. הממשלה האמריקאית לא הייתה יכולה להסתכן בכך.
ביום שישי 13 ביוני, אנתרופיק קיבלה הוראה ממשלתית מעת ה-FBI וה-CISA (וכנראה מוגבלות אמריקאיות נוספות). ההוראה הייתה ברורה: השעו את גישתם של כל משתמשים בחו״ל (וגם עובדיכם) למודלי Fable 5 ו-Mythos 5.
החברה פעלה במהירות. בתוך שעות, המודלים החדשים, שהיו לחי דקות קודם לכן, היו אפלים כחדשות מדיום ערב.
על פי דוח ב-Wall Street Journal (שדווח על ידי TechCrunch וThe Verge):
החולשה שאמזון גילתה כנראה קשורה ל-jailbreak vulnerability, טכניקה להוציא AI מן הגדרות הבטיחות שלו. כאשר מודל חזק מאוד (Fable 5 / Mythos 5), קשה יותר להפעיל שליטה עליו בלא לפגוע בביצועיו.
זה סוג של trade-off בתחום AI:
לתשחקנים בעולם: זה אות נח כי ממשלות כבר לא רק מדברות על AI, הן פועלות. קנוניות המגבלות תתחזקנה, והזמינות של כלים חדשים עלולה להיות חסומה בשנייה.
לאנתרופיק: החברה זה עתה איבדה שלוש ימים של הצגה של המודלים החדשים שלה (שהיו אמורים להיות breakthrough). זה מכה לעתיד שלהם.
זה חלק מרחוב גדול יותר:
כשאתם בוחרים כלי AI עבור הארגון, כלא רק על יכולות וציבור, אלא גם על עמידות רגולטורית. מודלים שפועלים בחו״ל עלולים להיות חסומים או מושעים בשנייה.
ראו את המקרה של אנתרופיק כתרגיל: אם תלויים רק ב-Claude, ודברים השתנו בחודש הבא? משתתפים אחרים (OpenAI, Google, Mistral) הם חוסן קריטי.
העובדה שאמזון גילתה חולשה בקלוד 5 מעניינת כי זה מראה שגם החברות המובילות בעולם עדיין מקדחות בעמודי הבטיחות שלהם. עסקים צריכים להיות זהירים.
הקונטקסט: שבוע שעבר, ממשלת ארה״ב כבר הורתה לאנתרופיק להשעות את פייבל 5 ומיתוס 5. עכשיו אנחנו יודעים הסיבה, אמזון זינקה למערכת הבטיחות.
זה חוזר לנושא שדיברנו עליו קודם: כשה-AI מנתח את AI, האם זה אמין? תשובה: לא תמיד. אך כאן, מחקר אבטחה של אמזון היה מספיק כדי להפעיל מנגנון ממשלתי שלם.
הממשלה האמריקאית עדכנה את הנוהל שלה בנוגע לעזרה בינה מלאכותית: חזקים מדי = חסום. לא משנה כמה טובים המודלים, אם הממשלה חושבת שהם סיכון, הם יוצאים מהשחקה.
לאנתרופיק, זה היה הוקע. לאמזון, זה מעלה כוח. לעסקים בעולם, זה פחות מעיד: הרגולציה בוודאות שם יותר בחזקה על כלים חדשים מאשר בעבר.
אם אתם עושים השקעה בAI, עדכנו את תוכניתכם החמש שנתית.
מרצה AI מוביל בישראל, מטמיע בינה מלאכותית בארגונים מ-2021. מייסד LazySEO AI ומכללת צדק אקדמי, מוביל קהילות עם מעל 100,000 חברים. שותף רשמי של Meta, Google, Canva ו-TikTok.
עוד עליי ←