מהנדס בטיחות ב-OpenAI התפטר: "התרבות שבורה"

מהנדס בטיחות ב-OpenAI התפטר עם התראה חמורה

דיוויד רובינסון (David Rubinstein), מהנדס בטיחות ב-OpenAI (OpenAI) שכתב את דוחות הבטיחות הרשמיים לכל מודל גדול של החברה, התפטר השבוע ופרסם מאמר דעה דרמטי בתיקון 13 של "אתלנטיק" (The Atlantic). בהודעתו הוא טוען כי התרבות של OpenAI שבורה וכי החברה מעדיפה מירוץ לפיתוח מודלים גדולים יותר על פני בקרות בטיחות אמיתיות.

מה בדיוק רובינסון אמר?

רובינסון אומר שהוא אישית שקל רבות לא לדבר בעיר. הוא מודה שהוא "משהו של קליש", עובד בטיחות המזהיר בזמן שעוזב את החברה. אך בנקודה זו, הוא אומר, הוא לא יכול להשתיק עוד.

הטיעונים העיקריים שלו:

1. אי-התאמה בעדיפויות: OpenAI סוקלת סיכונים שונים וגדולים יותר (alignment risks) כדי להישאר תחרותית.

2. תרבות של חוסר אחריות: כשיש בעיה בטיחותית, החברה מציעה תיקון מהיר אך לא מטפלת בשורש הבעיה.

3. הגבלות בדיווח: רובינסון אומר שכל דוח בטיחות שהוא כתב היה מחוקק כדי שלא יגיד יותר מדי, מה שהופך את הדוחות לעדכון בלבד, ולא לאזהרה אמיתית.

מה זה אומר לעסקים בישראל?

זוהי נקודה קריטית שלא יכולה להעלם על מנהלים וחברות שמשתמשות בכלים של OpenAI, ובמיוחד בסוכנים:

1. אמון בספק הטכנולוגיה

אם מהנדס בטיחות בתוך החברה אומר שהתרבות שבורה, זה מעלה שאלות על קיום בקרות על סוכני AI. עסקים בישראל שנתנו סוכנים גישה לנתונים רגישים צריכים לשקול:

• האם OpenAI בדקה את האלגוריתמים של סוכנים לפני השקה?
• מה קורה עם מידע שסוכן מטפל בו?
• מה המדיניות כשסוכן חורג מן ההרשאות?

2. ממשל AI בארגון שלכם חייב להיות חזק

פרסומו של רובינסון מעודד מנהלים בישראל לבנות מדיניות AI משלהם שלא מסתמכת רק על הבטחות ספק. דברים שכדאי לבדוק:

• האם יש לכם כפתור כיבוי לסוכן AI?
• מי בדיוק רואה מה הסוכן עושה?
• האם יש רישום מלא של כל פעילותו?

3. מתי להשהות שימוש בכלי

אם אין לכם מדיניות, זה הזמן להכנisו. בתחומים שבהם המידע רגיש במיוחד (חשבונות, משפטי, ממשלתי), כדאי להשהות שימוש בסוכנים מסוגים מסוימים עד שתהיה ביטחון גבוה יותר.

למה זה משנה דווקא עכשיו?

רובינסון התפטר בשבוע שבו עולם ה-AI מדבר על סוכנים אוטונומיים שעובדים לבד כל הזמן. חששו של רובינסון אינו תיאורטי, הוא לגבי סוכנים ספציפיים של OpenAI שכבר בשימוש קיים בשוק.

וה​חשוב ביותר: רובינסון לא אמר "ספק אחר טוב יותר". הוא פשוט אמר "התרבות שבורה". כלומר, בעיית הממשל והבטיחות חודרת לתעשייה כולה.

שורה תחתונה

עסקים בישראל שמשתמשים ב-Claude (Claude), ChatGPT, או בסוכנים של OpenAI צריכים לקחת את הודעת רובינסון ברצינות לא כ"סקנדל" אלא כאזהרה ממוקדת מנוסיון. זה לא אומר להפסיק להשתמש, זה אומר לבנות בקרות חזקות בעצמכם.

קרא עוד על איך לבנות מדיניות AI לארגון שלך, או אם אתה רוצה ליווי מומחה בתהליך הזה, צור קשר.