האיש שאחראי על המחקר באופן-איי-איי (OpenAI) כתב בפומבי שהחברה שלו, יחד עם כל מעבדה אחרת, לא פתרה alignment מספיק כדי להמשיך להאיץ במלוא הקצב. הוא גם כתב שתוצאות פנימיות נותנות לו ציפייה חזקה שהקצב הנוכחי יכול להימשך אל תוך שיפור עצמי רקורסיבי. פירקתי מה זה אומר בפועל למי שמריץ AI בארגון.
המדען הראשי של אופן-איי-איי (OpenAI), האיש שאחראי על כיוון המחקר בחברה. ב-6 בספטמבר 2026 הוא פרסם באתר החברה מאמר אישי בשם An Alien Mind, שבו הוא כותב שאף מעבדה לא פתרה alignment וניטור ברמה שמצדיקה להמשיך להאיץ במלוא הקצב.
לא. שום עצירה לא הוכרזה והפיתוח נמשך. מה שקרה הוא שהמדען הראשי של החברה הציב לראשונה בפומבי האטה כאפשרות לגיטימית, וכתב שהוא מצפה ומקווה שהאטות וולונטריות יהפכו לנפוצות בתעשייה.
האיש שעיצב חלק מרכזי ממדיניות ה-AI של בריטניה וארגן את פסגת בטיחות ה-AI של 2023 עובר לאנתרופיק. ולסוכנות שהוא עמד בראשה יש רישיון מסחרי עם אותה חברה. זו לא רכילות פוליטית מלונדון, זו שאלה שכל ארגון שבוחר ספק AI צריך לשאול את עצמו.
המודל שמתכנן ומאמת תוך כדי נכנס לזרימת העבודה של המפתחים, בכל סביבות הפיתוח ובכל המסלולים העסקיים. הנה איך בוחרים אותו בפועל, מה עושים כשהוא לא מופיע ברשימה, ואיך בודקים בעצמכם אם הוא באמת מפחית טעויות או רק מכריז שהוא סיים.
הידעת?
פצ'וקי פותח את המאמר בסצנה אישית: לילה שבילה במשרד באמצע 2023, מהרהר בעובדה המפכחת שנראה בימי חיינו מכונות חכמות מאיתנו באופן משמעותי. זה לא היה חיזוי עתידני על 2100, זו הייתה מחשבה על לוח הזמנים של החיים שלו עצמו.
יאקוב פצ'וקי (Jakub Pachocki) הוא המדען הראשי של אופן-איי-איי (OpenAI), האיש שאחראי על כיוון המחקר בחברה שמייצרת את המודלים שחצי מהעולם משתמש בהם. לפני יומיים (6.9.2026) הוא פרסם באתר החברה מאמר אישי בשם "An Alien Mind". במאמר הזה הוא כותב שהחברה שלו, יחד עם כל מעבדה אחרת בעולם, לא פתרה alignment וניטור ברמה שמצדיקה להמשיך להאיץ במלוא הקצב.
זו לא הודעה של רגולטור, לא עצומה של חוקרים חיצוניים ולא ראיון עוין. זה הכתב הפנימי של הספק, על הבמה של הספק, על המוצר של הספק.
בקצרה: המדען הראשי של אופן-איי-איי כתב שאף מעבדה לא פתרה alignment ברמה שמצדיקה האצה מלאה, שהוא מצפה ומקווה שהאטות וולונטריות יהפכו לנפוצות עד שייקבע רף בטיחות משותף לתעשייה, ושתיאום בינלאומי צריך להיות עדיפות עליונה של ממשלות. במקביל הוא כותב שתוצאות פנימיות נותנות לו ציפייה חזקה שהקצב הנוכחי יכול להימשך אל תוך שיפור עצמי רקורסיבי. אופן-איי-איי לא עצרה שום דבר. מה שהשתנה הוא מה שמותר להגיד בקול.
הסיקור של המאמר: המדען הראשי של אופן-איי-איי קורא לרף בטיחות משותף. קרדיט: Unite.AI
הטענה המרכזית היא משפט אחד: אופן-איי-איי, יחד עם כל מעבדה אחרת, לא פתרה alignment וניטור ברמה שמצדיקה להמשיך להאיץ במלוא הקצב.
שימו לב לניסוח. הוא לא כותב שהמתחרים לא פתרו. הוא לא כותב שהתחום צריך להשתפר. הוא כולל את החברה שלו עצמה בתוך המשפט, ועושה את זה בפרסום רשמי באתר החברה.
מסביב לטענה הזאת יש שתי אמירות מדיניות. הראשונה: הוא מצפה ומקווה שהאטות וולונטריות יהפכו לנפוצות, עד שייקבע רף בטיחות משותף (shared safety bars) לרוחב התעשייה. השנייה: תיאום בינלאומי על פיתוח AI עתידי צריך להפוך לעדיפות עליונה של ממשלות.
המאמר עצמו נפתח בסצנה אישית ולא במניפסט. פצ'וקי מתאר לילה שבילה במשרד באמצע 2023, מהרהר בעובדה המפכחת שנראה בימי חיינו מכונות חכמות מאיתנו באופן משמעותי. זה מסביר את הכותרת: הוא לא מדבר על תוכנה שמתנהגת רע, הוא מדבר על משהו שהחשיבה שלו זרה לשלנו.
כי הוא הופך את השאלה מפילוסופית לתפעולית. פצ'וקי כותב שתוצאות פנימיות נותנות לו ציפייה חזקה שקצב ההתקדמות הנוכחי של אופן-איי-איי יכול להימשך אל תוך שיפור עצמי רקורסיבי (recursive self-improvement), כלומר מערכות AI שמשפרות את היכולת של עצמן להשתפר.
עד היום המונח הזה חי בעיקר בשיח האקדמי ובמאמרי דעה. עכשיו הוא מופיע כציפייה מבוססת נתונים אצל האיש שרואה את התוצאות הפנימיות לפני כולם.
המשמעות המעשית פשוטה: אם כל דור של מודלים מקצר את הדרך לדור הבא, לוח הזמנים שלכם להיערכות מתקצר יחד איתו. הנחות עבודה שנשענות על "יהיה לנו זמן להסתגל בין גרסה לגרסה" הן בדיוק ההנחות שהמשפט הזה מערער.
שימו לב גם למתח שהמאמר יוצר בתוך עצמו. באותו טקסט פצ'וקי אומר שני דברים שלא נוח להחזיק ביחד: הקצב הפנימי מרשים אותו מספיק כדי לצפות לשיפור עצמי רקורסיבי, והבטיחות עוד לא במקום שמצדיק להמשיך להאיץ במלוא הקצב. הוא לא מיישב את המתח הזה, הוא מציג אותו. וזו בדיוק הסיבה שהמסמך מעניין: הוא לא נכתב כדי להרגיע.
כי היא נאמרת נגד האינטרס של מי שאומר אותה. בשנתיים האחרונות שמענו המון אזהרות על AI, ורובן הגיעו מכיוונים שהאזהרה משרתת אותם: אקדמאים שמבקשים מימון מחקר, רגולטורים שמבקשים סמכות, מתחרים שמבקשים להאט את המוביל.
כאן זה הפוך. הכרזה של מדען ראשי שהחברה שלו לא פתרה בעיה מרכזית היא הכרזה שעולה לחברה שלו, לא למישהו אחר. בעולם התקשורתי היא הופכת מיד לכותרת שאפשר לצטט נגד אופן-איי-איי בכל דיון רגולטורי בשנתיים הקרובות. מי שמפרסם משפט כזה יודע את זה מראש.
זה גם מה שהופך אותו לשימושי בשבילכם. לא צריך להאמין לתחזיות, לא צריך לקבל שום עמדה לגבי סיכוני AI, ולא צריך להיכנס לוויכוח על לוחות זמנים. מספיק להתייחס למשפט כאל מידע: הספק הצהיר שהוא לא יכול להבטיח את התנהגות המערכת בכל סביבה. מרגע שהמידע הזה על השולחן, ניהול סיכונים שמתעלם ממנו הוא ניהול סיכונים שלא מעודכן.
רף בטיחות משותף הוא סטנדרט אחיד שכל המעבדות מתחייבות אליו יחד, ולא כל אחת לחוד. ההבדל אינו סמנטי. מעבדה בודדת שמחליטה להאט מטעמי בטיחות משלמת על זה מיד: היא מפסידה נתח שוק, כותרות ומשקיעים למתחרה שלא האטה. רף משותף מבטל את העונש הזה, כי כולם עוצרים באותה נקודה.
זה בדיוק ההיגיון שמסביר למה פצ'וקי מבקש שני דברים באותה נשימה. בטווח הקצר, האטות וולונטריות של שחקנים בודדים. בטווח הארוך, תיאום בינלאומי ברמת ממשלות, כדי שההאטה לא תישאר תלויה ברצון הטוב של מנכ"ל כזה או אחר.
הקריאה הזאת לא מגיעה לחלל ריק. היא מצטרפת למהלך הבינלאומי לקביעת קווים אדומים ל-AI שמתגבש במקביל. מה שמעניין הוא הכיוון: הפעם הלחץ לא בא רק מבחוץ פנימה, אלא גם מבפנים החוצה.
שום עצירה לא הוכרזה. אופן-איי-איי ממשיכה לפתח, להוציא מודלים ולהתחרות. אם ראיתם כותרת שאומרת אחרת, היא לא מדויקת.
מה שקרה כאן עדין יותר ומשמעותי יותר. עד עכשיו האטה הייתה עמדה של ביקורת חיצונית, משהו שאומרים אנשים שלא בונים את הטכנולוגיה. המדען הראשי של המעבדה המובילה הכניס אותה לרשימת האפשרויות הלגיטימיות של מי שכן בונה אותה.
בשוק שבו כל שחקן מנטר כל אמירה של המתחרים, זה מזיז את הגבול של מה שמקובל להגיד. וזה בדיוק למה שווה לקרוא את המסמך הזה כמסמך שוק ולא כמסמך פילוסופיה.
כאן מגיע החלק שבאמת נוגע לכם. אם הספק שמפתח את המודל אומר בעצמו שאי אפשר להבטיח איך המערכת תתנהג בכל סביבה, המסקנה אינה להפסיק להשתמש ב-AI. מי שיפסיק ישלם את המחיר התחרותי המלא ולא יקבל שום ביטחון בתמורה, כי הספקים והלקוחות שלו ימשיכו.
המסקנה הנכונה היא לשנות את תנאי השימוש. עד היום רוב הארגונים בנו את מדיניות ה-AI שלהם על הנחה שקופה אחת: שהמודל יתנהג בערך כמו שהוא התנהג בבדיקה. הצהרה כזאת מהמדען הראשי של הספק הופכת את ההנחה הזאת לבחירה מודעת, וברגע שהיא מודעת צריך גיבוי.
הגיבוי הזה נקרא בקרות. לא הצהרות כוונות, לא נספח למדיניות ולא סעיף בחוזה מול הספק, אלא מנגנונים שרצים בפועל ומגבילים את מרחב הפעולה של המערכת. אלה חמש הדרישות שכל ארגון שמריץ AI על תהליכים אמיתיים צריך להעמיד, וכולן ניתנות ליישום ברמת הארגון בלי לחכות לאף מעבדה:
1. הפרדת הרשאות לפי משימה. סוכן שמסכם פניות לא צריך גישה לאותה מערכת שסוכן שמוציא חשבוניות ניגש אליה. אחת הטעויות הנפוצות היא לתת לסוכן את ההרשאות של המפעיל האנושי שלו, כי ככה נוח. הכלל ההפוך: כל תהליך מקבל את המינימום שהוא צריך כדי לסיים את המשימה שלו, ותו לא.
2. ניטור בזמן אמת, לא דוח חודשי. אם אתם מגלים חריגה כשמישהו פותח קובץ בסוף החודש, המערכת רצה שלושים יום בלי פיקוח. הניטור צריך להיות על מה שהסוכן עושה, לא רק על האם הוא עובד. קריאות ל-API חיצוני, כתיבה למסדי נתונים ושליחת הודעות החוצה הן שלוש הקטגוריות שדורשות התראה מיידית.
3. לוגים מלאים של כל פעולה. לא תמלול השיחה בלבד, אלא מה המערכת קראה, מה היא החליטה ומה היא ביצעה בפועל. בלי זה אין לכם יכולת לשחזר אירוע, וכשמגיעה שאלה מלקוח או מרגולטור אין לכם תשובה. מי שרוצה את הצד המעשי של זה, כתבתי נוהל אירוע AI מלא לארגון: מתי כובים, מי מחליט ומה עושים בשש השעות הראשונות.
4. בדיקות עצמאיות שלא הספק מריץ. הצהרות הבטיחות של הספק הן נקודת פתיחה, לא ראיה. ארגון בוגר בונה סט תרחישי בדיקה משלו, שמשקף את הנתונים והתהליכים שלו עצמו, ומריץ אותו מחדש בכל שדרוג גרסה. הרבה תקלות מתגלות בדיוק ברגע הזה, כשמודל חדש מתנהג אחרת על אותו קלט.
5. אישור אנושי מפורש לכל פעולה רגישה. העברת כסף, מחיקת נתונים, שליחת הודעה החוצה בשם הארגון, שינוי הרשאות. בכל אחת מאלה אדם לוחץ אישור. זה מאט את התהליך בשניות, וחוסך את האירוע שלוקח שבועות לנקות.
מי שלא בטוח איפה הארגון שלו עומד מול חמש הנקודות האלה, סריקת ה-AI המהירה מייצרת תמונת מצב ראשונית תוך דקות, כולל היכן יש חשיפה שאף אחד לא הסתכל עליה.
ההבדל בין ארגון שיש לו מדיניות AI לבין ארגון שיש לו בקרות AI הוא ההבדל בין קובץ וורד לבין קוד שרץ. את ההרשאות, הלוגים ואישורי האדם מישהו צריך לבנות בפועל.
זה בדיוק מה שאנחנו עושים ב**מפגש קלוד קוד**, זום חי ב-16.9.2026 בשעה 21:00, שלוש שעות. בונים מערכת אמיתית מההתחלה, כולל השאלות שמופיעות ברגע שמערכת נוגעת בנתונים אמיתיים: מי מורשה לעשות מה, מה נרשם, ואיפה עוצרים לאישור אנושי. בלי רקע בתכנות.
אני אומר את זה בכנות: שלוש שעות לא הופכות אף אחד למהנדס מערכות. מה שהן כן עושות זה להוריד את הנושא מרמת ההפשטה שבה נכתב המאמר של פצ'וקי אל רמת הכפתורים שאתם שולטים בהם. אחרי זה ההחלטות הארגוניות נעשות הרבה יותר פשוטות, כי אתם יודעים מה בדיוק אפשר לדרוש.
מקורות: המאמר "An Alien Mind" באתר אופן-איי-איי · הסיקור ב-Unite.AI
מצב שבו מערכות AI משפרות את היכולת של עצמן להשתפר, כך שכל דור מקצר את הדרך לדור הבא. פצ'וקי כותב שתוצאות פנימיות נותנות לו ציפייה חזקה שקצב ההתקדמות הנוכחי של אופן-איי-איי יכול להימשך אל תוך התרחיש הזה.
סטנדרט בטיחות אחיד שכל המעבדות מתחייבות אליו יחד, כדי שמעבדה שמאטה מטעמי בטיחות לא תיענש מול מתחרה שממשיכה במלוא הקצב. פצ'וקי כותב שעד שרף כזה ייקבע, הוא מצפה להאטות וולונטריות, ושתיאום בינלאומי על פיתוח AI עתידי צריך להפוך לעדיפות עליונה של ממשלות.
לא להפסיק להשתמש ב-AI, אלא לשנות את תנאי השימוש: הפרדת הרשאות לפי משימה, ניטור בזמן אמת, לוגים מלאים של כל פעולה, בדיקות עצמאיות שלא הספק מריץ, ואישור אנושי מפורש לכל פעולה רגישה. אלה בקרות שמיושמות ברמת הארגון ולא תלויות בהבטחה של אף ספק.
כמעט כל יצרן מודלים גדול הכריז החודש שהוא פותח משהו, והתכוון לקובץ משקולות. IFM עשה משהו אחר: פרסם שישה מודלים ואיתם את נתוני האימון עצמם. פירקתי מה ההבדל בפועל, למי הוא באמת רלוונטי, ולמה לרוב הארגונים בישראל זה עדיין לא ישנה מחר בבוקר.