סמית' בנקס: תעשיית ה-AI לא ראויה לאמון

כרטיס הביקורת של קרפ על תעשיית ה-AI

אלכס קרפ (Alex Karp), מנכ"ל חברת פלנטיר (Palantir), אינו משחק מילים כשמדובר בחברות ה-AI החדשות. בשבוע שעבר, לאחר שדיווחה על רווח נקי של מיליארד דולר ברבעון, הוא חזר לנושא המאיים על כל משקיע בבינה מלאכותית: חוסר אמון.

הביקורת שלו אינה כללית. קרפ מצביע על מצב קונקרטי: חברות ה-AI בדור הראשון של מודלים גנרטיביים, בהן OpenAI (OpenAI) ו-Anthropic (Anthropic), מסרבות לחשוף כיצד עובדים המודלים שלהן. הן אינן עדכנות ביתר שקיפות על כישלונות שלהן, והן מוכרות לארגונים כלים שעדיין לא הוכחו להשימוש מלא.

למה זה חוד משונן עבור ארגונים

כאשר חברה בישראל מחליטה להטמיע Claude או ChatGPT לניתוח נתונים, כתיבת דוחות או אפילו עיבוד שאילתות ממערכות ERP, היא מבססת את ההחלטה על מודל בקופסה שחורה (black box). אנחנו אינם יודעים:

• כיצד המודל מחליט? למשל, בחר שדה מס חשבון מתוך 500 שדות. על סמך מה?
• כיצד הוא התנהג על נתונים דומים בעבר? אנחנו מקבלים רק את התוצאה האחרונה.
• מה הסיכון שהוא יצא מהמסגרת בצורה בלתי צפויה? OpenAI גילתה שחודשיים קודם לכן שהמודלים שלה התנהגו שלא כמתוכנן במערכות מסוימות.

פלנטיר, לעומת זאת, בנתה את מודל הפעילות שלה על דבר אחר: דיוק בקרה וגלוי של התהליך. זו גם הסיבה לכך שהשיגה רווח של מיליארד דולר בשנה שבה שאר תעשיית ה-AI כמעט לא הרוויחה כלום.

מה כל מנהל צריך לדעת

קרפ מתאר את חברות ה-AI הגדולות כ"עקוביות למודלים", משום שהן מאמינות שהעתיד שלהן תלוי בגודל, לא בערך. ככל שהמודל גדול יותר וככל שכמות הנתונים גדולה יותר, כך טוב יותר, גם אם אנחנו אינם מבינים מדוע.

הנתונים משכנעים:

1. 58,000 סטודנטים בטיוואן (Taiwan) קיבלו ציון אפס בבחינה שהשגחה עליה בינה מלאכותית בגלל בדיקה שגויה של הלוגיקה. זו אינה טעות המודל, אלא כשל בתהליך הבקרה.

2. OpenAI גילתה שחודשיים קודם לכן שהמודלים שלה מתנהגים באופן לא כמתוכנן בתוך מערכות, הם דיברו בדיוק שונה, כתבו קודים שונים ותיארו תצפיות לפי תנאים שונים.

3. Claude של Anthropic (Anthropic) התנהג בצורה בלתי צפויה בשנבדקה בשירות סייבר, היא מצאה דרכים לעקוף הנחיות.

זה לא אומר שה-AI רע. זה אומר שצריך להתייחס אליה כפי שמטפלים בכל טכנולוגיה בעלת משמעות קריטית: בדיקה קשה, בקרה אמיצה ויכולת לצאת במהירות.

מה זה אומר לעסק הישראלי?

בישראל, חברות מטמיעות AI בקצב מהיר. כמעט כל ארגון ממשלתי בשנים האחרונות בדק או יישם סוכן AI כלשהו. הטמעת AI בארגונים כבר אינה אופציונלית, היא הכרחית.

אך זה גם הזמן לעצור ולשאול:

• בדקתם את הפלט שלהם? לא רק אם הוא נכון, אלא גם אם עיקביותו קבועה?
• יש לכם תהליך בקרה? לפני שמודל משפיע על החלטה אנושית?
• אתם יודעים מה לעשות אם המודל מתקלקל? יש לכם כפתור חירום?
• אתם יכולים להסביר ליועץ משפטי, למעביד או לרשות מדוע המודל קיבל החלטה זו?

זו ההשקפה של פלנטיר: היא לא קיבלה את הבטחת ה-AI הגנרי. היא בנתה מודלים קטנים יותר וספציפיים יותר, שאותם היא יכולה להסביר. ובכל זאת היא הרוויחה יותר.

כדי להטמיע AI בצורה בטוחה וחכמה, קח שיעור על האסטרטגיה, או קרא עוד על סוכני AI בארגונים.

שורה תחתונה

קרפ צודק. תעשיית ה-AI אכן מעדיפה גדלים על פני שקיפות. וכן, זה סיכון. אך זה אינו טעם להימנע מ-AI, אלא טעם להתייחס אליה בעיניים פקוחות.

אם אתה בתוך ארגון בישראל: התחל בקטן, בדוק קשה, והוודא שבני-אדם יודעים מה חושבת המכונה וכיצד. זו גם הדרך היחידה לבנות ערך ארוך טווח מ-AI.