ארבעה פערים קריטיים בתשתיות ה-AI של ארגונים, וכיצד לתקוף אותם
עסקים קונים תשתיות AI בקצב מטורף, אבל לא יודעים כמה זה עולה. מחקר חדש של VentureBeat חשף שלושה פערים קריטיים שאתם צריכים לסגור עכשיו כדי להימנע מבזבוז מיליונים.
עסקים קונים תשתיות AI בקצב מטורף, אבל לא יודעים כמה זה עולה. מחקר חדש של VentureBeat חשף שלושה פערים קריטיים שאתם צריכים לסגור עכשיו כדי להימנע מבזבוז מיליונים.
פער חישוב (GPU utilization נמוך, עלויות לא נשלטות), פער הקשר (סוכנים מייצרים תשובות שגויות מהקשר שגוי), פער הערכה (בדיקות פנימיות נכשלות בייצור), ופער אוכלוסיה (סוכנים אמיתיים עדיין רובם צ'אטבוטים בתחפושת).
יש לעקוב אחר: מספר הטוקנים המשומשים × מחיר טוקן, בנוסף לעלויות אחסון וחישוב. כלים כמו Anthropic מספקים דוח-עלויות מובנה, אבל רוב החברות לא משתמשות בו באופן סדור.
עבור יותר מ-80% מהחברות, API של OpenAI או Anthropic זול יותר. בנייה in-house (כמו Meta's LLaMA) משתלמת רק כשיש לכם את הדעת המומחה והעלויות שולטות בעשרות מיליוני דולרים בשנה.
הידעת?
יותר מ-50% מחברות המשתמשות בעסקים בעלות GPU שלהם מפעילות גם בחצי קיבולת או פחות, משמעות: בזבוז ישיר של כספים.
מחקר חדש של VentureBeat סקר 107 חברות בגדלים שונים וגילה שבין 40% ל-60% מהארגונים המשתמשים בבינה מלאכותית אינם יודעים בדיוק כמה זה עולה להם. ולא מדובר על חברות קטנות, מדובר על ארגוני enterprise עם תקציבים של עשרות מיליוני דולרים לבינה מלאכותית.
הבעיה אינה ברכישת תשתיות, אלא בחוסר יכולת לנהל את מה שכבר נרכש.
לפי מחקר VentureBeat, יש ארבעה פערים קריטיים המחזיקים חברות לאחור. הבה נדבר עליהם בגלוי ועל דרכים לתקוף אותם.
חברות קונות יחידות GPU יקרות כמו NVIDIA H100 ו-A100. כל יום ללא שימוש מלא זה בזבוז כסף.
הממצא המעורר דאגה: יותר מ-50% מהתשתיות פועלות ברמת ייעול של פחות מ-70%. חלקן פועלות בחצי קיבולת בלבד.
משמעות הדבר? אתם משלמים על קיבולת שלא תשתמשו בה לעולם. גם כשאתם משתמשים במודלים בענן (כמו Claude של Anthropic או ChatGPT של OpenAI), יש עלויות מוסתרות בדרך קנייה של אסימונים.
זה לא באשמת המודל עצמו. מחקר שני של VentureBeat מצא שסוכני AI עבדו טוב עם retrieval-augmented generation (RAG), אך בפועל, הנתונים הגיעו לסוכן ללא סדר, מיושנים או שולבו בדרך היברידית שלא נתמכת כלל.
התוצאה? סוכנים שנראים בטוחים אך מחזירים מידע שגוי.
חצי מהחברות שנסקרו כבר ראו סוכן AI שיצר תשובה שנראתה נכונה, אך היא היתה שגויה.
הנקודה הכואבת ביותר: 50% מהחברות העלו סוכן AI שעבר בדיקות פנימיות שלהם, אך נכשל בסביבת הייצור האמיתית.
מחקר שלישי של VentureBeat מצא שרוב החברות לא בודקות את הסוכנים שלהן כראוי. הן משתמשות בבדיקות מדומות שלא משקפות כיצד סוכן יתנהג עם דוד אמיתי.
שתיים משלוש חברות בודקות סוכנים עם נתונים מדומים בלבד. רק כ-1 מ-20 בודקת באמת הערכה אוטומטית כיום.
המחקר חשף משהו חשוב: רוב ה"סוכנים" שחברות בנו הם למעשה צ'אטבוטים משופרים.
סוכן אמיתי דורש 5 עד 20 שלבים נפרדים: הבאת מידע, אימות עם מערכת חיצונית, תיעוד פעולה, שליחת הודעה חוזרת. אם אתם בונים משהו שרק משיב בצ'אט, זה לא סוכן. זה ממשק שיפור.
אם אתם מנהלים בחברה קטנה או בינונית בישראל, אתם עשויים להיתקל בטעות זו:
אתם משלמים בלי לדעת על מה, ובוני סוכנים שלא בוחנים את הדיוק שלהם.
הצעד הראשון הוא: דוח עלויות שבועי. אם אתם משתמשים ב-Claude API, Anthropic מספקת דף "Usage and Billing". הגדירו התראה אם העלויות מגיעות ל-80% מהתוכנית.
הצעד השני: בנו סוכנים שמבצעים עבודה בפועל. סוכן בעברית המחזיר מידע ישירות לבוקר הממשלה שלכם (דרך MCP או API ל-Google Drive) הוא סוכן אמיתי שחזר תשובות.
אם אתם מפעילים יותר משלושה או ארבעה סוכנים בעסק קטן, כדאי שתישקלו ייעוץ AI מקצועי כדי לסדר את הסוכנים שלכם עם נתונים אמיתיים ועלויות מבוקרות.
ארבעת הפערים הללו, חישוב, הקשר, הערכה ותכיפות, אינם טעויות טכניות קלות. הם סימנים לכך שארגונים משלמים על בינה מלאכותית בלי לבדוק מה היא באמת עשתה להם.
הצעד הראשון? דוח עלויות טוב. הצעד השני? סוכנים שעובדים בפועל. ואחריו: ניטור, בדיקות ובקרה.
אם זה נראה כמו הרבה מדי, זה בגלל שזה כן, ודווקא לכן, החברות שעושות זה טוב עכשיו יהיו צעד קדימה בעוד שנתיים.
1) מדוד עלויות AI בפועל עם כלי ניטור (CloudWatch, Datadog). 2) הגדר תקציב לטוקנים וקבע אזעקות כשמגיעים לרף. 3) בדוק Utilization של GPU/compute, אם פחות מ-70%, יש בזבוז.