מחסום התשתיות: עסקים קונים בינה מלאכותית בלי תכנון
בעוד שחברות מאיצות השקעות בחומרה וממשקי API של ספקי AI, רוב המנהלים אינם מצליחים לעקוב אחרי העלויות בפועל. GPUים יושבים בחצי ניצול, וטוקנים נשרפים בלי מדידה, זה הגבול בין השקעה חכמה ובזבוז מיליונים.
בעוד שחברות מאיצות השקעות בחומרה וממשקי API של ספקי AI, רוב המנהלים אינם מצליחים לעקוב אחרי העלויות בפועל. GPUים יושבים בחצי ניצול, וטוקנים נשרפים בלי מדידה, זה הגבול בין השקעה חכמה ובזבוז מיליונים.
הרצון להישאר תחרותיים גורם לקבלת החלטות מהירות. ארגונים חוששים מפיגור, כך שהם משקיעים בתשתיות גם בטרם בנו יכולת למדוד את ההשפעה בפועל.
ההבדל בין קצב ההשקעה בחומרה וכלים לבין היכולת ליעל את ההוצאות, GPU יושבת בחצי ניצול, טוקנים נשרפים בלי מטרה, ומנהלים לא יודעים למה.
התחילו במדידה: תעקבו אחרי כל tokenization, GPU hour, והמרות API. הגדירו תקציבי חלוקה לפי יחידות עסקיות. בחרו בספקים על סמך עלות כוללת (TCO), לא מחיר headline. וקבעו ברקים פנימיים, אין צורך ברכישת GPU יוקרה אם LLM API מסתדר.
הידעת?
רק 1 מתוך 2 ארגונים מעקב אחרי עלויות ה-AI שלהם בדיוק, החזקים זורים למלא השנה
מחקר של VentureBeat שסקר 107 חברות חשף משהו מחרידֿ: כאשר מדובר בהשקעה בבינה מלאכותית, רוב הארגונים פועלים בערפל. יחידות GPU רבות עובדות בחצי יכולת, אלפיות דברים נשרפות ללא בקרה, וקל יותר לקצץ בהוצאות אחרות מאשר לשלוט בעלויות בינה מלאכותית.
זה לא סתם בזבוז, זה בזבוז בהיקף ארגוני.
ה-Compute Gap הוא הפער בין קצב ההשקעה בחומרה וממשקי API לבין היכולת לשלוט בהוצאות. חברות קונות:
התוצאה: רובם לא יודעים כמה כל משימה בפועל עולה להם.
רק יותר מחצי מ-107 החברות שנסקרו דיווחו שהם עוקבים בעיוניות אחר עלות ליחידה (מחיר לאלף אלפיות, עלות ליחידת GPU). השאר משערים או מקבלים נתונים רק בחודש הבא.
רוב הארגונים קונים NVIDIA H100 או H200 ובהם יושבים בשימוש חלקי בלבד, רק כדי להיות מוכנים. העובדה היא שארגון שמחזיק GPU בשימוש של 50% משלם 100% מהעלות.
רוב הארגונים תלויים בחברות ענק (AWS, Google Cloud, Microsoft Azure) וספקי מודלים (OpenAI, Anthropic, Google). אך רוב אומרים שהם מתכננים להחליף או להוסיף ספק בתוך הרבעון הבא, סימן שהם מודעים לכך שיכול להיות זול יותר במקום אחר.
ספק A אומר "0.0001 דולר לאלף אלפיות", זה נראה זול. אבל כמו בתעופה, יש עלויות סמויות: לא כל אלפית שווה, ל-API calls יש עמלות קביעות, ויתכן שתצטרכו אריזה וזיכרון מטמון שמעלים את המחיר בפועל.
מודלים שפה רצים ללא בקרה. סוכן שפועל כל שעה עלול להוציא 100 דולר ביום בלי להוציא ערך. שאלו: האם לכל משימה יש תשואה מחושבת?
אין הבנה לאן ההוצאות הולכות. קשה יותר לזהות קוד או מודלים בלתי יעילים עד שנתונים מראים זאת בסקירה מאוחרת.
סטארטאפים וחברות ישראליות לא קונים V100 או H100 בעלויות בעולם. אבל הן כן משתמשות ב-API של Anthropic Claude, OpenAI ChatGPT ו-Google Gemini. וכמו חברות גדולות, גם הן יכולות ליפול למלכודת של עלויות בלתי מבוקרות.
דוגמה:
הדרך ההגיונית: בנו מודל עלויות שמתאים לצרכי העסק שלכם, לא לצרכי הגדולים.
מדדו בדיוק כמה עולה כל פעולה:
כלים כמו CloudWatch של AWS, Stackdriver של Google, או אפילו מודל פשוט ב-Supabase יכולים לעזור.
אל תקבעו תקציב כללי "10,000 דולר בחודש לבינה מלאכותית". במקום זאת, הגדירו:
שלבו את הגורמים הבאים:
לעתים קרובות, מודלים קטנים יותר כמו Llama 3.1 או Mistral יכולים לרוץ בחומרה שלכם בעלות הרבה נמוכה יותר.
אם אתם משתמשים ב-Claude או ChatGPT, זיכרון מטמון של בקשה יכול להציל עד 90% בשאילתות חוזרות. אריזה של קריאות יכולה להוריד עלויות API ב-50%.
הגורם העיקרי של Compute Gap הוא חוסר מודעות מעשית. חברות קונות, אבל לא מודדות. עסקים ישראליים צריכים ללמוד את השיעור הזה כשהם עדיין קטנים: בנו מערכת מדידה עכשיו, לא אחרי שהעלויות הוצאו מהتקציב.
מעט סטארטאפים ישראליים משתמשים בחומרה בקנה מידה גדול. אבל כל עסק ישראלי שמשתמש ב-Anthropic, OpenAI, או Google Cloud צריך לשמוע על מלכודת זו, וזה עשוי להוציא לרחוק לא מעט כסף.