מחסום התשתיות: עסקים קונים בינה מלאכותית בלי תכנון

חברות קונות בינה מלאכותית בלא בדיקה — ורק אחר כך חושבות

מחקר של VentureBeat שסקר 107 חברות חשף משהו מחרידֿ: כאשר מדובר בהשקעה בבינה מלאכותית, רוב הארגונים פועלים בערפל. יחידות GPU רבות עובדות בחצי יכולת, אלפיות דברים נשרפות ללא בקרה, וקל יותר לקצץ בהוצאות אחרות מאשר לשלוט בעלויות בינה מלאכותית.

זה לא סתם בזבוז — זה בזבוז בהיקף ארגוני.

מהו ה-Compute Gap?

ה-Compute Gap הוא הפער בין קצב ההשקעה בחומרה וממשקי API לבין היכולת לשלוט בהוצאות. חברות קונות:

• יחידות GPU ללא מדידת שימוש
• שירותי API ממספר ספקים ללא השוואת עלויות
• רשיונות תוכנה ללא שימוש פעיל

התוצאה: רובם לא יודעים כמה כל משימה בפועל עולה להם.

הנתונים מדברים בעד עצמם

1. חצי מהארגונים לא עוקבים אחר העלויות בדיוק

רק יותר מחצי מ-107 החברות שנסקרו דיווחו שהם עוקבים בעיוניות אחר עלות ליחידה (מחיר לאלף אלפיות, עלות ליחידת GPU). השאר משערים או מקבלים נתונים רק בחודש הבא.

2. יחידות GPU בחצי יכולת

רוב הארגונים קונים NVIDIA H100 או H200 ובהם יושבים בשימוש חלקי בלבד — רק כדי להיות מוכנים. העובדה היא שארגון שמחזיק GPU בשימוש של 50% משלם 100% מהעלות.

3. תלות בספקים יחידים בדרכים

רוב הארגונים תלויים בחברות ענק (AWS, Google Cloud, Microsoft Azure) וספקי מודלים (OpenAI, Anthropic, Google). אך רוב אומרים שהם מתכננים להחליף או להוסיף ספק בתוך הרבעון הבא — סימן שהם מודעים לכך שיכול להיות זול יותר במקום אחר.

המלכודות הנפוצות

1. קנייה על סמך מחיר שכותרת

ספק A אומר "0.0001 דולר לאלף אלפיות" — זה נראה זול. אבל כמו בתעופה, יש עלויות סמויות: לא כל אלפית שווה, ל-API calls יש עמלות קביעות, ויתכן שתצטרכו אריזה וזיכרון מטמון שמעלים את המחיר בפועל.

2. אין ניהול של משימות שונות

מודלים שפה רצים ללא בקרה. סוכן שפועל כל שעה עלול להוציא 100 דולר ביום בלי להוציא ערך. שאלו: האם לכל משימה יש תשואה מחושבת?

3. אין השקפה על השימוש

אין הבנה לאן ההוצאות הולכות. קשה יותר לזהות קוד או מודלים בלתי יעילים עד שנתונים מראים זאת בסקירה מאוחרת.

מה זה אומר לעסק הישראלי?

סטארטאפים וחברות ישראליות לא קונים V100 או H100 בעלויות בעולם. אבל הן כן משתמשות ב-API של Anthropic Claude, OpenAI ChatGPT ו-Google Gemini. וכמו חברות גדולות, גם הן יכולות ליפול למלכודת של עלויות בלתי מבוקרות.

דוגמה:

• סטארטאפ SaaS: משתמש ב-Claude API כדי ליצור תוכן לכל משתמש. ללא מעקב, כל "בקשה חכמה" יכולה להוציא 0.50–2 דולר לתשובה. עם 1,000 משתמשים פעילים — זה 500–2,000 דולר ביום, ללא ערך מדידה.
• חברת שיווק: משתמשת בסוכן בינה מלאכותית לכתיבת קמפיינים. אין מדידה של תשואה — הם משלמים "כי זה צריך להיות משהו בעתיד".

הדרך ההגיונית: בנו מודל עלויות שמתאים לצרכי העסק שלכם, לא לצרכי הגדולים.

איך להתגבר על המחסום

1. קבעו בסיס מדידה

מדדו בדיוק כמה עולה כל פעולה:

• אלפיות בקלט ופלט
• זמן ריצה
• API calls
• אחסון וחישובים משתנים

כלים כמו CloudWatch של AWS, Stackdriver של Google, או אפילו מודל פשוט ב-Supabase יכולים לעזור.

2. הגדירו תקציב על סמך כלכלת היחידה

אל תקבעו תקציב כללי "10,000 דולר בחודש לבינה מלאכותית". במקום זאת, הגדירו:

• עלות מקסימום לקטגוריה (למשל: 0.001 דולר לכל שאילתת צ'אטבוט)
• מטרות זמן תגובה ואיכות
• התראות אם עלויות חוצות סף

3. בחרו ספקים על סמך עלות כוללת, לא על מחיר שכותרת

שלבו את הגורמים הבאים:

• מחיר אלפית + עמלות API
• זמינות וחוזים שירות
• תמיכה וקלי שילוב
• עלויות החלפת ספק

4. בחנו מודלים בקוד פתוח

לעתים קרובות, מודלים קטנים יותר כמו Llama 3.1 או Mistral יכולים לרוץ בחומרה שלכם בעלות הרבה נמוכה יותר.

5. השתמשו בזיכרון מטמון ובאריזה

אם אתם משתמשים ב-Claude או ChatGPT, זיכרון מטמון של בקשה יכול להציל עד 90% בשאילתות חוזרות. אריזה של קריאות יכולה להוריד עלויות API ב-50%.

שורה תחתונה

הגורם העיקרי של Compute Gap הוא חוסר מודעות מעשית. חברות קונות, אבל לא מודדות. עסקים ישראליים צריכים ללמוד את השיעור הזה כשהם עדיין קטנים: בנו מערכת מדידה עכשיו, לא אחרי שהעלויות הוצאו מהتקציב.