Databricks מהפכה: הנמכת צריכת החשמל של בינה מלאכותית ב-1000 פעמים

דוד גרים משיק מהפכה בעלויות בינה מלאכותית

אחד מאתגרי ההטמעה הגדולים ביותר של בינה מלאכותית בארגונים הוא עלות החישוב. כל שאילתה, כל נתון שעובר דרך מודל בינה מלאכותית, דורש משאבים חשמליים וכספיים. דוד גרים, שהיה ראש בינה מלאכותית ב-Databricks, החליט לפתור בעיה זו. הוא משיק סטארטאפ חדש בשם Un-0, המבטיח משהו שנחשב עד היום כבמעט בלתי אפשרי, הנמכת צריכת החשמל של מודלי בינה מלאכותית ב-1000 פעמים.

מה זה Un-0?

Un-0 היא מערכת ליצירת תמונות המשמשת כהוכחת קונספט (POC) לטכנולוגיה עמוקה יותר. הרעיון הוא להוכיח שניתן להפעיל מודלים בעלי ביצועים גבוהים עם צריכת אנרגיה נמוכה בהרבה מזו המשמשת כיום.

לדוגמה:

• מודלים קיימים: דורשים GPU חזק בעלות חודשית גבוהה
• Un-0: מטרתה להשיג ביצועים דומים על חומרה זולה וירוקה יותר

זו לא רק שיפור טכני, זה שינוי כלכלי.

למה זה משנה לעסקים בישראל?

חברות ישראליות בתחומים כמו:

• סטארטאפ בפינטק ובינה מלאכותית: מוציאות כסף משמעותי על GPU וארוח ענן
• יזמי תוכנה: צריכים להשמור על הוצאות נמוכות כדי להישאר תחרותיים
• בתי מלון וקמעונאות: משתמשים בסוכני בינה מלאכותית לניהול חכם

לכל אלה, הנמכת עלויות החישוב ב-1000 פעמים פירושה:

1. החזר השקעה גבוה יותר, כל פרויקט בינה מלאכותית הופך רווחי בהרבה
2. יכולת להתחרות בבינה מלאכותית עם חו"ל, אין צורך להישאר תלויים במודלים יקרים של ChatGPT או Gemini
3. יכולת להחדיר בינה מלאכותית בעמוקים יותר בנקודות קצה של הארגון

רקע: מדוע עלות זו כל כך גבוהה?

כל פעם שמשתמשים בנתונים דרך מודל בינה מלאכותית, משלמים על:

• שימוש בטוקנים, כל מילה/טוקן בקלט ופלט
• זמן עיבוד בשרת ענן, עבודה של מעבד גרפי
• חשמל המשויך לחשבון הענן, מפעלי מרכזי נתונים

חברות כמו OpenAI, Google (עם Gemini) ו-Anthropic תומכות בהוצאות חשמל ענקיות כדי לתחזוק מרכזי נתונים.

Un-0 טוענת: אין צורך בכל זה.

מה הטכנולוגיה בפועל?

בעת ההשקה, גרים הדגים מערכת ליצירת תמונות העובדת עם צריכת אנרגיה נמוכה בהרבה. אם זה עובד על תמונות, הטיעון הוא שניתן ליישם את אותו עיקרון על:

• דחיסת מודלים (quantization, pruning)
• חומרה מיוחדת שעובדת בכך שלה יעילה יותר עם בינה מלאכותית
• דחיסה שמשמרת ביצועים

זה דומה לאופן בו אפליקציות כמו iPhone עובדות על סוללה קטנה עם ביצועים גבוהים, הידע מרוכז, לא מדובר בהרצת GPU ענק בלבד.

האם זה יהפוך למוצר שבשימוש?

כנראה שכן, אך לא באופן מיידי.

הטכנולוגיה עדיין בשלבי הוכחה קונספט. גרים יצטרך:

1. להוכיח עבודה על מסגרות שונות (לא רק תמונות)
2. להשיג חדשנויות בחומרה או לשתף פעולה עם Nvidia ו-ARM
3. לבנות מודל עסקי שמשכנע חברות ענקיות להשתמש בטכנולוגיה זו

לעת עתה כבר מתרחשות התפתחויות:

• Anthropic, OpenAI ו-Google כל אחת מהן עובדת על דחיסת מודלים
• ההתחרות האמיתית כיום היא על יעילות, לא רק על ביצועים גולמיים

שורה תחתונה: מה צריכים עסקים לעשות היום?

1. עקבו אחרי כלים בעלי צריכה נמוכה: אם אתם משתמשים בבינה מלאכותית בעסק, בדקו אם יש כלים קלים יותר (Claude מול ChatGPT, או מודלים בקוד פתוח)
2. בנו תוכניות עם החזר השקעה ברור: אל תשקיעו בפרויקטי בינה מלאכותית שתלויים בעלויות חישוב גבוהות מדי כל חודש
3. עקבו אחרי עדכונים מ-Un-0 ו-Databricks: גרים הוא כומר תחום, וטכנולוגיה זו עלולה להשתנות באופן דרמטי בשנתיים הבאות

אם Un-0 תפעל כפי שטוענת, זו לא רק שיפור, זו שינוי משחק בהטמעת בינה מלאכותית בארגונים.