אמזון מתגובבת את נווידיה עם כלי PyTorch חדש לשבביה שלה

מה קרה בדיוק?

לפי TechCrunch, אמזון השיקה את TorchNeuron, כלי המאפשר למפתחי AI להריץ מודלי PyTorch ישירות על שבביה שלה (Trainium ו-Inferentia) ללא צורך בשינויים משמעותיים בקוד.

זהו צעד טכני, אך נושא משמעות כלכלית ופוליטית עצומה:

• עד כה: מי שרצה להריץ PyTorch (הסטנדרט למעשה לכל מפתח AI) היה צריך להשתמש בעיבודים של נווידיה. אמזון יכלה להציע שבביים זולים יותר, אך מפתחים הסתייגו מהשקעה בתרגום הקוד.
• עכשיו: TorchNeuron אוטומטית את התרגום. עלות המעבר צנחה לרמה מינימלית.

מדוע זה חשוב כעת?

1. PyTorch הוא כמעט כל דבר

כ-80% מהמודלים של בינה מלאכותית שנכתבים היום משתמשים ב-PyTorch או בתיבות כלים הבנויות מעליה. זה הסטנדרט בפועל בעולם. שינוי הכלי להרצת PyTorch משנה את כללי המשחק.

2. נווידיה הייתה כמעט במונופול

נווידיה התחלפה מ-startup קטנה לשחקן המחזיק במצור על כל בינה מלאכותית בעולם. אם אתה רוצה יישום AI מהיר, אתה קונה נווידיה. אם אתה רוצה להריץ מודל גדול, אתה קונה נווידיה. אמזון, גוגל (Google) ומיקרוסופט (Microsoft) הבינו שמצב זה בלתי קיים.

3. עלויות החישוב עולות בתלולות

חברות גדולות וקטנות כאחד מתמודדות עם בעיה: עלות תפוקת טוקנים ממנועי AI, עלות שבביים, עלות קיבול. TorchNeuron משחקת בקלף משלה: "הריצו את אותו מודל במחצית המחיר על שבביים שלנו".

מה זה אומר לעסק בישראל?

בעל עסק קטן עד בינוני (עד 50 עובדים)

אם אתה פועל ב-AWS (Amazon Web Services) וצוות הפיתוח שלך כבר השקיע ב-PyTorch, זו בשורה טובה:

1. הוצאות יורדות: בעבור הרצה של מודל מאומן (inference), TorchNeuron על Inferentia יכול להוריד עלויות בעד 40%.
2. התחזוקה נשארת דומה: הקוד לא חייב להשתנות משמעותית. זה לא כמו כתיבה מחדש בכלי שונה לחלוטין.
3. אתה לא נעול עוד: כעת יש לך אפשרות. זה מעניק לך כוח במשא ומתן עם אמזון ועם ספקים אחרים.

אם אתה עדיין בשלב בדיקה של AI

כדאי שתחשוב להתחיל ב-AWS Inferentia מהתחלה, או לפחות שתדע שזו אפשרות כשהעסק גדל.

איך זה קשור למשא ומתן בין תעשיות?

אמזון לא עושה זאת מנדיבות. היא עושה זאת משום:

1. השליטה של נווידיה בלתי קיימת על הטווח הארוך. כל חברה גדולה רוצה שליטה על שכבות ההרצה שלה.
2. היא יכולה להציע הנחות קיצוניות אם תנצל את הגודל שלה. אמזון יכולה להפסיד כסף על Trainium ו-Inferentia ובכל זאת להרוויח מדמי AWS אחרים.
3. זה חלק ממערכה עולמית: Microsoft, Google וחברות סיניות כמו Alibaba (אליבאבא) כבר עוסקות בפיתוח כלים דומים.

מה כדאי לעשות עכשיו?

אם אתה במנהיגות בפיתוח או בתפקיד של מיקד בינה מלאכותית בארגון:

1. בדוק את הוצאות ה-GPU שלך: אם אתה משלם סכומים ניכרים לנווידיה בחודשים, עדכן אחרי חצי שנה.
2. הכר את הכלים שלך: אם אתה משתמש ב-PyTorch או ב-Hugging Face, אתה כבר בעמדה טובה לעבור.
3. אל תנעול את עצמך: כשבוחרים בספק, וודאו שהקוד שלכם לא יהיה תלוי בספק אחד בלבד.

סיכום

TorchNeuron של אמזון היא מכת חזקה במשחק שנווידיה שולטת בו. זה לא יסיים את נווידיה מחר, אך זה משנה את הדינמיקה: כעת למפתחים יש בחירה, עלויות יורדות, וחברות גדולות לא יכולות להתנהג כמונופול הרבה יותר זמן.

לעסקים בישראל המריצים מודלי AI, זה אומר: הגיע הזמן שלך להשתחרר מתלות בנווידיה. אמזון עוזרת לך כאן.