אנבידיה (nvidia) הציגה את ה-Mistral-NeMo-Minitron 8B, מודל שפה קטן SLM (ר"ת Small Language Model) המסוגל לרוץ בצורה מקומית על מחשבים ותחנות עבודה ברמת דיוק גבוהה בהשוואה למודלי AI מתחרים בקטגוריה שלו.
מודל ה-Mistral-NeMo-Minitron 8B החדש של אנבידיה מגיע כגרסה ממוזערת למודל ה-Mistral-NeMo 12B אותו הציגה החברה בחודש הקודם, כאשר החברה השתמשה בטכניקה של "גיזום וזיקוק" (Pruning and distillation) על מנת לייצר מודל SLM בעל ביצועים דומים למודל ה-LLM המקורי עם צריכת משאבים נמוכה יותר, המאפשרת להפעיל אותו באופן מקומי על כרטיסי ה-RTX של החברה.
הצהרת החברה כי מודל של 8 מיליארד פרמטרים מסוגל להציג ביצועים קרובים למודל הגדול ממנו ב-50% מדגימה את חשיבות פיתוח מודלי ה-AI עצמם, כאשר האפטימיזציה שהמודל עבר מאפשרת לו להציג יתרון בביצועים ב-8 מתוך 9 מבחני ביצועים בהשוואה למודלי ה-Mistral-7B ו-LLaMa-3.1-8B המתחרים.
מלבד צריכת המשאבים הנמוכה יותר להרצה של מודל SLM באופן מקומי בהשוואה למודל LLM בענן, השימוש ב-SLM מקומי מגיע עם מגוון יתרונות, בהם רמת אבטחה מוגברת, מאחר שאין שום צורך להעביר מידע לענן מרוחק כלשהו וכלל החישובים מתבצעים באופן מקומי.
🌟 The best 8B Base model via pruning and distillation!
🚀 Introducing Mistral-NeMo-Minitron-8B-Base model we derived from the recent Mistral-NeMo-12B.
Our recipe: finetune teacher on 100B tokens, prune to 8B params, run teacher-student distillation on <400B tokens.
Result: the… pic.twitter.com/DWrXJEd3tY— Pavlo Molchanov (@PavloMolchanov) August 21, 2024
מודל ה-Mistral-NeMo-Minitron 8B החדש זמין ב-Hugging Face ובפלטפורמת ה-NVIDIA NIM.
