מטא (Meta) הכריזה על "עדר" (herd) של מודלי Llama 4 חדשים ממשפחת מודלי ה-Llama הפתוחים של החברה, מודלים מולטי-מודאליים מבוססי ארכיטקטורת "מומחים מעורבים" MoE (ר"ת Mixture of Experts) הכוללים את מודל Llama 4 Scout עם 109 מיליארד פרמטרים וחלון קלט גדול של 10 מיליון טוקנים, מודל ה-Llama 4 Maverick עם 400 מיליארד פרמטרים ומודל ה-Llama 4 Behemoth העצום עם 2 טריליון פרמטרים.
מודלי ה-Llama 4 החדשים מחליפים את סדרת מודלי ה-Llama 3 הקודמים של מטא גם בתור פתרונות קוד פתוח וגם כמודל המפעיל את Meta AI, פתרון ה-AI היעודי של החברה הזמין (לא בארץ) דרך אתר יעודי או באמצעות הרשתות החברתיות של החברה, בהן וואטסאפ, מסנגר ואינסטגרם.
על אף הגודל העצום שלהם, השימוש בארכיטקטורת MoE מאפשרת למודלים להכיל כמות גבוהה של פרמטרים, אך להפעיל רק חלק מהם בהתאם למשימה הספציפית באמצעות מודל "מומחה" המפעיל את כמות המשאבים הדרושה בכל פעם:
- Llama 4 Scout – מודל AI המשלב 16 "מומחים" עם 17 מיליארד פרמטרים פעילים מתוך 108 מיליארד, מודל המיועד לרוץ על ליבות NVIDIA H100 בודדת עם חלון קלט גדול במיוחד של 10 מיליון טוקנים.
- Llama 4 Maverick – מודל AI המשלב 128 "מומחים" עם 17 מיליארד פרמטרים פעילים מתוך 400 מיליארד, מודל מולטי מודלי עם חלון קלט של מיליון טוקנים.
- Llama 4 Behemoth – מודל AI עצום המשלב 16 "מומחים" עם 228 מיליארד פרמטרים פעילים מתוך 2 טריליון פרמטרים. המודל עדיין נמצא באימון.
מבחני ביצועים
כמו בכל מודל AI חדש, מטא מציגה מבחני ביצועים לשלל גרסות ה-Llama 4 החדשות:
- מודל ה-Llama 4 Scout מצליח להציג ביצועים טובים יותר ממודלי ה-Llama 3.3 70B ו-Llama 3.1 405B הקודמים של מטא כמו גם מודלי ה-Gemma 3 27B ו-Gemini 2.0 Flash Lite של גוגל וה-Mistral 3.1 24B.
- מודל ה-Llama 4 Maverick מצליח להציג ביצועים טובים יותר ה-Gemini 2.0 Flash של גוגל ו-GPT-4o של OpenAI עם דגש מיוחד על עלות נמוכה יותר מול מודל ה-GPT, כאשר מודל ה-DeepSeek v3.1 מצליח להציג ביצועי מעט טובים ממנו במבחני הקידוד ו-MMLU.
- מודל ה-Llama 4 Behemoth שנמצא עדיין באימון מצליח להציג ביצועים טובים יותר ממודלי ה-GPT-4.5, Germini 2.0 Pro ו-Claude Sonnet 3.7 אם כי ההשוואה לא זמינה בכלל המבחנים.
מודלי ה-Llama 4 Scout ו-Llama 4 Maverick החדשים של מטא זמינים דרך האתר הרשמי של החברה וגם ב-Hugging Face, כאשר מודל ה-Llama 4 Behemoth עדיין בפיתוח.
עוקבים? כל החדשות מגאדג'טי
חלק מהפוסטים באתר כוללים קישורי תכניות שותפים, עבורם נקבל עמלה עם ביצוע רכישה בפועל של מוצרים. עמלה זו לא מייקרת את העלות הסופית של המוצרים עבורכם.
הסקירות והתכנים המופיעים באתר מהווים המלצה בלבד, וכך יש להתייחס אליהם. כל המחירים המופיעים באתר נכונים ליום הפרסום בלבד והאחריות לקניית מוצר או שירות כזה או אחר מוטלת עליך בלבד – השימוש באתר בהתאם לתנאי השימוש והפרטיות.