מיקרוסופט (Microsoft) הכריזה על Phi-3.5, משפחת מודלי שפה קטנים (SLM) ויעילים במיוחד שיכולים לעבוד בצורה מקומית, בהם מודל ה-Phi-3.5-mini הזעיר של 3.8 מיליארד פרמטרים, מודל Phi-3.5-MoE “מעורב” של 42 מיליארד פרמטרים, מהם רק 6.6 מיליארד פעילים בו-זמנית, ומודל ה-Phi-3.5-vision של 4.2 מיליארד פרמטרים בעל דגש על יכולות ויזואליות.
מודלי ה-Phi-3.5 הזעירים של מיקרוסופט נועדו להחליף את מודלי ה-Phi-3 שהוצגו בחודש אפריל, כאשר משפחת המודלים החדשה כולל את:
- Phi-3.5-mini – גרסה מעודכנת למודל המיני במשפחת ה-Phi של 3.8 מיליארד פרמטרים עם חלון הקשר גדול יותר של 128K שאומן על 3.4 טריליון טוקנים. לפי החברה, המודל מציג ביצועים טובים יותר מ-Llama 3.1 8B ו-Mistral 7B ואף מתחרה בביצועי מודל ה-Mistral NeMo 12B הגדול פי כמה ממנו.
- Phi-3.5-MoE – המודל הראשון במשפחת ה-Phi המשתמש בטכנולוגיית ה-“מומחים מעורבים” MoE (ר”ת Mixture of Experts) עם חלון הקשר של 128K טוקנים ו-16 “מומחים” של 3.8 מיליארד פרמטרים כל אחד, שאומן על 4.9 טריליון טוקנים. המודל מאפשר להפעיל “שני מומחים” בו-זמנית לגודל של 6.6 מיליארד פרמטרים ולהציג ביצועים טובים יותר ממודלי ה-Llama-3.1 8B, Gemma-2-9B ו-Gemini-1.5-Flash וביצועים קרובים למודל ה-GPT-4o-mini.
- Phi-3.5-vision – מודל מולטי-מודאלי עם דגש על יכולות הבנת תוכן ויזואלי של 4.2 מיליארד פרמטרים, שאומן על 500 מיליארד טוקנים ומגיע עם חלון הקשר של 128K טוקנים עם יכולת הבנת שפה מתמונות (OCR), השוואת מספר רב של תמונות, הבנת מידע מטבלאות ותרשימים ועוד. מודל זה מציג שיפור במגוון מבחני ביצועים ויזואליים, בהם MMMU ו-MMBench עם ציון של 43.0 ו-81.9, בהתאמה, לעומת 40.2 ו-80.5 בדור הקודם.
מודלי ה-Phi-3.5 החדשים זמינים באתר Hugging Face ו-github.
עוקבים? כל החדשות מגאדג'טי
חלק מהפוסטים באתר כוללים קישורי תכניות שותפים, עבורם נקבל עמלה עם ביצוע רכישה בפועל של מוצרים. עמלה זו לא מייקרת את העלות הסופית של המוצרים עבורכם.
הסקירות והתכנים המופיעים באתר מהווים המלצה בלבד, וכך יש להתייחס אליהם. כל המחירים המופיעים באתר נכונים ליום הפרסום בלבד והאחריות לקניית מוצר או שירות כזה או אחר מוטלת עליך בלבד – השימוש באתר בהתאם לתנאי השימוש והפרטיות.