חברת Mistral מציגה את Voxtral 3: מודלי קול ותמלול לסוכנים קוליים

Voxtral 3 (מקור Mistral)
  • חברת Mistral הכריזה על Voxtral 3, משפחת מודלי דיבור לקול ולתמלול לצד ערכת פיתוח לסוכנים קוליים.
  • המודלים תומכים בלמעלה מ-35 שפות ומאפשרים התאמת רגשות, זיהוי סיום דיבור והפעלת כלים בזמן אמת.
  • המערכת מיועדת למוקדי שירות ועוזרים חכמים, ומספקת מענה מלא בפחות משנייה אחת עם אפשרות לפריסה עצמית.
  • השירות זמין דרך ה-API של החברה במחיר המתחיל ב-0.0035 דולר לדקת תמלול ו-13 דולר למיליון תווים בהקראה.

חברת Mistral הכריזה על Voxtral 3, משפחה חדשה של מודלי בינה מלאכותית לתמלול קולי (Speech-to-Text) והקראת טקסט (Text-to-Speech), לצד ערכת פיתוח (SDK) לבניית סוכנים קוליים בזמן אמת. המערכת תוכננה לנהל שיחות מורכבות ומרובות שלבים ביותר מ-35 שפות (ו-50 ניבים) עבור מוקדי שירות לקוחות, עוזרים אישיים ומערכות עבודה.

הפתרון משלב תמלול, ניתוח כוונות, הפעלת כלים חיצוניים וסינתזת קול בצינור עיבוד רציף אחד (Streaming Pipeline). לדברי החברה, Voxtral 3 מיועד לספק מענה עם זמני השהיה נמוכים תוך שמירה על ריבונות נתונים מלאה באמצעות פריסה מקומית או בשרתי החברה באירופה.

הכירו את Voxtral 3

משפחת המודלים כוללת את Voxtral Small Transcribe 3 לתמלול מדויק בריבוי שפות ואת גרסת Voxtral Mini בעלת 4 מיליארד פרמטרים.

המודלים כוללים יכולת זיהוי דוברים (Diarization) כדי לזהות מי אמר כל משפט, וכן תמיכה בהטיית הקשר (Context Biasing) המאפשרת להזין מונחים מקצועיים לשיפור הדיוק ללא צורך באימון ייעודי.

בתחום הפקת הדיבור מציעה החברה את מודל Voxtral Mini TTS 3.0, התומך ביותר מ-35 שפות ומעל 50 ניבים אזוריים. המודל מנתח את ההקשר הסמנטי של הטקסט כדי להתאים באופן אוטומטי את הרגש, קצב הדיבור וההדגשות, ללא צורך בהנחיות קוליות נוספות.

ביצועים

במבחן FLEURS (מאגר מבחן רב-לשוני לזיהוי דיבור) הכולל 45 שפות, הציג מודל Voxtral Small Transcribe 3 שיעור שגיאות מילים ממוצע של 4.0% כאשר השפה מוגדרת מראש, ו-4.1% בזיהוי שפה אוטומטי. גרסת Voxtral Mini Transcribe 3 השיגה שיעור שגיאות של 4.5% ו-4.6% בהתאמה.

עבור יישומים מבוססי סוכנים בזמן אמת, מודל Voxtral Realtime Transcribe 3 פועל בהשהיה של פחות מ-500 מילי-שניות ביותר מ-35 שפות. לפי בדיקות החברה במבחן FLEURS 35, המודל השיג שיעור שגיאות של 6.4% בהשהיה של 480 מילי-שניות ו-6.0% בהשהיה של 960 מילי-שניות.

המודל כולל מנגנון מובנה לחיזוי סיום דיבור המשלב מידע אקוסטי וסמנטי. לדברי החברה, שילוב זה מאפשר לסוכנים להגיב ללא שיהוי ומצמצם קטיעה מוקדמת של דברי המשתמש.

מבחני ביצועים Voxtral 3 (מקור Mistral)
מבחני ביצועים Voxtral 3 (מקור Mistral)

יכולות נוספות

ערכת הפיתוח לסוכנים קוליים מתבססת על LiveKit ומחברת את שלבי הקליטה, החשיבה והתגובה לתהליך אחד.

בכל סבב שיחה, המערכת מתמללת את הפנייה, מפעילה מודל שפה כללי כמו Mistral Small לביצוע פעולות וחיפוש מידע, ומייצרת מענה קולי תוך פחות משנייה אחת.

הסוכן תומך בחיבור למרכזיות טלפוניה דרך פרוטוקול SIP, פועל בדפדפנים ובאפליקציות באמצעות WebRTC, ומפסיק לדבר מיד כאשר המשתמש מתפרץ לדבריו.

בנוסף, החברה מציעה את יכולת Pro Voice המאפשרת שיבוט קול מקצועי מדגימת שמע של 30 דקות בלבד. המערכת משחזרת את סגנון הדיבור, המנעד הרגשי והמאפיינים הייחודיים של הדובר בשפות שונות.

מחירים וזמינות

משפחת מודלי Voxtral 3 זמינה דרך ה-API של Mistral, ומחיר השימוש משתנה בהתאם למודל.

מודל ייעוד מחיר
Voxtral Mini Transcribe 3 תמלול 0.0035 דולר לדקה
Voxtral Small Transcribe 3 תמלול 0.004 דולר לדקה
Voxtral Mini Transcribe Realtime 3 תמלול בזמן אמת 0.008 דולר לדקה
Voxtral Speech 3 הקראת טקסט 13 דולר למיליון תווים

השוואת מפרטים