חוקרים ממיקרוסופט (Microsoft), בשיתוף עם חוקרים מאוניברסיטאות בארה"ב ודרום קוריאה, הציגו את Magma, מודל בינה מלאכותית שנועד לשמש כבסיס לסוכני AI מולטי-מודאליים המיועדים לשימושים מורכבים בעולם הדיגיטלי וגם האמיתי, עם היכולת להפעיל רובוטים או להנחות בני אדם לבצע פעולות שונות תוך כדי הבנת העולם מסביבו.
התיאור הפשוט ביותר למודל ה-Magma החדש הוא מודל "הכל ב-1", המיועד לגשר על הפער הקיים כיום בין מודלי ה-AI השונים המתרכזים במשימות ספציפיות, החל ממודלים ויזואליים שיכולים לראות ולהבין את העולם שמסביב, מודלים טקסטואלים שמדברים עם המשתמשים, מודלים המסוגלים לתת הנחיות לרובוטים ועוד.
המודל אומן על שתי טכניקות עיקריות הדרושות לביצוע משימות מורכבות:
- Set-of-Mark (SoM) לביסוס משימות עם היכולת להבין תוכן ויזואלי ולספק הנחיות למשתמש או לרובוט כיצד עליו לנהוג בהמשך. לדוגמה, "להזיז תפוח אדמה למרכז קרש החיתוך" במקרה של בן אדם או "הזז אוביקט לבן מעל הבד הירוק" לרובוט.
- Trace-of-Mark (ToM) לתכנון הפעולות העתידיות השונות הדרושות לביצוע משימות בהתחשב בקלט הויזואלי. לדוגמה, המודל מסוגל לחשב את 14 הצעדים שידרשו לרובוט על מנת להזיז תפוז לפח בהתבסס על תמונה המכילה את הפריטים השונים.
השילוב בין הטכניקות השונות והאימון שעבר המודל מאפשרות לו לשמש כמודל בסיס מולטי-מודאלי המסוגל לתפעל רובוטים ועוד בעולם הדיגיטלי, עם האפשרות לתפעל לדוגמה ממשק של אתר אינטרנט ולבצע בו פעולות שונות או לספק תשובות על תוכן שהמודל רואה בסרטוני וידאו מקוונים.
המודל כאמור לא מוגבל רק לעולם הוירטואלי ומסוגל לבצע משימות שונות גם בעולם האמיתי, עם היכולת של מודל ויזואלי להבין את העולם שמסביבו ולבצע פעולות מורכבות באופן עצמאי על ידי הפעלת רובוטים לביצוע המשימה או מתן הנחיות למשתמש על אילו פעולות עליו לבצע בשביל משימה ספציפית כמו משחק שח לדוגמה.
בין הדוגמאות השונות שהציגו החוקרים ניתן לראות את ההבדל בתפעול זרוע רובוטית לביצוע משימוש שונות דוגמת "הכנסת פטריה לסיר".
בסרטון הראשון ניתן לראות את האופן בו הזרוע פועלת על בסיס מודל Magma החדש לעומת הסרטון השני, בו היא מופעלת על ידי מודל ה-OpenVLA.
מודל Magma
מודל OpenVLA
ניתן ללמוד עוד על מודל ה-Magma החדש באתר הרשמי וב-GitHub.
עוקבים? כל החדשות מגאדג'טי
חלק מהפוסטים באתר כוללים קישורי תכניות שותפים, עבורם נקבל עמלה עם ביצוע רכישה בפועל של מוצרים. עמלה זו לא מייקרת את העלות הסופית של המוצרים עבורכם.
הסקירות והתכנים המופיעים באתר מהווים המלצה בלבד, וכך יש להתייחס אליהם. כל המחירים המופיעים באתר נכונים ליום הפרסום בלבד והאחריות לקניית מוצר או שירות כזה או אחר מוטלת עליך בלבד – השימוש באתר בהתאם לתנאי השימוש והפרטיות.