חוקרי גוגל מציגים את VLOGGER – מודל AI המסוגל להנפיש תמונות

המרת תמונות לוידאו עם Vlogger קרדיט: vlogger

קבוצת חוקרי AI מגוגל הציגה את VLOGGER, מודל בינה מלאכותית חדש המסוגל להנפיש תמונות רגילות ולגרום להן לדבר בהתאם לקלט אודיו, עם מראה והתנהגות טבעיים יותר הכוללים תנועות ידיים ועוד.

המודל החדש מאפשר, בין השאר, לערוך סרטוני וידאו קיימים ולהתאים את תנועות הפנים של האדם המופיע בוידאו לדיבור בשפות אחרות, דבר שמאפשר להמיר סרטוני וידאו לשפות נוספות ולא רק להוסיף להם שמע בשפה נוספת.

מודלי AI המסוגלים “להפיח חיים” בתמונות הם לא בדיוק דבר חדש בשוק ה-AI, אך יש הבדל בין להפיח חיים בתמונה ובין האפשרות לבצע איתה משהו מעשי הרבה יותר כפי שמודל ה-VLOGGER החדש מסוגל לעשות, כאשר השינויים אותם הוא מבצע בתמונה קשורים באופן ישיר לקלט האודיו המצורף אליה.

מודל ה-VLOGGER החדש אומן על דאטה סט (Dataset) בשם MENTOR, הכולל מעל 800,000 אישויות שונות ו-2200 שעות וידאו על מנת לאפשר למודל להתאים את עצמו למגוון אוכלוסיה גדול מבחינה אתנית, גיל, ביגוד ועוד.

המודל מסוגל לקחת תמונה רגילה לצד קלט שמע ולייצר סרטון וידאו בו התמונה מדברת עם תנועות גוף טבעיות התואמות לדיבור עצמו בהתאם לאימון שהוא עבר.

אופן פעולת ה-vlogger (מקור vlogger)
אופן פעולת ה-vlogger (מקור vlogger)

לצד היכולת להנפיש תמונות, המודל החדש יוכל לשמש גם ככלי עריכה לסרטוני וידאו קיימים בשפה מסויימת ולערוך את הבעות הפנים השונות על מנת להתאים את הסרטון לדיבור בשפה שונה, דבר שיאפשר למשתמשים לקחת סרטון וידאו שצולם בשפה האנגלית ולהמיר אותו לסרטון זהה בשפה ספרדית, לדוגמה, תוך כדי שתנועת השפתיים משתנה על מנת להתאים לשפה החדשה כדי למנוע חוסר תאימות בין השמע לדיבור.

ניתן לראות מגוון רחב מאוד של דוגמאות לסרטוני וידאו המיוצרים על ידי VLOGGER על בסיס תמונות באתר הרשמי ולקרוא את עבודת המחקר על המדל (PDF).

סרטון הסבר רשמי קצר על VLOGGER:

 


חלק מהפוסטים באתר כוללים קישורי תכניות שותפים, עבורם נקבל עמלה עם ביצוע רכישה בפועל של מוצרים. עמלה זו לא מייקרת את העלות הסופית של המוצרים עבורכם.

הסקירות והתכנים המופיעים באתר מהווים המלצה בלבד, וכך יש להתייחס אליהם. כל המחירים המופיעים באתר נכונים ליום הפרסום בלבד והאחריות לקניית מוצר או שירות כזה או אחר מוטלת עליך בלבד – השימוש באתר בהתאם לתנאי השימוש והפרטיות.

השוואת מפרטים