חוקרי בייטדאנס (ByteDance) הסינית, המוכרת במיוחד כחברה העומדת מאחורי טיקטוק (TikTok), ואוניברסיטת הונג קונג (HKU), הכריזו על משפחת מודלי ה-Goku, מחוללי תמונות ווידאו מבוססי בינה מלאכותית, עם גרסת +Goku יעודית ליצירת פרסומות וידאו.
לאחר שרק בשבוע הקודם הציגו חוקרי בייטדאנס את מודל ה-OmniHuman-1 ההופך תמונות לסרטוני וידאו, החוקרים של החברה הציגו את מודל ה-Goku החדש, המסוגל לייצר תמונות או וידאו מטקסט או להפוך תמונות לסרטוני וידאו קצרים, שנועד להתחרות במחוללי וידאו דוגמת Movie Gen של מטא, Lumiere של גוגל או Gen-3 של Runway.
המודלים החדשים מתבססים על ארכיטקטורת "טרנספורמרים עם זרימה מתוקנת" (rectified flow Transformers) המספקים תמונות ווידאו באיכות גבוהה, כאשר לפי החוקרים המודל הצליח להשיג את הניקוד הגבוה ביותר של 84.85 במבחן הטקסט לוידאו VBench, בהשוואה ל-79.23 של מודל ה-OpenSora 1.2 או 82.32 של מחולל הוידאו Gen-3.
בין הדוגמאות לסרטוני וידאו שנוצרו על ידי Goku אפשר למצוא:
עיר בשמיים מעל העננים, עם ספינות אוויר ענקיות גולשות דרכה, וצריחי עיר שזוהרים באור מיסטי.
סרטון וידאו נוסף שיראה מוכר למשתמשים שראו השקת מודל ה-Sora של OpenAI מגיע כחלק מסט הפרומפטים של מבחן ה-MovieGenBench:
אישה מסוגננת הולכת ברחוב בטוקיו. הרחוב מלא בשלטי נאון זוהרים וחמים עם שילוט מונפש של העיר. היא לובשת ז'קט עור שחור, שמלה אדומה ארוכה ומגפיים שחורים ונושאת ארנק שחור. היא לובשת משקפי שמש ושפתון אדום. היא הולכת בביטחון ונינוחות. הרחוב לח ומשקף, יוצר אפקט מראה של האורות הצבעוניים. הולכי רגל רבים מסתובבים.
לייצר פרסומות עם +Goku
לצד מודל ה-Goku הסטנדרטי, החוקרים יצרו גרסה יעודית של המודל לתחום הפרסום עם האפשרות לייצר סרטונים באורך של יותר מ-20 שניות.
המודל מסוגל להפוך תמונות של מוצרים לסרטוני וידאו או לייצר אינטראקציה בין בן אדם למוצר כפי שאפשר לראות בסרטון מטה.
לפי החוקרים, המודל מסוגל לייצר פרסומות בעלות נמוכה פי 100 מפרסומת רגילה, דבר שצפוי לחולל מהפכה בתחום הפרסום.
מודל ה-Goku החדש אינו זמין בשלב הנוכחי לשימוש ציבורי, וניתן למצוא מידע נוסף באתר הרשמי עם דוגמאות וידאו נוספות ב-Hugging Face.
עוקבים? כל החדשות מגאדג'טי
חלק מהפוסטים באתר כוללים קישורי תכניות שותפים, עבורם נקבל עמלה עם ביצוע רכישה בפועל של מוצרים. עמלה זו לא מייקרת את העלות הסופית של המוצרים עבורכם.
הסקירות והתכנים המופיעים באתר מהווים המלצה בלבד, וכך יש להתייחס אליהם. כל המחירים המופיעים באתר נכונים ליום הפרסום בלבד והאחריות לקניית מוצר או שירות כזה או אחר מוטלת עליך בלבד – השימוש באתר בהתאם לתנאי השימוש והפרטיות.