גוגל (Google) הכריזה על Lumiere ("לומייר"), מחולל וידאו מבוסס הטקסט החדש של החברה, המסוגל לייצר סרטוני וידאו באיכות גבוהה ומרשימה במיוחד בזכות מודל ייחודי שפותח בשיתוף פעולה בין חטיבת המחקר של גוגל עם מכון ויצמן, אוניברסטית תל-אביב והטכניון.
תחום הבינה המלאכותית ממשיך להציג קצב התקדמות מרשים במיוחד, החל ממודלי שפה גדולים דוגמת Gemini ומחולל התמונות Imagen 2 השייכים לגוגל, כאשר הפעם החברה הציגה קפיצת מדרגה מרשימה במיוחד בתחום מחוללי הוידאו עם מודל ה-Lumiere החדש, בהשוואה למודל ה-Imagen Video הקודם.
מלבד היכולות הרגילות של יצירת וידאו מטקסט, המודל החדש תומך גם ביצירת וידאו מתמונות קיימות, עם תוספת קלט טקסואלי על הפעולה שתתרחש בוידאו.
ניתן להשתמש בתמונה קיימת על מנת לקבוע את עיצוב הוידאו, לשנות סגנונות של סרטונים קיימים ועוד הרבה מאוד אפשרויות מתקדמות נוספות, כמו שינוי סרטוני וידאו קיימים באמצעות טקסט.
TLDR: Meet ✨Lumiere✨ our new text-to-video model from @GoogleAI!
Lumiere is designed to create entire clips in just one go!
Seamlessly opening up possibilities for many applications:
Image-to-video 🖼️ Stylized generation 🖌️ Video editing 🪩 and beyond.See 🧵👇 pic.twitter.com/Szj8rjN2md
— Hila Chefer (@hila_chefer) January 24, 2024
בניגוד למחוללי וידאו קיימים, המייצרים לרוב תמונות חשובות בהתחלה ובסוף של הוידאו ו"ממלאים" את החלל שביניהן, מודל ה-Lumiere מוגדר כמודל Space-Time Diffusion חדשני, שבצורה מופשטת מייצר את רצף התמונות המלא על מנת לייצר את הוידאו, מה שמאפשר לו לשמור על איכות גבוהה במיוחד, כפי שניתן לראות בדוגמאות הרבות באתר הרשמי.
יש להדגיש כי מודל ה-lumiere לא זמין כרגע לשימוש עבור הקהל הרחב ואין צפי לשחרור המודל לשימוש כזה, כאשר החוקרים מציינים חשש לניצול לרעה של המודל במיוחד ביצירת סרטוני דיפ-פייק.
מומלץ מאוד לבקר באתר הרשמי של Lumiere על מנת לראות את דוגמאות הוידאו המרשימות, כאשר ניתן לקרוא את עבודת המחקר המלאה על מודל באתר Arxiv.
עוקבים? כל החדשות מגאדג'טי
חלק מהפוסטים באתר כוללים קישורי תכניות שותפים, עבורם נקבל עמלה עם ביצוע רכישה בפועל של מוצרים. עמלה זו לא מייקרת את העלות הסופית של המוצרים עבורכם.
הסקירות והתכנים המופיעים באתר מהווים המלצה בלבד, וכך יש להתייחס אליהם. כל המחירים המופיעים באתר נכונים ליום הפרסום בלבד והאחריות לקניית מוצר או שירות כזה או אחר מוטלת עליך בלבד – השימוש באתר בהתאם לתנאי השימוש והפרטיות.