מחולל הווידאו החדש FramePack משנה את כללי המשחק ומאפשר להמיר תמונות לסרטוני וידאו קצרים של עד דקה ללא דרישה לחומרה גרפית עוצמתית. המודל, בעל 13 מיליארד פרמטרים, תוכנן במיוחד כדי לפעול ביעילות גם על כרטיסי מסך עם זיכרון של 6GB בלבד.
תחום מחוללי הווידאו באמצעות בינה מלאכותית גנרטיבית חווה התקדמות מרשימה לאחרונה, עם מודלים דוגמת Runway Gen 4 ו-Sora של OpenAI, לצד רבים אחרים. עם זאת, מכנה משותף לרוב מחוללי הווידאו הקיימים הוא הצורך במערכות שרתים חזקות ובחומרה מתקדמת כדי לבצע את תהליך יצירת הווידאו.
מודל FramePack מנסה לשנות זאת עם שינוי בגישה הקיימת ליצירת פריימים על ידי התייחסות לפריימים קודמים לשם שמירה על עקביות ויזואלית לאורך הסרטון. בשיטות קודמות, מדובר בבעיית סיבוכיות לינארית של O(n), התלויה באורך הווידאו המבוקש, מה שמגדיל את דרישות הזיכרון באופן משמעותי.
לעומת זאת, ב-FramePack, רק הפריים הראשון שנוצר דורש את מירב משאבי המודל. כל פריים עוקב נבנה על בסיס קודמו, מה שמפחית את דרישות המשאבים באופן גיאומטרי. המחולל הופך ליעיל במיוחד ולמעשה אינו תלוי באורך הווידאו (סיבוכיות של O(1)), דבר שמוריד משמעותית את הצורך בזיכרון גרפי גדול.
הסבר מופשט ל-FramePack (מקור framepack)
דוגמאות לסרטוני וידאו קצרים עם מחולל ה-FramePack
בזכות העיצוב היעיל שלו, מודל ה-FramePack מסוגל לייצר פריימים בקצב של עד 2.5 פריימים בשניה על כרטיס מסך RTX 4090 גרפי, אך הוא נועד לעבוד ללא בעיה על חומרה חלשה ובעלת זיכרון נמוך יותר.
בין הדוגמאות השונות אותן הציגו מפתחי מודל ה-FramePack החדש, אפשר למצוא את הדוגמאות הבאות לסרטוני וידאו קצרים של 5 שניות ב-30 פריימים שנוצרו על בסיס תמונה בודדת באמצעות מחשב נייד עם כרטיס RTX 3060 6GB גרפי.
תמונות הבסיס שסופקו למודל
הוידאו שנוצר על בסיס התמונות
ניתן ללמוד עוד על מחולל הוידאו FramePack באתר הרשמי, לקרוא את עבודת המחקר על המודל ב-arXiv ולהוריד את קוד המודל מ-GitHub.
עוקבים? כל החדשות מגאדג'טי
חלק מהפוסטים באתר כוללים קישורי תכניות שותפים, עבורם נקבל עמלה עם ביצוע רכישה בפועל של מוצרים. עמלה זו לא מייקרת את העלות הסופית של המוצרים עבורכם.
הסקירות והתכנים המופיעים באתר מהווים המלצה בלבד, וכך יש להתייחס אליהם. כל המחירים המופיעים באתר נכונים ליום הפרסום בלבד והאחריות לקניית מוצר או שירות כזה או אחר מוטלת עליך בלבד – השימוש באתר בהתאם לתנאי השימוש והפרטיות.