אנבידיה (nvidia) הכריזה היום (ב’, 25.11) על Fugatto (“פוגאטו”, ר”ת Foundational Generative Audio Transformer Opus) מודל בינה מלאכותית גנרטיבית (GenAI) לתחום האודיו המשמש כמודל שמע רבע תכליתי המסוגל לייצר סאונד, מוזיקה וקול באמצעות קלט טקסטואלי אך גם לשנות ולהתאים קטעי מוזיקה, שמע וצלילים קיימים בהתאם לקלט של המשתמש וקבצי השמע המקוריים.
בזמן שמודלי ה-AI השונים הצליחו להציג התקדמות מרשימה ביצירת תמונות וסרטוני וידאו, מחוללי אודיו עדיין נחשבים לאחת מהנקודות החלשות יותר בתחום הבינה המלאכותית הגנרטיבית, דבר אותו אנבידיה רוצה לתקן עם מודל ה-Fugatto החדש, שיוכל להפיק כל שילוב סאונד, מוזיקה וקול ולאפשר גם עריכות לקבצי שמע קיימים, בהן החלפת מבטא, אינטונציה או כלי נגינה דלמים בהתאם לקלט טקסטואלי.
המודל החדש עדיין נמצא בשלבי מחקר ומפותח במיוחד בעבור יוצרים, מוזיקאים, מלחינים, פרסומאים, מפתחי משחקים ותוכנות ואנשי תוכן על מנת לאפשר להם ליצור קטעי מוזיקה חדשים, לשלב אפקטים, להטמיע קולות או לשלב בין קטעי שמע שונים גם בשילובים פחות הגיוניים, דוגמת סקסופון שנובח כמו כלב או מיילל כמו חתול.
לפי אנבידיה, Fugatto יוצא דופן בהשוואה למודלי אודיו אחרים בשוק הודות לאפשרות ליצור סאונד אליו הוא מעולם לא נחשף קודם לכן, כאשר מפיקים מוזיקליים יוכלו להשתמש ב-Fugatto ליצירת סקיצות או בדיקת רעיונות חדשים עם כלי נגינה וסגנונות שונים, או לשפר איכות של קטעי שמע קיימים.
עידו זמישלני, מפיק וכותב שירים ומייסד-שותף של חברת הסטארטאפ One Take Audio המשתתפת ב-NVIDIA Inception, תוכנית הסטארטאפים של NVIDIA, אמר:
זהו מודל מהפכני. סאונד הוא ההשראה שלי, והיכולת לייצר צלילים חדשים בזמן אמת באולפן היא דבר מדהים בעיניי. ההיסטוריה של המוזיקה היא גם היסטוריה של טכנולוגיה. הגיטרה החשמלית הביאה לעולם את הרוקנרול. כשהסמפלר הופיע, ההיפ הופ נולד. כעת, עם בינה מלאכותית, אנחנו כותבים את הפרק הבא בתחום המוזיקה. יש לנו כלי מוזיקלי חדש וזה סופר מרגש.
מודל ה-Fugatto החדש פותח על בסיס פיתוחי העבר של אנבידיה, בהם מודלי ה-BigVGAN ו-P-Flow אותם הציגה החברה בעבר, כאשר בגרסה המלאה שלו Fugatto כולל כ~2.5 מיליארד פרמטרים והוא אומן על מערכות NVIDIA DGX עם 32 מאיצי NVIDIA H100 בשימוש בטכניקת ComposableART ייחודית.
עוקבים? כל החדשות מגאדג'טי
חלק מהפוסטים באתר כוללים קישורי תכניות שותפים, עבורם נקבל עמלה עם ביצוע רכישה בפועל של מוצרים. עמלה זו לא מייקרת את העלות הסופית של המוצרים עבורכם.
הסקירות והתכנים המופיעים באתר מהווים המלצה בלבד, וכך יש להתייחס אליהם. כל המחירים המופיעים באתר נכונים ליום הפרסום בלבד והאחריות לקניית מוצר או שירות כזה או אחר מוטלת עליך בלבד – השימוש באתר בהתאם לתנאי השימוש והפרטיות.