Meta ha presentato Movie Gen, un’intelligenza artificiale in grado di creare e modificare video con musica ed effetti sonori utilizzando istruzioni di testo. L’intelligenza artificiale è all’avanguardia nelle sue capacità di generazione di video e audio, con caratteristiche e realismo che nessun’altra intelligenza artificiale può eguagliare.
Movie Gen è un modello AI da 30 miliardi di parametri in grado di generare clip HD di 16 secondi da istruzioni di testo. L’intelligenza artificiale è stata pre-addestrata su un miliardo di immagini e 100 milioni di video. I video sono stati selezionati da una raccolta molto più ampia per migliorare la qualità dell’allenamento. Movie Gen Audio è un modello AI da 13 miliardi di parametri in grado di generare effetti sonori e musica a 48kHz da istruzioni di testo. L’IA è stata pre-addestrata su un milione di ore di audio. Per perfezionare l’intelligenza artificiale sono stati utilizzati feedback umani ed esempi audio e video di alta qualità.
Data una fotografia di una persona e una descrizione di quella persona in una scena, l’intelligenza artificiale può generare un video realistico di un attore e di una scena animati. L’intelligenza artificiale è stata addestrata in 22 tipi di movimenti e posizioni della telecamera, come grandangolo, inclinazione verso l’alto e inclinazione a sinistra, consentendo ai filmmaker di specificare il posizionamento e i movimenti della telecamera virtuale come durante una ripresa reale. I registi che desiderano realizzare film con attori e set reali possono utilizzare una DSLR di prim’ordine, come l’ultima Nikon Z6III disponibile su Amazon. Movie Gen è l’unico in grado di modificare video in modo accurato e realistico. Altri software AI attualmente non possono creare modifiche buone come Movie Gen Edit.
I suggerimenti di testo possono anche aggiungere suoni professionali ai clip, inclusi effetti sonori e spartiti musicali. L’intelligenza artificiale può creare musica della durata di diversi minuti, ma è limitata a videoclip di 16 secondi a causa delle enormi risorse di calcolo necessarie. L’audio segue i ritmi di una scena e può generare suoni fuori schermo, come il canto degli uccelli in una foresta, a seconda del contesto della scena.
Meta sta lavorando per aggiungere protezioni per Movie Gen e rilascerà l’IA una volta che sarà sicuro della sua sicurezza.
