Meta onthult Movie Gen AI om video's en muziek te maken met behulp van tekstaanwijzingen om filmmakers te helpen tijd en geld te besparen

Meta heeft Movie Gen onthuld, een AI die video's met muziek en geluidseffecten kan maken en bewerken met behulp van tekstaanwijzingen. De AI is state-of-the-art in zijn mogelijkheden om video en audio te genereren, met functies en realisme waar geen enkele andere AI aan kan tippen.

Movie Gen is een AI-model met 30 miljard parameters dat HD-clips van 16 seconden kan genereren aan de hand van tekstaanwijzingen. De AI is vooraf getraind op één miljard afbeeldingen en 100 miljoen video's. De video's zijn uit een veel grotere collectie geselecteerd op kwaliteit om de training te verbeteren. Movie Gen Audio is een AI-model met 13 miljard parameters dat geluidseffecten en muziek van 48 kHz kan genereren uit tekstaanwijzingen. De AI is vooraf getraind op een miljoen uur audio. Menselijke feedback en audio- en videovoorbeelden van hoge kwaliteit werden gebruikt om de AI te verfijnen.

Gegeven een foto van een persoon en een beschrijving van die persoon in een scène, kan de AI realistische video's van een geanimeerde acteur en scène genereren. De AI is getraind op 22 soorten camerabewegingen en -posities, zoals groothoek, omhoog kantelen en naar links trekken, zodat filmmakers virtuele cameraposities en -bewegingen kunnen specificeren zoals bij een echte opname. Filmmakers die erop staan om films met echte acteurs en sets te maken, kunnen een eersteklas DSLR gebruiken , zoals de nieuwste Nikon Z6III op Amazon. Uniek is dat Movie Gen video's nauwkeurig en realistisch kan bewerken. Andere AI kunnen momenteel geen bewerkingen maken die zo goed zijn als die van Movie Gen Edit.

Tekstaanwijzingen kunnen ook professioneel klinkende audio aan de clips toevoegen, inclusief geluidseffecten en muziekscores. De AI kan muziek van meerdere minuten maken, maar is beperkt tot videoclips van 16 seconden vanwege de enorme computercapaciteit die hiervoor nodig is. De audio volgt de beats in een scène en kan geluiden buiten het scherm genereren, zoals vogels die in een bos tsjilpen, gebaseerd op de context van de scène.

Meta werkt aan het toevoegen van beveiligingen aan Movie Gen en zal de AI vrijgeven zodra het vertrouwen heeft in de veiligheid ervan.