Air Head creators say OpenAI's Sora finicky to work with, needs hundreds of prompts, serious VFX work for under 2 minutes of cohesive story ^↺

Toen OpenAI Sora aankondigde, de AI die video's genereert, was een van de video's die werd gebruikt om de mogelijkheden ervan te demonstreren de korte video van Shy Kids met de titel Air Head. Hoewel de video aanvankelijk werd aangeprezen als een indrukwekkende showreel voor het OpenAI-model, onthult een recent interview met FX Guide met Shy Kids onthult dat er veel meer werk in de video zat dan velen dachten.

Hoewel wat Sora kan zeker indrukwekkend is en een jaar of twee geleden nog bijna onmogelijk was, had het Shy Kids team toch bijna twee weken nodig om Air Head te maken - voornamelijk vanwege de beperkingen van de AI. Een van de grootste obstakels waar Shy Kids met Sora tegenaan liep, was het gebrek aan samenhang, waardoor het productieteam een onorthodoxe montagemethode moest gebruiken, vergelijkbaar met het maken van een found footage film of documentaire.

Het was gewoon een heleboel opnamen maken en die op een interessante manier voor het VO proberen te monteren. - Patrick Cederberg, postproductie van Air Head

Shy Kids zegt dat het een script had voor de video, maar het team moest soepel zijn en zich aanpassen aan de gevarieerde output die Sora genereerde. Shy Kids had ook moeite om de dingen consistent te houden van shot tot shot, waarbij Sora vaak een ander soort hoofd op de ballon genereerde. Cederberg zegt dat er in totaal "honderden generaties" nodig waren om iets minder dan anderhalve minuut gemonteerd beeldmateriaal voor de video te krijgen. Hij schat ook dat de verhouding tussen bronmateriaal en uiteindelijke inhoud 300:1 was, wat betekent dat Shy Kids slechts ongeveer 0,33% van de video die Sora genereerde gebruikte in de uiteindelijke montage.

Mijn wiskunde is slecht, maar ik schat waarschijnlijk 300:1 als het gaat om de hoeveelheid bronmateriaal ten opzichte van wat er uiteindelijk in de uiteindelijke montage terecht is gekomen.

Werken met Sora betekende echter meer dan alleen het genereren van honderden clips. Het team moest ook handmatig alle reguliere taken uitvoeren, zoals color grading, retiming en zelfs VFX om ongewenste elementen uit het frame te verwijderen. In één gegenereerde clip voerde Sora een ballon uit met een gezicht op de voorkant, en in andere clips had de ballon verschillende kleuren of hing er een ongewenst touwtje aan de onderkant.

Bij geavanceerdere VFX-toepassingen verwijderde het Shy Kids team een compleet hoofd dat op Sonny, het hoofdpersonage, was gegenereerd in plaats van de ballon. Dingen zoals deze werden verwijderd in Adobe After Effects(dat $34,99/mo. kost en verkrijgbaar is op Amazon) om tot een eindproduct te komen.

Hoewel Sora en generatieve AI-video al een lange weg hebben afgelegd, lijkt het erop dat het de artiesten achter de schermen nog lang niet heeft vervangen - vooral als de inhoud die wordt geproduceerd bedoeld is om samenhangend te zijn of iets langer dan een paar seconden. Dit verklaart waarschijnlijk ook waarom, met uitzondering van twee, alle "onbewerkte" clips die OpenAI op zijn Sora-pagina heeft geplaatst 20 seconden of minder duren.