Gebruik van AI in videoproductieproces
Gebruik van AI in videoproductieproces
Generatieve AI (Artificial Intelligence) dringt de wereld van videoproductie met rasse schreden binnen. Deze technologie heeft het potentieel om alle aspecten van de videoproductie, van preproductie tot postproductie, te transformeren. In dit artikel bespreken we de huidige stand van zaken en de mogelijke impact van generatieve AI op de verschillende productiefasen.
Gestart als Festival van de Bedrijfsfilm
Gebruik AI in het videoproductieproces: een stand van zaken
Hoewel heel wat videoproducenten AI-technologie gebruiken in het videoproductieproces, zien we dat op het vlak van bewegende beelden er toch nog een hele weg te gaan is. Belgische videoproducenten blijken AI vooral in te zetten in de preproductiefase en in de postproductiefase. In de productiefase zelf komt weinig AI aan bod. Er zijn immers ook nog geen bruikbare tools die de productiefase helemaal kunnen overnemen. (Productiehuizen in het AI-tijdperk, 2024) De huidige tekst-to-video en image-to-video-tools bieden vaak onvoorspelbare resultaten. Het is een heel grote uitdaging om meerdere scènes met consistente karakters te maken, omdat AI nooit exact hetzelfde beeld twee keer na elkaar genereert. Zo blijft live gaan filmen zeer relevant en zal dat niet snel of zelfs helemaal niet vervangen kunnen worden door AI in corporate video.
AI is wel een bruikbare tool in de preproductiefase. Het kan een meerwaarde zijn bij het generen van moodboards en moodvideo’s. Ook kan AI het schrijfproces van scripts en het maken van storyboards enorm versnellen. Al moet je hier ook mee opletten, want AI is goed in het structureren van verhalen maar slecht in het bedenken ervan. (Lees, 2023)Daarnaast kunnen AI-beelden stockfoto’s en -video’s vervangen.
In de postproductiefase merken we dat veel AI-tools geïntegreerd zijn in bestaande platformen zoals Adobe. Generated fill, automatische ondertiteling, toevoegen van VFX, automatische color grading, creëren van voice overs, …: het is allemaal al mogelijk via AI en het zal meer en meer geïntegreerd worden in bestaande tools en zo de workflow vergemakkelijken (Creative AI Lab, 2024; Ruczak, 2023).
Ook in de productiefase zijn er al wat mogelijkheden, al zijn die beperkter en leveren die minder goede resultaten. Net zoals afbeeldingen gegeneerd kunnen worden aan de hand van generatieve AI, is dit sinds kort ook mogelijk voor video. De meest gekende tool hiervoor is Runway, met daarna Pika, Haiper, Stable Diffusion, Leonardo.ai, … In Runway kan je video’s generen aan de hand van eenvoudige tekst (text-to-video) of kan je bestaande afbeeldingen (of AI-gegeneerde afbeeldingen) animeren (image-to-video). De AI-tool ontwikkelt op basis daarvan dan een aantal seconden aan video. Je kan zelf bijvoorbeeld nog camerabewegingen of de hoeveelheid motion opgeven om wat meer controle te krijgen over je beeld. Toch zijn de resultaten van de huidige tools nog vrij onvoorspelbaar. Daarnaast hebben ze problemen met temporele consistentie en het begrijpen van fysieke wetten zoals zwaartekracht (Creative AI Lab, 2024).
Voor wie nog een stap verder wil zetten in AI-gebruik, bestaat de tool Stable Diffusion. Het grote verschil is dat deze tool lokaal draait. De UI van de interface is een pak ingewikkelder en een grote GPU-kracht is nodig. Voor wie dit niet afschrikt, is Stable Diffusion de ideale tool voor wie verder wil experimenteren met AI en niet wil vasthangen aan de beperkingen van bestaande programma’s. Zeker de Comfy-ui-workflow biedt veel mogelijkheden op het vlak van het generen van video. Die tool werkt namelijk met een node-systeem waarbij je elk segment manueel kan manipuleren en zo meer controle kan krijgen over het gegeneerde beeld (Creative AI Lab, 2024).
Met de aankondiging van Sora door OpenAI komt de door AI gegenereerde video nog een stapje dichterbij. Sora heeft een tekst-to-video-functie die complexe, realistisch bewegende scènes kan maken met meerdere personages, specifieke bewegingstypes en nauwkeurige details van het onderwerp en de achtergrond, “terwijl het de visuele kwaliteit behoudt en trouw blijft aan de instructies van de gebruiker”. Ondanks het feit dat Sora momenteel nog niet beschikbaar is, circuleren er al veel beelden die er veelbelovend uitzien. (Mearian, 2024).
Gebruik van AI door inzenders video’s Video Experience Day
Hoewel AI het nieuwe ‘hot topic’ is in de creatieve sector, blijkt toch dat veel bedrijven momenteel de tools nog weinig tot niet inzetten in hun productie-workflow. We zien dit ook bij de inzenders van video’s voor de wedstrijd van de Video Experience Day (n=80). We hebben de inzenders een aantal extra vragen gesteld over het gebruik van AI in het videoproductieproces, eerst algemeen en daarna specifiek met betrekking tot de ingezonden video.
Op de vraag “In welke mate gebruikt uw bedrijf of organisatie momenteel AI-toepassingen in elke fase van het videoproductieproces?” gaf 64 % van de inzenders aan AI in één of meerdere fasen van het productieproces te gebruiken. De andere 36 % bleef het antwoord schuldig of gaf aan het niet te weten.
De twee fases waar momenteel het meest gebruikgemaakt wordt van AI, is de preproductiefase en de postproductiefase. 59% van de inzenders maakt reeds gebruik van AI in de preproductiefase. Dat doen ze echter niet systematisch , want drie vierde geeft aan het slechts af en toe in te zetten. Ze gebruiken het vooral als hulpmiddel om te brainstormen, moodboards te maken, scripts en storyboards uit te schrijven of te verfijnen en om creatieve concepten te visualiseren, zoals blijkt uit volgende reactie:
“Voor steun bij de preproductie, het maken van moodboards en het verfijnen van scripts. Het conceptuele idee vraagt echter om inzichten die niet door AI kunnen worden gebracht.”
Iets meer dan de helft van de inzenders zet AI in in de postproductiefase. Ook hier zegt een kleine meerderheid (53%) het slechts af en toe te gebruiken. Zo is AI een hulpmiddel bij de montage, VFX, de verfijning van beelden, het opstellen van subtitles en vertalingen en het creëren en optimaliseren van de audio.
In de productiefase wordt heel wat minder gebruikgemaakt van AI. Slechts één op de vijf inzenders zegt AI in te zetten in de productiefase. De meerderheid van deze respondenten gebruikt slechts af en toe AI om beelden en/of animaties te creëren.
Tot slot gebruikt een kleine minderheid AI in het proces van distributie en analyse (18%). Deze respondenten zetten AI onder andere in om samenvattingen van hun video’s te genereren voor sociale media, om stills te bewerken en bij de planning en analyse van de posts.
Er is dus nog veel groei mogelijk op het vlak van de inzet van AI in het videoproductieproces. Zo gaven bijna alle inzenders aan AI in de toekomst te willen inzetten. Slechts één op de tien respondenten is niet van plan om AI te gebruiken in de toekomst.
Als we tot slot vragen naar de mate waarin AI gebruikt is bij de effectief ingezonden video’s voor de Video Experience Day 2024, zien we dat er slechts bij een klein aantal video’s (10%) AI aan te pas kwam. Er is bovendien nog heel wat marge om bij te leren, want op de vraag hoe de implementatie van AI binnen het videoproductieproces de efficiëntie van de eindproducten heeft beïnvloed, geeft drie vierde als antwoord dat het weinig tot een matige impact had.
Bibliografie
(2024, april 30). Opgehaald van Creative AI Lab: https://www.creativeailab.be/
Lees, D. (2023, winter). The year in AI. Sight & Sound, p. 53.
Mearian, L. (2024, Februari 21). OpenAI’s Sora text-to-video tool’s impact will be ‘profound’. Computerworld, pp. 7-7.
Productiehuizen in het AI-tijdperk. (2024, februari 22). Media Marketing.
Ruczak, K. (2023, July 1). AI: New applications for post production. Computer graphics World, pp. 22-23.
