Arie Altena
index
Computeranimaties van bewegende hoofden
Arie Altena
Deze tekst werd in opdracht geschreven voor de tentoonstelling Moving Heads, die begin 2003 georganiseerd werd door Serge Onnen en te zien was in Galerie Outline in Amsterdam: http://www.outlineamsterdam.nl. Een Engelse vertaling van deze tekst is te vinden via http://www.outlineamsterdam.nl/nl/programma/2003/movinghead.html.
Socrates: Which would you consider the more worthy of admiration, a
fashioner of senseless images devoid of motion or one who could
fashion living creatures endowed with understanding and activity?
Xenophon: Memorabilia of Socrates
Drie-dimensionale computeranimaties van hoofden en gezichten zijn niets bijzonders meer: ze worden gebruikt in games, in tekenfilms, voor medische visualisaties, opsporingsfoto's en in reclame. De instrumenten om computeranimaties te maken zijn weliswaar in hun meest voortgeschreven vorm alleen in handen zijn van de industrie - met hun enorme teams en budgetten - maar eenvoudigere softwarepakketten zijn voor iedereen beschikbaar, en worden door liefhebbers intensief gebruikt. Dit heeft geleid tot een levendige scene van het zelf creeëren van 'skins' voor je eigen personages in games als Quake. De games-engines van Quake en Unreal worden zelfs gebruikt om animatiefilms met met virtuele acteurs te construeren. Wie een willekeurig computer- of gamestijdschrift opslaat vindt artikelen waarin uitgelegd wordt hoe men in een bepaald softwarepakket hoofden modelleert en laat bewegen. Maar hoe gewoon die computer-generated characters ook zijn geworden, toch blijven ze fascineren: die artificieële, uit code gegroeide wezens, die op het scherm soms zelfs 'even echt' overkomen en even vloeiend bewegen, als acteurs van vlees en bloed.
De afgelopen jaren zijn dan ook verschillende keren verhalen over virtuele actrices, nieuwslezers en popsterren in het nieuws gekomen. Gibsons SF-roman Idoru werd door de realiteit ingehaald toen de virtuele ster Kyoko Date de harten van jongens en meisjes veroverde (en even snel verdween als ze gekomen was); korte tijd las de virtuele Ananova het nieuws voor op de gelijknamige website (inmiddels gewoon een nieuwssite), en er ontstond een kleine hype rondom het computer-character Aki uit de verfilming van de computergame Final Fantasy. Deze computeranimaties spraken zo tot de verbeelding dat ze door de fans benaderd werden alsof ze echte filmsterren waren. (Dat zegt overigens evenveel over de aantrekkingskracht van het artificieële, als over de kunst van het creëren en vermarkten van geloofwaardige karakters, als over de artificialiteit van de glamour- en MTV-wereld).
De vraag naar de levensechtheid van kunstmatige karakters komt ook aan de orde in de recentere film Simone (S1mOne) uit 2002. De hoofdpersoon, een filmregisseur Taransky, gespeeld door Al Pacino, zet een virtuele actrice in wanneer hij niet meer kan beschikken over de filmster die de vrouwelijke hoofdrol moet spelen in zijn productie. (Is het toevallig dat hier weer eens een ideale vrouw uit code gegenereerd wordt: de droom van elke man die genoeg heeft van de nukken van vrouwen?) De virtuele actrice is een synthespian, een computer-generated-character. "This is the end of the Real" buikspreekt Pacino voor haar. Zijn publiek heeft het 'bedrog' niet door en neemt de illusie voor 'the real thing' neemt. Het thema houdt Hollywood, bezig. Geen wonder in een tijd waarin de grenzen tussen animatiefilm, computergame en acteursfilm vervagen.
computeranimaties en de beeldende kunst
Wat doet beeldende kunstenaars uit het galerie- en museumcircuit met de ons omringende computergegenereerde beelden van hoofden en gezichten? Met het vervagen van de grenzen tussen animatie en door camera's geschoten film? Met de fascinatie voor kunstmatige gezichten? Wat is het gezicht van een computer? Van kunstenaars verwachten we bijvoorbeeld een engagement met de wereld van door computers gegenereerde beelden, of de toe-eigening van de schoonheid ervan; we verwachten een reactie erop, een verwerking ervan; we hopen op kritische of vrolijke vragen, op vreemde invalshoeken, op uitdieping en ondergraving. Maar kunnen zij wel concurreren met de grote animatiestudio's en de gamesontwerpers en hun teams? Heeft het wel zin om de kunstenaar Magnus Wallin, die in 2002 furore maakte met zijn computeranimatiefilm Skyline, te vergelijken met Peter Molyneux en de andere makers van Black & White? Of zijn het werelden die, ook financieel-economisch gezien, te ver uit elkaar liggen? Kunnen de kunstenaars niet veel meer doen dan commentaar leveren op de 'industrie', en een artistiek interessante invulling weten te geven aan de culturele praktijken van al die thuis liefhebberende 3D- en gamesskin-ontwerpers?
annlee
Pierre Huyghe en Phillipe Parreno toerden de afgelopen jaren langs de internationale musea voor moderne kunst met hun No Ghost, just a Shell-project. In 1999 kochten zij het copyright op het digitale model Annlee van het Japanse bedrijf Kwork dat specialiseert in het ontwikkelen van personages voor animatiefilms, reclame, manga's en computergames. Annlee was een goedkoop personage: haar karaktertrekken waren nauwelijks gedefinieerd. Ontwikkelde karakters zijn duurder omdat er meer manuren zijn besteed aan het samenstellen van een geloofwaardige of spannende mix van eigenschappen die een karakter vormen dat verhalen suggereert. Annlee's leven zou kortstondig zijn geweest als Huyghe en Parreno haar niet uit handen van de industrie hadden 'gered'. Bevriende kunstenaars kregen de opdracht om haar verder te ontwikkelen: "Work with her, in a real story, translate her capabilities into psychological traits, lend her a character, a text, a denunciation, and address to the Court a trial in her defence... Do all that you can so that this character lives different stories and experiences. So that she can act as a sign, as a live logo." Ze is, zoals de titel aangeeft een lege huls die gevuld en tot leven gebracht kan worden. Het project gaat in op copyrightkwesties, en stelt de vraag hoe identiteit in kunst, film of realiteit tot stand komt, of een figuur in handen van verschillende 'auteurs' een identiteit behoudt, of gaat verschillen. Rirkrit Tiravanija laat haar in een 8 uur durende film Philip K. Dicks Do Androids dream of Electric Sheep voorlezen, anderen gebruiken haar beeld in reclame-achtige posters, of in een grafitti-context. Hoewel Huyghe en Parreno hun 'lege huls' ontlenen aan de wereld van de computeranimatie, laat het werk in de tentoonstelling vooral zien dat een beeld in verschillende contexten kan terugkeren, gebruikt en misbruikt kan worden, en daarbij verschillende betekenissen aanneemt. Iets wat niet alleen voor computer-gegenereerde karakters geldt.
feng mengbo
De Chinese kunstenaar Feng Mengbo is al jaren een enthousiast speler van first-person shooter-games zoals Doom en Quake. Voor de afgelopen Documenta had hij een netwerk laten installeren waarop men van over de hele wereld kon inloggen om te Quaken. Niets bijzonders. Op zich was het ook niet bijzonder dat Feng Mengbo voor zichzelf een eigen skin had gemaakt en door de digitale ruimtes rende - ook dat is normale praktijk onder Quakers. Bijzonderder was dat zijn skin een reproductie was van zijn eigen uiterlijk - hij was geen monster of superheld - en dat hij een digitale camera in plaats van een wapen droeg. Dat weerhield niemand ervan om hem neer te knallen als dat zo uitkwam. Game is game. De Documenta-bezoeker in staat stellen levensgroot Quake te spelen, en de esthetiek van Quake een plek geven op het grootste podium voor moderne kunst was een interessant gebaar. Maar was het als zichzelf optreden in Quake betekenisvol? Misschien in het perspectief dat de 'avatars' - in de computerruimte die de menselijke gebruikers representeren naar aangenomen vaak fictief zijn: een masker, een verhulling, een andere identiteit, een rol die de gebruiker aanneemt voor zolang hij in de virtuele ruimte 'leeft'. Ook het dragen van een camera zal bij de kunstbeschouwer een een reeks associaties los kunnen maken op het thema filmen en gefilmd worden, film 'schieten' en het gebruik van het camerastandpunt in games. Met fascinatie voor het kunstmatige of voor computergezichten heeft het minder te maken.
kirstin geisler
Feng Mengbo moet, wanneer hij zijn eigen gezicht in Quake wil laten verschijnen, werken met de beperkingen van de Quake-editor. Het werk van de Duitse kunstenares Kirstin Geisler bestaat uit het maken van digitale gezichten in 3D-software. Ze toont dat we nog altijd feilloos het verschil weten te maken tussen een 'echt' menselijk gezicht en een digitaal hoofd, hoe perfect het digitale hoofd ook lijkt. Maar ze laat ook zien dat de digitale schoonheid en de echte schoonheid op beeldniveau een relatie aangaan, en zo stelt ze de vraag naar onze opvattingen over de schoonheid van menselijke gezichten in een wereld waarin een perfecte gladheid van fotomodellen de norm lijkt te stellen. Glamour- en reclamefotografie spiegelen een beeld voor waar we geacht worden naar te verlangen. Als die beelden grotendeels, of volledig zijn overdekt met digitale make-up, als er, net als net als op 'imperfecte' digitale gezichten geen onregelmatigheid te zien valt omdat elk putje en elk puistje en elk verkeerd zittend haartje is weggewerkt, waarnaar verlangen we dan als we verlangen naar perfecte schoonheid? Het is alleen de vraag of niet elke artistieke modefoto in Vogue diezelfde kwesties - misschien tegen de bedoeling is - beter voor het voetlicht brengt.
fascinatie voor het kunstmatige
Computer generated characters in film, video en computergames, van Max Headroom tot Gollum uit The Lord of the Rings - of ze nu werkelijk door de computer genereerd zijn of dat alleen zogenaamd zijn - fascineren ons nu om dezelfde redenen waarom men in het verleden gefascineerd was door automaten: wat kunstmatig is, beweegt en praat en lijkt te leven. Daardoor vragen we ons angstig of euforisch af: zouden we echt in staat zijn om leven te geven aan een door computers gegenereerde levende wezens?
Verhalen over zelfstandig opererende - dus in zekere zin zelfbewuste en intelligente - kunstmatige wezens vindt men zowel in de mythologie van allerlei volkeren als in de fantastische literatuur. Ovidius vertelt hoe Pygmalion de goden smeekt om zijn beeldhouwwerk leven in te blazen. Rabbi Loew slaagt er in een Golem uit klei leven in te blazen. Het motief van de dode materie die tot leven gewekt wordt, dient in de literatuur meestal om te tonen dat de demiurg geen controle heeft over zijn schepping. Maar het raakt evengoed aan het diepe verlangen van de mens om zijn eigen scheppingen werkelijk tot leven te laten komen die alle kunst in meer of mindere mate aankleeft. 'Animatie' betekent dan ook adem geven.
In de pogingen van de mens om de werkelijkheid natuurgetrouw af te beelden is de introductie van bewegende driedimensionale beelden die door de computer gegenereerd worden op basis van modellen, een enorme verandering. Niet langer worden beelden uit de werkelijkheid met behulp van een camera opgenomen om geprojecteerd te worden, ze worden op basis van wiskunde 'gegroeid', gemodelleerd en vormgegeven. Was bij fotografie en film de scheikunde de hulpwetenschap waarmee de magie voltrokken wordt, in computeranimatie is het de wiskunde. De zuiverste, en meest kunstmatige van alle wetenschappen. Hoofden worden niet getekend, niet op lichtgevoelige film vastgelegd, maar uitgerekend. Ze worden geprogrammeerd. Computeranimaties zijn niet langer indexicaal verbonden met de realiteit, ze zijn geen representaties van de werkelijkheid, het zijn simulaties. Het scheppen van de wereld wordt nagedaan, de uitdaging wordt om iets dat volledig kunstmatig is adem in te blazen.
In de jaren negentig ontstaat nog een nieuwe dimensie: de mogelijkheid om met behulp van code 'wezens' te laten evolueren die door het steeds complexer worden van zichzelf ontwikkelende genetische algoritmes (een overigens vrij banale en tegenwoordig breed ingezette technologie) op een bepaald moment intelligent worden, zelfbewustzijn ontwikkelen en tekens van 'leven' vertonen. Artificial Life-onderzoekers laten code groeien in de biotoop van de processors. De vraag is overigens wel hoe die code gevisualiseerd of tastbaar gemaakt moet worden. Deze technieken worden tegenwoordig toegepast om computeranimaties beter en natuurgetrouwer te laten bewegen.
de kunst van computeranimatie
Lev Manovich wijst er in zijn boek The Languages of New Media op dat de computeranimatie-industrie gericht is op het genereren van zo 'echt' mogelijke simulaties. Dat klinkt logisch, maar tegelijk ook vreemd. Animatiefilms zijn gericht op het scheppen van geloofwaardige karakters, maar de industrie weet heel goed dat geloofwaardige karakters er volledig onecht kunnen uitzien - denk aan ET, denk aan elke Disney-tekenfilm, denk aan Toy Story en Shrek. Dit wordt ook bevestigd door de top tien van favoriete computer generated characters die Entertainment Weekly in 2002 opstelde: daarin vinden we uitsluitend fantastische personages zoals Yoda uit Star Wars en Gollum uit de Lord of the Rings. Maar ook die karakters hebben baat bij een gedetailleerde gezichtsuitdrukking en een zo exact mogelijke synchronisatie tussen stem en beweging en tussen stem en gezichtsuitdrukking. Dat zijn exact de factoren waar natuurgetrouwe weergave op gebaseerd is en waar de wetenschap van computeranimatie van gezichten veel onderzoek naar heeft gedaan.
De ontwikkeling en geschiedenis van computeranimatie kan verteld worden aan de hand van de voortschrijding van de technologie. Het is een verhaal van steeds betere algoritmes voor de modellering en rendering, van steeds betere compressiemethodes, van steeds exactere kennis over het samenspel tussen spierstructuur - die tot gezichtsuitdrukkingen leidt - en spraak. Het is een verhaal dat gaat over Fourier-analyse, het toepassen van wavelet-transformaties, modelleren op basis van NURBS, toename van anatomische kennis en kennis over spraak, het construeren van algoritmes voor de weergave van haar en van huidstructuur, en het inzetten van genetische algoritmes en kunstmatige intelligentie bij het ontwikkelen van modellen voor natuurgetrouwe bewegingen. En het is natuurlijk ook een verhaal van softwarepakketten waarin die ontwikkelingen worden samengebald: van bijvoorbeeld Maya, Renderman, en - voor de hoopvolle open-sourcers - Blender.
Een van de belangrijkste namen op het gebied van gezichtsanimatie is de onderzoeker Keith Waters. Hij ontwikkelde in het midden van de jaren tachtig de techniek om gezichten te animeren uitgaande van de spierstructuur. Daarop baseert nu o.a. de aan Disney gelieerde Pixar-studio zijn animatiefilms. Waters werkt aan het digital CRL Facial Animation Project, waarbij een spraaksynthesizer gekoppeld wordt aan een computergezicht. Het doel is om een natuurgetrouw overkomende computeranimatie te ontwikkelen dat intelligent interactief met mensen kan converseren. Samen met een andere pionier, Frederic Parke, is hij de auteur van het belangrijke leerboek Computer Facial Animation, dat in tien hoofdstukken het volledige proces van het maken van computer-gezichten behandelt. In de samenvatting daarvan wijzen Waters en Parke impliciet op de reden waarom er, volgens hen, nog steeds geen natuurgetrouwe menselijke computergezichten bestaan: er is eenvoudig nog geen gezichtsanimatie ontwikkelt op basis van een anatomisch model waarin de complexe samenwerking tussen botten, kraakbeen, spieren, zenuwen, bloedvaten, klieren, vet, bindweefsel, huid en haar, een plek heeft gekregen. M.a.w. eerst moet een exacte analyse van ons menselijk gezicht gemaakt worden, die vervat kan worden in een algoritmisch model, voordat de 'graal' van de perfecte illusie gevonden kan worden. Je kunt er ook, met de harde kern van de artificial life-onderzoekers op kunnen gokken dat het verder bouwen aan en laten groeien van computermodellen uiteindelijk hetzelfde resultaat oplevert.
Maar of het een of het ander ooit gebeurt, het blijft een feit dat wie een tekenfilm bekijkt er geen moeite mee heeft om zich mee te laten slepen: we heffen ons ongeloof op voor de lengte van de film. Maar wie kijkt naar iets wat geacht wordt 'echt' te zijn, laat zich niet voor de gek houden. Het is ontzettend moeilijk om in de animatie van een computer-gezicht iets vergelijkbaars te doen waartoe onze vierenveertig gezichtsspieren in staat zijn.
kunstmatige gezichtsuitdrukkingen
Waar de industrie streeft naar geloofwaardige illusies, en de wetenschappers zo natuurgetrouw mogelijke simulaties van de realiteit trachten te ontwerpen, daar lijkt de kunst, maar ook een deel van de populaire cultuur vooral gefascineerd te zijn door de kunstmatigheid van de technologie. Technologie maakt werelden en wezens mogelijk die ongedroomd blijven voor wie vasthoudt aan het dictum van simulatie van het bestaande. In de muziek leidde digitale technologie tot een nieuwe omgang met geluiden, ritmes en samples. Wat voorheen onspeelbaar was, werd eenvoudig manipuleerbaar dankzij de technologie. Dat leidde tot een proliferatie van elektronische muziekgenres. Kodwo Eshun laat in More Brilliant than the Sun zien, dat niet de muzikant de technologie aan zichzelf onderwerpt nieuwe muziek schept, maar de muzikant die in symbiose met de technologie leeft, of zich praktisch of als in een droom, laat leiden door de technologie.
Zo'n instelling is terug te vinden in sommige muziekvideo's. In de clips die Hype Williams voor Missy Eliot maakte, vervormt hij met opzet ruimtes en lichamen door digitale beeldbewerking: mensen worden mutaties. Wilde Max Headroom twintig jaar geleden nog zo menselijk mogelijk lijken, de personages in de video's lijken liever kunstmatiger en vreemder te willen worden; ze willen hun beperkte menselijkheid via technologische veranderingen te willen ontstijgen. In de vreemd gekromde computerruimtes zijn ze astronaut-mutant-computeranimatie geworden. In deze context kan men ook denken aan de videoclips die Chris Cunningham maakte voor Bjšrk - waarin zij een robot is die haar eigen kloon bemint - en Richard James a.k.a. Aphex Twin. Het gebruik van beeldbewerking op lichamen en gezichten lijkt hier toegepast te worden om een gevoel van van vreemdheid en vervreemding op te wekken, en zo te zinspelen op wellicht onbewuste angsten en verlangens.
Maar het gebied blijft -zolang het streven gericht is op het creëren van natuurgetrouw bewegende animaties, iets aankleven van vrijgezelle nerds die dromen van hun perfecte robotvrouw. Een virtuele actrice die aan alle verlangens voldoet en er perfect uitziet. De schepping van een wezen uit code, de technologie tot leven gebracht: Britney Spears die digitaal in honderdvoud door de winkelstraten huppelt. Niet van echt te onderscheiden. Puur illusionisme.
Moeten we niet proberen radicaal anders naar technologie te kijken? Keer alles om. In plaats van de mens die uit code in de computerruimte een kunstmatig levend wezen schept met een gezicht dat niet te onderscheiden valt van 'echt', in plaats van de mens in de computerruimte als cyberpop te animeren, kan men zich ook voorstellen wat er gebeurt als de code actief de gelaatsuitdrukkingen van de mens bestuurt, zich daarbij niet houdt aan wat voor de mens begrijpelijk en realistisch is, maar zich laat leiden door de enorme mogelijkheden van de vierenveeertig gezichtsspieren. Dit is wat het "Institute for Artifical Facial Expression" van Arthur Elsenaar zich heeft voorgenomen. Elsenaar bevestigt elektroden op zijn eigen gezicht, deze triggeren aangestuurd door software zijn gezichtsspieren. Het effect is dat zijn gezicht allerlei uitdrukkingen aanneemt die wel mogelijk blijken - immers ze verschijnen - maar nooit door de mensen gebruikt worden: het menselijk gezicht als de interface waarop de computer zich tracht uit te drukken.
een paar verwijzingen
Kodwo Eshun: More Brilliant than the Sun, 1999
William Gibson: Idoru, 1997
Lev Manovich: Language of New Media, MIT Press, Cambridge Mass, 2001
Remko Scha: Virtual Voices, in Mediamatic 1/0 issue, vol. 7#1, 1992
Stephen Wilson: Information Arts, MIT Press, Cambridge Mass, 2002
Yale Talking Heads website: http://www.haskins.yale.edu/haskins/HEADS/
Siggraph 1997 Panel over animatie: http://mambo.ucsc.edu/psl/sig97/siggraph97-panel.html
Facial animation website: http://mambo.ucsc.edu/psl/fan.html
Pixar Studio's: http://www.pixar.com/
Plaatjes van 3D-animaties: http://www.famous3d.com/animation/Gallery/Images.html
Animators van Lightwave-studio: http://www.lightwave3d.com/profiles/
Machinima, films in Quake-editor: http://www.machinima.com/
Feng Mengbo: http://www.mengbo.com
Institute for Artificial Facial Expressions: http://www.iaaa.nl
some rights reserved
Arie Altena
januari 2003