Følelserne er fjernbetjening

New Media er blevet hverdag. De nye New Media er sansende medier, der reagerer på dine emotioner, så du forsvinder i et loop af tilfredsstillelse

Dette er Future Media:
Du læser en avisartikel på Nettet om en trafikulykke. Computeren holder øje med din reaktion. Hvis du reagerer stærkt, så fortæller den ikke alle de blodige detaljer og nøjes med at vise fredelige billeder fra redningsarbejdet – ikke det uhyggelige billede af den knuste og udbrændte bil.

Du ser det seneste afsnit af 24 Timer. Men du har bedt dit TV om at slappe af, gerne med en romantisk stemning. Så du ser Jack Bauer komme træt hjem og oplever de romantiske interaktioner mellem personerne. Forhørene indeholder ikke udvidede forhørsprotokoller (det vi kaldte tortur i gamle dage), i stedet bliver terroristerne betaget af Jacks menneskelighed og indsigt.

Du er på kunstmuseum og ser en ny kunstinstallation. Det er et netværk af fladskærme på bevægelige arme. Installationen skal aftvinge dig primitive følelsesmæssige reaktioner ved at bevæge skærmene i de rigtige mønstre og med de rigtige farver. I samme øjeblik du kigger på dem, begynder skærmene af bevæge sig og skifte farve. Så snart de måler en respons i dig, undersøger de lignende mønstre og udvikler deres forståelse af dine primitive reaktioner. Det virker ret godt, fordi den selvfølgelig også samler informationer om alle andre, der har prøvet den, og derfor har et bibliotek af mønstre, som virker. Du får det mærkeligt.

Helt så langt er man ikke kommet endnu, men alle tre eksempler ligger indenfor ambitionerne i CALLAS-projektet. Projektet startede sidste år og løber til 2010. Der er i alt atten europæiske og en enkelt New Zealandsk institution i projektet og et budget på næsten firs millioner kroner.
Jeg talte med Marc Cavazza fra University of Teesside i England, der er koordinator. Han beskriver hovedideen i projektet som udvikling af multimodale interfaces til emotional processing.

Det kræver lidt nærmere forklaring. De multimodale interfaces handler om, at systemet skal kunne aflæse brugernes reaktioner. I første omgang via vores bevægelser, kropsholdnnger og tale, men på sigt måske også ved direkte at måle kroppen via sved, hudtemperatur, puls og så videre.
Disse aflæsninger skal bruges til emotional processing – altså et forsøg på at afkode vores emotionelle tilstand og især hvordan den ændres af de indtryk, vi får fra det medie, vi beskæftiger os med.
Cavazza understreger, at CALLAS især handler om at udvikle emotionel interaktion med medier – fra underholdning på TV til kunst.

Projektet har to hovedproblemer, der skal løses. Det ene handler om vores følelsers ekstreme fleksibilitet, dynamik og kompleksitet – vi føler sjældent noget uden at føle noget andet oveni, og følelser veksler uafbrudt.
Det andet problem handler om, hvordan man overhovedet inkorporerer den form for input i en historie. Flittige læsere af denne klumme vil måske huske, at jeg tidligere har været inde på det i forbindelse med Shapeshifted TV.

Marc Cavazza mener ikke, at CALLAS-projektet i øjeblikket har nogen løsning på det. Men det er interessant, hvor forskelligt dette problem ser ud efter hvilken type medie, man taler om. Hvis man for eksempel taler om et journalistisk medie, så vil mulighederne for publikumsinducerede ændringer kun handle om de ting, jeg har beskrevet i det første eksempel. Man må formode, at de fleste læsere ikke er interesseret i at forvrænge basale fakta.
Hvis vi taler om kunst som i eksempel tre, så er der ikke nogen fast fortælling, der kan gå i stykker. Derfor er det uproblematisk at lave en fri eftersøgning af tilskuerens mulige emotionelle reaktioner.
Det er lige så klart, at hvis vi gerne vil ændre 24 Timer til en romantisk fortælling om den varme og følsomme Jack Bauer, så bliver det ret problematisk at lave en historie, som er bare en smule sammenhængende.

Det første problem med følelserne har de i CALLAS indtil videre løst ved at beskæftige sig med de basale såkaldte Ekmanske emotioner. De kaldes sådan efter Paul Ekman, der viste, at vores mest basale følelser er ens for alle kulturer og altså sandsynligvis er en del af vores BIOS – eller i hvert fald en basal del af vores biologi.
De Ekmanske følelser har også den fordel, at de er ret utvetydige. Hvis vi er vrede, bange eller forskrækkede, så indeholder denne følelse næsten altid det samme, og vi viser den på den samme måde. Det er ideelt til et projekt som CALLAS.
Et eksempel demonstrerer, hvordan man kan arbejde med den slags, nemlig det farlige køkken: Her sidder tilskueren – os – og ser på en person i et køkken. Et køkken er som bekendt livsfarligt – med knive, varme genstande og glatte substanser på gulvet. Som seer kan man iagttage en person, der arbejder i køkkenet. Hvis vedkommende er lige ved at træde i en pøl af økologisk olivenolie på gulvet, tage fat i en varm gryde og så videre, så kan vi som tilskuere reagere og via vores reaktion advare personen i køkkenet.

Eksemplet viser meget godt, hvordan denne form for interaktion ikke bare bliver til en styring af en fortælling men også kan blive til en direkte interaktion med personer på skærmen. Man bliver ikke helt medagerende, men dog langt mere involveret end vi er i øjeblikket. Det vil være rasende spændende at se, hvad fantasifulde mediemagere kunne gøre med sådan en teknologi.
Det er dog stadig primitivt – omtrent som når talegenkendelse kan genkende højt og tydeligt udtalte ord som “et” og “afslut”. Men alle vores mere komplekse følelser er netop komplekse. De er sværere at genkende og en bestemt persons visning af en følelse behøver ikke at dække over den samme indre tilstand som en anden person med det samme udtryk.
Cavazza og hans kolleger har ikke løst dette problem og vil næppe gøre det i projektets løbetid. Men en mulig løsning er, at systemet skal trænes til hver enkelt persons emotionelle udtryk – måske vil forskningen også med tiden afsløre, at der findes mønstre i, hvordan vi emotionerer, så det er muligt at lave generelle genkendelsesmaskiner.
Når det sker, tror Marc Cavazza, at det en dag vil være muligt at genkende svagere emotioner som æstetiske fornemmelser, og hvad vi ellers tumler med i vores hoved.

Hvad får vi ud af det? – lyder det logiske spørgsmål. Det kan umiddelbart være svært at svare på, til gengæld er det let at forklare, hvorfor det vil blive udviklet og indført.
Enhver producent af medier ville elske at kunne tilpasse sit medie i realtime til brugerens præferencer. Om ti år vil der formentlig ikke være et eneste website, som ikke overvåger, hvornår brugeren er ved at kede sig og straks justerer deres output, så brugeren ikke forsvinder fra kanalen.
Netop emotionel interaktion er velegnet til det, fordi systemet kan opdage kedsomheden, før den bliver bevidst for brugeren. Så denne type teknologi vil klart være en konkurrenceparameter, hvis man er i en branche, hvor det handler om at have flest øjne på sig.

Men vi andre kunne måske blive nervøse for, at vores mediebrug ikke længere vil vise os verden med alle dens kanter. I stedet bliver den måske snarere en slags masturbatorisk aktivitet, hvor det eneste vi kan se, er en let forvrænget reflektion af os selv?
Eller får vi i stedet skabt det et nyt udfoldelsesområde for vores følelser? Vil vores mediesystemers evne til at reagere på vores følelser få os til ubevidst at udtrykke følelser, der får mediesystemerne til at give os noget, vi gerne vil have?
Eller vil dårlige mediesystemer, der ikke aflæser vores emotioner godt, få os til at tilpasse vores følelsesmæssige udtryk , så vi udtrykker os som en kongelig skuespiller, der skal nå sidste stolerække? Og hvis vi gør det, vil det så slippe med over i vores almindelige dagligdag, så vi får helt nye følelsesmæssige udtryksformer, som er delvist skabt af vores interaktion med maskinen i stedet for vores interaktioner med andre mennesker?

Tjaah – det eneste vi ved er, at det er spændende tider vi lever i. Og det skal såmænd nok gå.
Marc Cavazza håber, at CALLAS kan afsluttes med nogle softwaremoduler, der kan bruges som grundlag for videre udvikling. De vil blive frigivet som Open Source.
Hvis det lykkes kunne en sandsynlig tidshorisont hedde, at de første kommercielle systemer er klar om fire år og almen udbredelse til tage yderligere tre til seks år.

Se mere om CALLAS.

Skriv et svar

Udfyld dine oplysninger nedenfor eller klik på et ikon for at logge ind:

WordPress.com Logo

Du kommenterer med din WordPress.com konto. Log Out / Skift )

Twitter picture

Du kommenterer med din Twitter konto. Log Out / Skift )

Facebook photo

Du kommenterer med din Facebook konto. Log Out / Skift )

Google+ photo

Du kommenterer med din Google+ konto. Log Out / Skift )

Connecting to %s