‘Codec Avatars’: Facebook fremviser realistiske VR-avatars

By |2019-03-26T16:07:40+00:0026. marts 2019, 15:57|Oculus, Software, Virtual reality (VR)|

For nylig gav et blogindlæg fra Facebook et indblik i firmaets nyeste forskning indenfor ansigtstracking og realistiske avatars. Fremskridtet er imponerende, men teknologien er stadig årevis fra at nå slutbrugeren.

Tilbage i 2017 præsenterede Facebook Facebook Spaces – Facebooks sociale VR-app, hvor du kan mødes med dine venner i et virtuelt rum. Problemet er bare, at du ikke er dig selv. Det bedste, som appen kan klare, er at vise dig som en tegnefilms-agtig figur med en meget grundlæggende mimik.

Sådan her så det ud, da Facebook Spaces blev præsenteret i april 2017:

Animation: Facebook.
Animation: Facebook.

Det er derfor ikke overraskende, at Facebook (som jo ejer Oculus) har forsøgt at udvikle mere realistiske VR-avatars lige siden.

I et nu to uger gammelt blogindlæg giver Facebook et indblik i det fremskridt, man har nået i mellemtiden.

Sådan ser Facebooks VR-avatars ud i dag

I dag er de i stand til at generere en dynamisk og relativt fotorealistisk VR-avatar af brugerens ansigt, mens man har VR-headsettet på. Se en demo her:

Sådan kan en almindelig samtale foregå. Video: Facebook.

Avataren er (delvist) genereret ved hjælp af ansigtsgenkendelsesdata, der blandt andet kommer fra infrarød-kameraer på indersiden af headsettet. Ansigtet er ikke særlig godt belyst, når man har et VR-headset på, så derfor belyser kameraerne ansigtet ved hjælp af infrarødt lys, som ikke kan ses af brugerens øjne. Udover infrarød-kameraerne bruger headsettet accelerometre, gyroskoper, magnetometre og mikrofoner til at opfange så meget af ansigtets bevægelse som muligt.

Og ikke nok med det. Udover realtime-dataen fra selve headsettet er avataren genereret ved hjælp af en omfattende 3D-videomodel af brugerens ansigt, der er scannet på forhånd. I øjeblikket kræver det angiveligt 15 minutter i ansigtsscanneren, før man kan generere avataren. Ansigtsscanneren består af 132 kameraer og optager cirka 1 GB data hvert sekund. I 15 minutter, altså. Det svarer til knap 1 TB data for hvert ansigt, der skal scannes.

Foto: Facebook.
Ansigtsscanneren set udefra. Foto: Facebook.
Foto: Facebook.
En kvinde, der er ved at få sit ansigt scannet. Foto: Facebook.

Foroven er et eksempel på data fra en ansigtsscanning. Kvinden i eksemplet laver en masse forskellige grimasser for at give noget at arbejde med til den AI-algoritme, der efterfølgende skal bearbejde dataen om til en meget omfattende ansigtsmodel.

Teknologien er der bare ikke helt endnu

En stor del af arbejdet i dag består i at træne algoritmen. Visionen er, at AI-algoritmen i fremtiden skal være så avanceret, at brugeren kan nøjes med at give samtykke til at indhente et par billeder fra brugerens Facebook- eller Instagram-profil – og så kan algoritmen skabe en troværdig ansigtsmodel.

En anden stor udfordring er at gøre ansigtsmodellen troværdig nok til at komme over ‘the uncanny valley‘ – den store del af spektret, hvor ansigtet ikke ligner helt godt nok, og det derfor bliver lidt uhyggeligt at kigge på.

Yaser Sheikh, der er Director of Research på Facebook Reality Labs i Pittsburgh i USA, forklarer, at der er to kriterier, som avataren skal bestå – ego-testen og moder-testen:

“Du skal elske din avatar, og din mor skal elske din avatar, før det for alvor føles naturligt at interagere som man ville i real life. Det er en meget høj standard.”

Yaser Sheikh, Director of Research, FRL Pittsburgh, i blogindlægget. Oversat fra engelsk.

…og indtil videre har vi kun snakket om ansigtet. FRL har udviklet en separat og mindst lige så stor og upraktisk scanner til kroppen. At generere resten af kroppen virtuelt er et helt andet mirakel, siger Sheikh.

Men hvad så med ‘deepfakes’?

Det lyder jo alt sammen rigtig godt, men AI-ansigtsgenkendelsessoftware er som bekendt ikke uden sine farer.

Tilbage i 2017 måtte techverdenen se sine egne dæmoner i øjnene efter de såkaldte deepfakes (videoer, hvor kendte personers ansigter er klistret på vha. AI) stak hovedet frem, så at sige. Dette eksempel illustrerer faren ret godt:

Og Facebook er selvfølgelig klar over faren. For det første går der nogle år, før deres teknologi er moden til det store globale marked. For det andet, fortæller Yaser Sheikh, arbejder de på et koncept, hvor din avatar er knyttet til din konto og verificeret på den måde. Det er dog uvist hvor sikker infrastrukturen vil være.

Under alle omstændigheder kan du godt regne med, at der går nogle år før du kan lave din helt egen ‘Codec Avatar’ bare med de billeder, du i forvejen har uploadet til Facebooks økosystem. Alligevel er det nu fascinerende at se hvor langt man er nået på de knap to år, der er gået siden Facebook præsenterede Facebook Spaces i april 2017.


Følg VRNEWS.DK Facebook og LinkedIn, hvor du både kan deltage i debatten og blive opdateret med de seneste VR- og AR-nyheder fra ind- og udland. Du kan også tilmelde dig vores ugentlige nyhedsbrev i bunden af siden.