Vi lever i en allt mer digital värld.
Om du har varit uppmärksam borde detta inte vara mycket av en överraskning. Redan före pandemin väckte teknologier som virtuell verklighet och förstärkt verklighet stort intresse. Mitt i låsningar och karantänsåtgärder har intresset bara ökat exponentiellt.
Vid det här laget har du förmodligen hört all hype kring Metaverse. I bästa fall löst definierat och i värsta fall lite mer än ett marknadsföringsbuzzword, det finns åtminstone ett koncept i kärnan som visar ett stort löfte: föreställningen om att en dag förbinda sig med varandra genom virtuell verklighet, inte bara som anpassningsbara avatarer, utan som digitala vivids. representationer av vårt verkliga jag.
Idén om uppkopplade onlinemiljöer befolkade av realistiska, simulerade, dynamiska avatarer av våra vänner och familj.
Detta kan låta som något direkt ur science fiction-annalen. Men är inte fallet. Det är snarare något som det kinesiska teknikföretaget OPPO just har gjort mer genomförbart än någonsin med sin AI-styrda 3D-kroppsrekonstruktionsteknik.
Skapande av virtuella kroppar
När det kommer till 3D-kroppsrekonstruktion har en av de största utmaningarna historiskt sett varit den realistiska representationen av kläder, särskilt de som är påsiga. Trådramen i sig är inte problemet – vi har bemästrat realistiskt proportionerade virtuella kroppar under ganska lång tid. Problemet är att kläderna reagerar som... ja, riktiga kläder.
Utan att bli för tekniskt tenderar traditionella digitala avatarrekonstruktionsmetoder att resultera i suddiga eller helt enkelt falska kläder. Problemet är att det finns ett betydande komplexitetsgap mellan de olika kroppsställningarna. Att säkerställa att kläderna realistiskt anpassar sig till dessa rörelser kräver en orimlig ansträngning.
Tills nyligen fanns det ingen riktig lösning på detta problem annat än att "skicka dit fler ingenjörer." Och det är där OPPO kommer in. Som visades vid 2022 Computer Vision and Pattern Recognition Conference (öppnas i en ny flik), har företaget äntligen tagit itu med vad som mycket väl kan vara ett av de äldsta problemen inom detta område.
Som beskrivs i den här artikeln (öppnas i en ny flik) började OPPOs process med att träna en förfinad algoritm för att förstå hur tyg formas och deformeras med rörelse. Till en början fokuserade han på att identifiera och förstå små detaljer som logotyper, fållar och texturer. Nyckeln till framgång här ligger i att behandla dessa vävnader som ett separat lager från en avatars skelettrörelser, något som traditionella renderingsmetoder fortfarande inte lyckas med.
Tillsammans med denna träning utnyttjar algoritmen en serie fördefinierade rörliga punkter kopplade till kroppsmodellen av en SMPL-modell (i huvudsak standard 3D-modellen av människokroppen (öppnas i en ny flik)). Dessa punkter kombineras sedan med strukturerade lokala strålningsfält, processer som samtidigt modellerar utseende och geometri för att generera mer övertygande bilder (öppnas i en ny flik).
Baserat på sin nya metod kan OPPO generera tredimensionella dynamiska modeller en efter en genom enkel videoanalys, en innovation med mycket intressanta applikationer.
Skapa process för virtuell avatar för OPPO: en steg-för-steg-guide
Som vi konstaterade tidigare har digital mänsklig modellering traditionellt varit en extremt komplex uppgift. Att skanna modellen är bara det första steget. Bortsett från kostnader kräver framgång vanligtvis en serie manuell bearbetning och ingenjörsintensiva uppgifter.
Som framgår av videon ovan kastar OPPO:s process i huvudsak dessa svårigheter ut genom fönstret.
1. Först samlas modellkroppsdata in genom OPPO:s Digital Avatar Lab.
2. Efter att smarttelefonens programvara har samlat in tillräckligt med data om ämnet börjar AI:n generera 3D-avataren.
3. En professionell dansare fungerade som en modell av människokroppen och rörelserna registrerades. Det första steget i renderingsprocessen är att generera ett skelett med en serie fördefinierade ankarnoder.
4. Algoritmen fortsätter att analysera skelettets rörelser för att skilja det från formen och rörelsen hos alla kläder som appliceras på avataren.
5. Slutligen, några timmar senare, genererar renderingen av den neurala scenen en fullt påklädd digital karaktär med realistisk klädfysik och rörelser.
Har du ingen rytm och skäms du över att inte kunna dansa? Din avatar kommer inte att ha det här problemet när du vrider och vänder, dina kläder flyter runt dig som de skulle på dansgolvet. Medan algoritmen fortfarande är under utveckling i labbet, kommer den gradvis att bli mer effektiv och effektiv när den tar emot mer träningsdata, vilket i slutändan gör den tillämpbar på gränslösa verkliga scenarier bortom dans.
Visualisera en digital värld med OPPO
Det är ett stort steg mot virtuell verklighet i total nedsänkning. I takt med att tekniken bakom OPPOs algoritm förbättras kommer digitalt och fysiskt att kombineras mer och mer. Föga överraskande har detta några mycket intressanta tillämpningar.
För det första kan köpcentra och andra butiker erbjuda mer uppslukande onlineupplevelser genom tekniker som virtuella omklädningsrum och maträtter. Detta kan kombineras med realistiska, realistiska anpassade avatarer som låter människor interagera med den virtuella världen på en nivå som tidigare var omöjlig. Dessa avatarer skulle också tillåta vänner och nära och kära att se de "verkliga betydelsefulla andra" och bete sig som vi vill, även på stora avstånd.
Det finns också många andra applikationer.
Mer övertygande och dynamiska karaktärer baserade på människors faktiska rörelser i videospel kombinerat med minskade utvecklingskostnader. Fjärrarbete med stöd av virtuella mötesrum i total nedsänkning. AI-guidad personlig träning och fitnessklasser.
Realistiskt sett är himlen gränsen här.
Tro det eller ej, teknik som denna är inget nytt för OPPO – företaget har legat i framkanten av artificiell intelligens i flera år. Han började initialt sin forskning om AI-utveckling 2015, sedan dess har han fördjupat sitt fokus avsevärt. Idag driver det Institute for Intelligent Perception and Interaction, med dedikerade forsknings- och utvecklingsteam fokuserade på en rad olika AI-teknologier och applikationer.
Utöver 3D-kroppsrekonstruktion har OPPOs teknologi även använts i produkter som CybeReal realtids spatial AR-generator (Öppnas i en ny flik), OPPO Air Glass (Öppnas i en ny flik) och Omoji (öppnas i en ny flik). tab), som använder ansiktsigenkänning för att skapa 3D-emojis.
Allt detta för att säga att, hur spännande det än är, denna innovation skrapar bara på ytan av OPPO:s forskning. Företaget designar ny teknik för varje dag som går. Och det råder ingen tvekan om att nästa år kommer att ha något ännu mer spännande att dela med sig av.