Hur AI-scenoptimering fungerar på din telefons kamera

Hur AI-scenoptimering fungerar på din telefons kamera
Om du har en flaggskeppskameratelefon undrar du förmodligen hur den tar så fantastiska bilder. Telefoner lyser upp skuggor, späder ut bakgrunder för DSLR-liknande porträtt, tar fram färger och ger i allmänhet smak åt bilder på ett sätt som traditionella kameror inte gör. En stor del av denna process handlar om att optimera AI-scenen, som du till viss del hittar i de flesta smartphones idag, när den är som bäst på de bästa smartphones där ute. Kameratelefoner är smarta; trots allt är de minidatorer. Chipet som driver din telefon ger processorkraft vi inte kunde ha drömt om för decennier sedan. Smartphonetillverkare kombinerar denna intelligens med den lilla kameramodulen på baksidan av din telefon för att ge dig konstgjorda ögon. Med dessa ögon kan din telefon förstå vad du tar, bestämma vad du ska optimera och förbereda din sista Instagram-bild utan timmar av retuschering. Mest imponerande; I vissa scener kan en smartphonekamera överträffa en DSLR med mer än $XNUMX, tack vare allt det smarta och processorkraften i dess processor och smarta HDR-effekter. Kort sagt, det är en berättelse om hur frustration (små smartphonesensorer) skapade nästa utveckling inom datorfotografering.

Vad är AI-scenoptimering?

Ledtråden finns i namnet. AI-scenoptimering är den process genom vilken din telefon optimerar ett foto den tar beroende på scenen den tar. När du pratar medan du tar ett foto, när du riktar kameratelefonen mot ett motiv, passerar ljuset genom linsen och faller på sensorn. Detta ljus bearbetas som en bild av Image Signal Processor (ISP), som vanligtvis är en del av din smartphones chip, oavsett om det är en Qualcomm Snapdragon 11 eller en Apple AXNUMX Bionic. Internetleverantörer är inte nya. De har använt digitalkameror i flera år och gjort samma grundläggande saker på smartphones. Några av dess uppgifter är att ge dig en bild att förhandsgranska, minska brus, justera exponeringen, räkna vita, etc. Grejen med smartphones nuförtiden är hur smarta dessa internetleverantörer är. Till att börja med, med förbättrade beräkningsmöjligheter, kan internetleverantörer för kameratelefoner bättre förstå vad du spelar in. Medan du satt på en gammal DSLR eller kompakt digitalkamera, kanske du var tvungen att justera din scen manuellt. Nu kan smartphones göra det på egen hand. Det repar dock bara ytan.

Samsung galax s21

(Bildkredit: Samsung) Med nuvarande AI-scenoptimering kan en kameratelefon förstå flera delar av din bild och justera bearbetningen av var och en på mycket specifika sätt. Om du till exempel tar en bild av en person framför ett gräsfält med en blå himmel i ramen, kan din telefons ISP lysa upp deras ansikte eftersom det förmodligen är motivet, nötkött upp de gröna i ramen. få dem att se rikare ut och ta fram himlens blå färg separat, och beroende på din telefon, kanske till och med mjuka upp bakgrunden något för att få motivet i fokus. Idag går många smartphones ännu längre. Sonys avancerade smartphones, till exempel, har husdjursögonspårning, medan Huawei-smarttelefoner har automatisk nattdetektering som fungerar så bra på flaggskepp att den kan lysa upp en nästan mörk scen, vilket får det att verka som natt till dag Den här tekniken är tillgänglig på iPhones, till exempel i det perfekta porträttläget, som ger maximal kontroll över bakgrundsoskärpa och ljuseffekter när du tar ett foto av en person, och Googles Pixel-telefoner är kända för sin astrofotografering. Även om den inte är AI-aktiverad, när den är på, tittar den upp mot natthimlen och bedömer intelligent hur länge den digitala slutaren ska vara öppen så att den kan fånga stjärnor och till och med galaxer. Så förmodligen borde smartphones blekna i jämförelse med DSLR när det kommer till AI-fotografering? I sanning gör de inte det. Intressant nog lär sig kameratillverkare två saker om fotobehandling från kameratelefoningenjörer.

iPhone 13 Pro Max

(Bildkredit: LaComparacion)

små sensorer; smarta lösningar

Om du tänker tillbaka för tio år sedan släppte Nokia smartphones med stora, kraftfulla xenonblixtar som Nokia XNUMX Pureview. Den var tvungen att öka hårdvaruspecifikationerna på sina kameratelefoner eftersom bilder tagna på de flesta telefoner på natten såg ut som en outhärdlig, kornig röra. Inte ens en telefon som Nokia Pureview gjorde ett hack i några riktigt tuffa scener. Anledningen till att mobilkameror har diskuterats så mycket är att telefoner måste få plats i våra handflator och fickor och därför måste vara små. Smartphones måste också ha många andra element: skärmar, högtalare, batterier, antenner osv. Dvärgrörelsesensorer med dvärglinser har svårt att släppa in mycket ljus. Mer ljus innebär en bättre bild, och det är där problemet ligger: små sensorer, begränsade ljusfångande möjligheter, dålig bildkvalitet. Dessa begränsningar för mobilkameror har tvingat telefontillverkare att sluta försöka åtgärda problemet med bättre, dyrare, stor, batteritömmande hårdvara och istället vända sig till mjukvara. L'une des premières fois où cela a vraiment fait les gros titres, c'est lorsque Google a sorti le Pixel, un téléphone sans bildstabiliseringsoptik, mais avec une si bonne stabilization électronique qu'il a surpassé une grande partie de konkurrens . Pixel och Pixel XNUMX visade sedan upp fantastiska fotobehandlingsfunktioner som förvandlade foton från meh till fantastiska precis framför dina ögon när du kände igen scenen. Detta ledde sedan till att märken som Huawei introducerade neurala bearbetningsenheter i chipset, Mate XNUMX med AI-scendetektering och funktionen som finns i telefoner från andra smartphonetillverkare, med Samsung-telefoner som varnar för trettiotvå scener.

Huawei mate 40 pro

(Bildkredit: Huawei)

Vad kan inte AI-scendetektering göra?

Och det här är hur de smarta människorna som löste en fotograferingsutmaning gjorde något omöjligt att övervinna med enbart hårdvara (högkvalitativ smartphonefotografering i alla ljusförhållanden) med mjukvara och rörelsedetektering.scener av AI. Nästa gräns är AI-scendetektering i video. Även om de redan finns till viss del, har de ultrasmarta nattfotograferingsfunktionerna som används i fotografering av Apple, Google (Night Sight) och Huawei inte släppts för att rengöra nattvideo. En video är minst XNUMX bilder per sekund, så det är en annan nivå av processorkraft. I takt med att processorer blir kraftfullare, AI-utvecklingen når nya höjder och smartphonesensorer blir mer kapabla att fånga ljus trots sin lilla storlek, verkar AI-scendetektering vara redo att fortsätta förändras. fotografiets ansikte för alla.

TechRadar skapade detta innehåll som en del av ett betalt partnerskap med Huawei. Innehållet i denna artikel är helt oberoende och återspeglar endast TechRadars redaktionella åsikter.