Samsungs försäljningsstrategi för TV-försäljning 2020 är enkel: 8,000 4 eller mindre. Medan dess försäljning av budget 4K QLED TV underutnyttjas av budget XNUMXK TV planerar Samsung att flytta marknaden igen, till ett format som har (hittills) väldigt få konkurrenter, men också väldigt lite inbyggt innehåll.
Men som vi såg i vår 4K vs. 8K tidigare i år, du behöver faktiskt inte en videoinspelning med en upplösning på 780 × 4320 (8K) för att fotografera full av dessa miljontals pixlar: Samsungs 8K-TV använder uppkonvertering för att konvertera vilken bild som helst. typ av video (SD till 4K och allt däremellan) i 8K-upplösning.
Nivåhöjningen är förstås inte ny. I flera år har 4K- och till och med HD-TV-apparater hittat sätt att sträcka ut lågupplöst innehåll för att passa det högre pixel/tum-förhållandet hos moderna TV-apparater. Men eftersom 8K-TV-apparater måste uppta fyra 4K-pixlar fungerar konventionella uppkonverteringsmetoder helt enkelt inte, av skäl som vi kommer att diskutera senare.
Nu, efter att ha besökt Samsungs kvalitetskontrolllabb i New Jersey och pratat med dess ingenjörer, har vi en bättre uppfattning om hur Samsung använder artificiell intelligens och maskininlärning för att få det att se ut så här. är det möjligt att uppskala 8K och hur dess AI-tekniker kan jämföras med tillverkarnas tidiga ansträngningar.
Varför såg konventionell förbättring så hemsk ut?
Före 1998 hade tv-sändningar en upplösning på 720x480, och filmer inspelade i högre kvalitet komprimerades för att passa det formatet. Det är 345,600 2 pixlar innehåll, vilket bara skulle ta upp ett litet fönster på moderna TV-apparater med högre PPI-förhållanden (pixlar per tum). Detta SD-innehåll? Den måste expandera för att täcka mer än 8 miljoner pixlar i högupplöst format, mer än 4 miljoner för 33K eller mer än 8 miljoner för XNUMXK.
Baslinjen för skalning är att bibehålla det korrekta pixelförhållandet genom enkel multiplikation. För att konvertera HD-formatet till 4K måste TV:ns processor utnyttja en HD-pixel för att ta upp fyra pixlar utrymme på skärmen med högsta upplösning. Eller 16 pixlar vid konvertering av HD-8K.
(Bildkredit: Sony)
Utan någon bildbearbetning slutade bilden, för att citera Tolkien, "på något sätt sträcktes, som smör skrapat till för mycket bröd." Varje bit data blir onormalt fyrkantig, utan någon naturlig gradient mellan detaljer och färger. Detta orsakar mycket blockering eller brus runt föremål på skärmen.
Du kommer förmodligen också att se något som kallas "myggljud". För att komprimera en video för att fungera med din begränsade internetbandbredd måste sändare och webbplatser fylla strömmen med avsiktliga färgdefekter eller "komprimeringsartefakter". Medvetet dåliga pixlar svärmar runt områden på skärmen där skarpa kontraster finns, som den bruna bron framför den blå himlen på bilden ovan.
Matematiken bakom lyxrörelsen
Inför dessa problem har tv-programmerare lärt sina tv-apparater att digitalt analysera och bearbeta bilder i realtid för att fylla i eller reparera saknade eller skadade pixlar. Och de åstadkom detta genom att använda matematiska funktioner, som du kan berätta för dina nära och kära nästa gång de säger att för många TV-apparater ruttnar din hjärna.
Specifikt lärde ingenjörer tv-processorn att interpolera färgvärdet för varje saknad pixel, baserat på de omgivande pixlarna. För att göra detta var den tvungen att definiera sin kärna: funktionen som tilldelar en färgprioritet till en pixels grannar, i enlighet med deras närhet.
Den mest grundläggande kärnan som används i tv-apparater är den närmaste kärnan, som helt enkelt beräknar vilken pixel som är närmast en tom pixel och klistrar in samma färgdata i den tomma pixeln. Denna metod får bilden att anta ett blockigt sicksackmönster, eller alias, med en svag kant. Föreställ dig en svart bokstav "A" på en vit skärm; en saknad pixel i utkanten av bokstaven kan fyllas i svart, medan en pixel i kanten av bokstaven kan se vit ut. Resultatet blir en grå klump runt bokstaven eller en oregelbunden svartvit trappa som går upp och ner.
Denna graf visar processen att beräkna en tom pixel (den gröna "P"-punkten) baserat på bilinjär interpolation.
(Bildkredit: Public Domain)
Bilinjär interpolation kräver mer datorkraft, men är mer effektiv. I denna metod jämförs den tomma pixeln med de två närmaste grannarna för att bilda en linjär gradient mellan dem, och därigenom förbättra bildens skärpa. Detta ger mjukare visuella effekter men kan vara inkonsekventa. Därför använder andra TV-apparater bikubisk interpolation, som avfyras på närmaste 16 pixlar i alla riktningar. Även om den här metoden låter dig få en så exakt färg som möjligt, genererar den också en mycket mer diffus bild, där konturerna får en irriterande haloeffekt.
Du kan förmodligen redan gissa problemet: Dessa TV-apparater fyller pixlar baserade på matematiska formler som är statistiskt mer benägna att producera korrekta bilder, men de har inget sätt att tolka deras tematiska utseende enligt vad som faktiskt visas på skärmen.
Därför, efter att ha förklarat hur dessa algoritmer systematiskt misslyckades, förklarade Samsung-teamet hur deras artificiella intelligens övervinner dessa nackdelar.
Samsungs hemlighet: maskininlärning, objektigenkänning och filter
(Bildkredit: Samsung)
Samsungs hemliga vapen är en teknik som kallas för maskininlärning superupplösning (MLSR). Detta AI-drivna system tar en videoström med lägre upplösning och ändrar storleken för att passa upplösningen på en större skärm med ett högre PPI-förhållande. Det är den gammaldags motsvarigheten till datavetaren som sträcker ut handen och "förbättrar" en suddig bild helt enkelt genom att trycka på en tangent, förutom att det görs automatiskt och nästan omedelbart.
Samsungs representanter förklarade hur de analyserade en stor mängd videoinnehåll från olika källor (högkvalitativa och lågkvalitativa YouTube-källor, DVD-skivor och Blu-rays, filmer och sportevenemang) och skapade två databaser. bilder, en för de dåliga skärmdumparna och en för de högkvalitativa skärmdumparna.
Den var sedan tvungen att träna sin AI för att genomföra en process som kallas "omvänd degradering" av AI-industrin. Först tar det högupplösta bilder och nedgraderar dem till lägre upplösningar, efter den förlorade visuella data. Sedan måste du vända på processen och träna din AI att fylla i de data som saknas från de lågupplösta bilderna så att de återspeglar de högupplösta bilderna.
Samsung-teamet kallar denna process för en "formel". Dess 8K-processorer innehåller en formelbank med en databas med formler för olika objekt, till exempel ett äpple eller bokstaven "A." När processorn känner igen ett suddigt äpple i en skådespelares hand, återställer den kanterna på äpplet, reparerar kompressionsartefakter och ser till att vita pixlar får rätt röd nyans baserat på färgen. utseende av äpplen och inte i vaga statistiska algoritmer. . Dessutom, tillsammans med att återställa specifika objekt, kommer den artificiella intelligensen att justera sitt flöde efter vad den ser.
Enligt Samsung finns det dussintals olika "filter" som ändrar nivån på detaljskapande, brusreducering och kantåterställning för en given stream, beroende på om du tittar på en sport, en filmgenre eller en typ av film . filmkonst.
Bild 1 av 5
(Bildkredit: Michael Hicks)
Klättring i aktion
Bild 2 av 5
(Bildkredit: Michael Hicks)
Bild 3 av 5
(Bildkredit: Michael Hicks)
Bild 4 av 5
(Bildkredit: Michael Hicks)
Bild 5 av 5
(Bildkredit: Michael Hicks)
Enligt Samsungs ingenjörer är det inte ens den svåraste uppgiften för artificiell intelligens att återställa konturerna som presenterades i bildspelet ovan, en otrolig mängd text att återställa i realtid. Däremot är det fortfarande en svår utmaning att replikera de lämpliga texturerna för ett objekt i realtid. De måste se till att processorn ökar utseendet på föremål utan att göra dem onaturliga.
Vad processorn inte kommer att göra (enligt Samsung) är att felklassificera ett objekt. "Det kommer inte att förvandla ett äpple till en tomat", försäkrade en ingenjör, men utan att ge detaljer. Processorn är sannolikt tränad att undvika radikala förändringar om den inte känner igen vad ett objekt är.
Du kommer inte att se artificiell intelligens som ändrar filmskaparens avsikt, som Samsung-teamet har sagt. Så om en regissör använder bokeh-effekten förblir den suddiga bakgrunden suddig, medan förgrunden komponeras med upp till 8K skärpa.
De uppgav också att de inte specifikt analyserade de mest populära flödena för deras objektkategorisering, utan snarare fokuserade mer på den övergripande kvantiteten och mångfalden av innehåll. Så det är okänt om de har en "drake" eller "varulv"-formel för sina hektiska Game of Thrones-klockor.
Det senaste sortimentet av QLED-tv-apparater
(Bildkredit: Michael Hicks)
De nya Samsung 8K (och 4K) TV:erna kommer med den senaste formelbanken installerad, och ny objektdata läggs sedan till via firmwareuppdateringar som du måste godkänna. Samsung säger att de kommer att fortsätta titta på nya visuella strömmar för att utöka sitt objektbibliotek, men det gör det lokalt på Samsungs servrar. Den analyserar inte data från personliga tv-apparater.
Hur många Samsung-objektformler har du samlat på dig från din oändliga strömanalys? En av dess ingenjörer gav ett ögonblickligt antal som verkade otroligt, vilket tyder på att processorn i allmänhet skulle känna igen ett stort antal objekt på skärmen. Men en PR-tjänsteman ingrep och bad oss att inte skriva ut numret och sa att de skulle föredra att konsumenterna fokuserar på kvaliteten på Samsung MLSR:s prestanda snarare än godtyckliga siffror.
Att förbättra AI: det nya normala?
Samsung är inte den enda TV-tillverkaren som för närvarande använder artificiell intelligens och bildåterställning för sina TV-apparater.
Sonys 4K-annonseringssida innehåller störande detaljer om dess AI-bildbehandlingslösningar. Dess nya 4K-TV innehåller processorer med en "dubbel databas" med "tiotusentals" bildreferenser "som dynamiskt förbättrar pixlar i realtid."
(Bildkredit: Sony)
Inför CES 2019 meddelade LG också att dess nya a9 Gen 2 TV-chip skulle inkludera bildbehandling och maskininlärning för att förbättra brusreducering och ljusstyrka, inklusive genom att analysera källan och mediatypen och anpassa din algoritm därefter.
Men utöver de artificiella intelligenselementen verkar det som att dessa tv-processorer fortfarande litar lite på automatiserade algoritmer. I vår tidigare intervju med Gavin McCarron, chef för teknisk marknadsföring och produktplanering på Sony Europe, om AI-bildbehandling i Sony TV-apparater, hade han detta att säga:
"När du går från Full HD till 4K finns det mycket gissningar, och vad vi försöker göra för att eliminera så mycket gissningar som möjligt. (Vår processor) tittar inte bara på pixelisolering, den tittar på pixlarna runt den och på varje diagonal , och söker även efter pixlar i flera bildrutor för att ge konsekvens till bildkvaliteten."
Det är mycket troligt att Sony, liksom LG och Samsung, använder en form av bilateral eller bikubisk algoritm som ett uppkonverteringssystem. De analyserar sedan nästan 4K-innehåll och bestämmer vilka pixlar som ska ökas med bildbehandling och vilka som ska tas bort som brus.
I detta avseende ligger de flesta tv-tillverkare relativt nära varandra i kapplöpningen om artificiell intelligens i toppskiktet. Undantaget är Samsung, som använder samma teknik men fyller i fyra gånger antalet saknade pixlar för att få plats på en 8K-skärm. Vi får vänta och se om andra tillverkares AI-ansträngningar också kommer att tillåta dem att komma in på 8K-marknaden.