„Google“ kameros paslaptis: HDR+ technologija

Dauguma mano, kad „Google Pixel“ kamera yra geriausia. Kalbant iš techninės pusės, komponentai nedaug kuo skiriasi nuo konkurentų - pagrindinis skirtumas užslėptas programinėje įrangoje. Kiti gamintojai taip pat turi dirbtinio intelekto (angl. AI) vaizdo apdorojimą, nakties režimą ir kt., tačiau nepaisant visko, net biudžetinis „Pixel 3a“ visiems nušluostė nosis. Šiuolaikinėse mobiliose kamerose apdorojimo algoritmai yra svarbesni nei aparatinė įranga. Kuo labiau giliniesi į technologinius niuansus ir skirtumus, tuo geriau supranti, kad „Google“ kamerą sukūrė tikri genijai. Pažvelkime į „Google“ nuotraukų apdorojimo unikalumą ir į tai, kaip paieškos puslapis tapo mobiliųjų fotografijų karaliumi.

Jei kas nors nežinote, pirmasis telefonas, kuriame pasirodė garsusis HDR+ režimas, buvo „Google“ telefonas „Nexus 5“, tačiau šis apdorojimo algoritmas buvo sukurtas ne jam ir net ne išmaniesiems telefonams, o futuristiniam „Google Glass“.

Viskas prasidėjo 2011 m., kai „Google X“ eksperimentinio padalinio vadovas Sebastian Thrun atkreipė dėmesį į tai, kad didelio foto sensoriaus ir optikos į akinius nesutalpinsi, bet jie privalo kažkaip fotografuoti. Todėl vienintelė išeitis buvo pagerinti vaizdą naudojant programinę įrangą. Šiai problemai išspręsti buvo pakviestas „Stanfordo universiteto“ profesorius, kompiuterinės fotografijos srities ekspertas Marc Levoy.

Būtent jis 2011 m. išleido „SynthCam“ programą, skirtą „iPhone 4“, kuri imitavo profesionalių DSLR kamerų sulietą foną (angl. bokeh). Rezultatas nebuvo labai įspūdingas, tačiau „Google“ pastebėjo Marc Levoy ir pakvietė jį vadovauti kūrėjų komandai, kuri save pavadino „Gcam“.

Kuriant algoritmą, buvo pažymėti 4 kertiniai principai, kurie padarė didelę įtaką kompiuterinės fotografijos vystymui:

• Būti žaibišku. Vaizdo apdorojimas neturėtų užtrukti ilgiau, kaip kelios sekundės, o visi skaičiavimai turėtų būti atliekami įrenginio viduje, o ne debesyje. Taigi, algoritmas turėtų būti paprastas.
• Būti automatiniu. Jokių rankinių nustatymų. Vartotojas turėtų gauti aukštos kokybės vaizdus, ​​negalvodamas apie algoritmo subtilybes.
• Būti savaime suprantamu. Algoritmo pritaikytų efektų poveikis neturėtų paversti nuotraukos siurrealistiniu vaizdu, o naktis neturėtų atrodyti, kaip bloga nuotrauka dienos metu. Beje, šis principas ir dabar pastebimas: „Pixel“ telefonai ne visada pritaiko tokį ryškų HDR, kaip konkurentai, nors ir galėtų atkartoti, padaryti nuotrauką ryškesne.
• Būti konservatyviu. HDR+ turėtų būti laikomas numatytuoju režimu, jį pritaikius, nuotraukoje neturėtų būti artefaktų, o galutinis rezultatas turėtų būti bent jau ne blogesnis nei nuotrauka užfiksuota įprastu režimu.

Šie principai paskatino „Gcam“ komandą pažvelgti į savo darbą visai kitu kampu, nes visi kiti to meto sprendimai neatitiko šių principų.

Paprastai mobiliojoje fotografijoje dinaminis diapazonas išplečiamas naudojant kelių kadrų techniką (angl. bracketing). Vienu metu padaroma keletas nuotraukų – viena normalaus ryškumo, viena šviesesnė, viena tamsesnė ir tada jos suklijuojamos į vieną nuotrauką – šešėliai paimami iš šviesaus kadro, spalvos iš tamsaus, visa kita informacija iš normalaus ryškumo kadro. Gautas rezultatas – platus dinaminis diapazonas arba kitaip tariant – HDR. Dabar tai gali padaryti bet kuris šiuolaikinis išmanusis telefonas, net ir biudžetinės klasės, bet šis metodas taip pat turi ir trūkumų:

1. Sunku suklijuoti paveikslėlius su skirtingu apšvietimu ir vaizdo išlaikymu, todėl nuotraukoje atsiranda artefaktų, tokių kaip susidubliuojantis vaizdas panašus į persekiojantį vaiduoklį (angl. ghosting).
2. Naudojant šį metodą, galima per daug paryškinti šešėlius ir spalvas, ko pasėkoje galutinis rezultatas gausis nenatūralus (angl. excessive range compression).
3. Neišspręsta nuotraukos vaizdo triukšmo problema, todėl dėl papildomo agresyvaus triukšmo mažinimo prarandamas tekstūrų detalumas ir atsiranda korėtos šlapios kempinės efektas (angl. excessive denoising).

Deja, visos šios problemos, vienaip ar kitaip, vis dar atsiranda išmaniųjų telefonų nuotraukose ir šiais laikais.

Taigi, ką sugalvojo „Gcam“ inžinieriai? Jie nusprendė, kad efektyviau būtų suklijuoti vaizdus ne su skirtingomis ekspozicijomis, o tokias pačias, tačiau šiek tiek nepakankamai eksponuota, t.y. tamsesnes, neapšviestas. Skamba nelogiškai! Apskritai, kaip gali padėti tamsių, nepakankamai apšviestų nuotraukų suklijavimas? Iš kur gauti informacijos šešėliuose? Kaip tai padeda atsikratyti triukšmo? Ir štai čia prasideda „Google“ magija.

Visų pirma, HDR+ atveju nuotraukos nėra klijuojamos į vieną, o tarsi dedamos viena ant kitos, išvedant spalvų vidurkį po kiekvieno kadro pridėjimo. Vėliau, dėl to, kad nuotraukos daromos mažesniu išlaikymu, jos yra aiškesnės, detalės ne tokios išsiliejusios. Kadangi nuotraukos daromos vienodo ryškumo ir tamsios, jas klijuoti tampa daug lengviau ir, žinoma, esant lėtam užrakto greičiui, vienu metu galima išsaugoti daugiau kadrų. Vidutiniškai įvertinant kiekvieno paveikslėlio pikselius iš skirtingų nuotraukų, ženkliai sumažėja triukšmo ir išsaugomas nuotraukos detalumas.

Be to, spalvos gylis padidėja nuo 10 iki 14 bitų ir tai leidžia dirbtinai išryškinti šešėlius be artefaktų. Viskas skamba išradingai ir paprastai, tačiau iš tikrųjų algoritmas yra nepaprastai sudėtingas, nes turi užtikrinti ne tik nepriekaištingą rezultatą, bet ir veikti bet kokiomis sąlygomis, drebant rankoms, taip pat nesodinti akumuliatoriaus atliekant sunkius skaičiavimus ir nedaryti klaidų.

Paleidus fotoaparato programą, ji pradeda nepertraukiamai fotografuoti, saugodama laikinoje ciklinėje atmintyje nuo 15 iki 30 nuotraukų, atsižvelgiant į apšvietimo lygį. Fotografavimo metu įrašymas sustabdomas ir imami paskutiniai kadrai iš laikinosios atminties. Iš trijų pirmųjų kadrų pasirenkamas ryškiausias, tada ant jo pridedami kiti paveikslėliai, išskyrus fragmentus, kurie nepasikeitė per tą laiką. Kiekvienas vaizdas lyginamas su prieš tai buvusiu, o visos pakeistos sritys yra eliminuojamos. Gavus suklijuotą vaizdą, imamasi visų rūšių gerinimo priemonių: pašalinamas triukšmas, nukrypimai, migla, vinjetė, padidinamas kontrastas, ryškumas ir pan. Iš karto po to pritaikoma: automatinis baltos spalvos balanso reguliavimas, triukšmo pašalinimas, tonų kompresavimas, chromatinių nukrypimų pašalinimas, pustonių išlyginimas, spalvų gamos korekcija, jų sodrumas, jei reikia dar kartą vinjetavimas, miglos šalinimas, kontrasto padidėjimas bei ryškumų koregavimas. Viskas atliekama automatiškai ir per kelias sekundes!

Patyrusiems fotografams ar tiesiog nuotraukų koregavimo laisvę vertinantiems mėgėjams „Google“ turi galimybę išsaugoti RAW failus, gautus sujungus kelis kadrus, tačiau neapdorotus algoritmo. Net ir šiuo atveju bendrovė derina visus kompiuterinės fotografijos pranašumus ir tuo pačiu palieka visiška kūrybos laisvę.

Žinoma, „Google“ nėra vienintelė, kuri naudoja kompiuterinę fotografiją. Kartu su „iPhone XS“ „Apple“ pateikė savo stebuklingo algoritmo versiją ir, pasak Phil Schiller pasakojimų per „Apple“ renginį, technologija veikia analogiškai. Ciklinėje laikinoje atmintyje sukasi 4 kadrai su normalia ekspozicija ir 4 tarpiniai kadrai su sumažinta ekspozicija, taip pat 1 šviesus kadras su ilgesniu vaizdo išlaikymu. Tada neuroninis procesorius analizuoja visus kadrus ir suklijuoja sėkmingus fragmentus.

Veikimo principas yra panašus į „Google“ naudojamą, tačiau dėl to, kad telefonui reikia klijuoti nuotraukas su 3 skirtingomis ekspozicijomis, tokį algoritmą yra gerokai sudėtingiau panaudoti praktikoje negaunant jokių kokybės nuokrypių, taip pat toks metodas turėtų pareikalauti labai daug energijos skaičiavimams atlikti. Verta pagirti „Apple“, nes jie ne tik sėkmingai išrado savo technologiją, bet ir sklandžiai ją įdiegė į savo išmaniuosius telefonus, o galingiausio procesoriaus rinkoje ir programinės įrangos sąsaja užtikrino sklandžius ir patikimus algoritmo skaičiavimus. Tačiau „Google“ nesnaudžia vietoje ir HDR+ technologiją pritaikė ne tik nuotraukose, bet ir video vaizdo fiksavime 30 kadrų per sekundę.

Taigi, „Gcam“ komandos algoritmo pranašumai:

• Gerokai sumažintas nuotraukos triukšmas, praktiškai neprarandant nuotraukos detalių.
• Beveik visiškas artefaktų nebuvimas.
• Natūralių spalvų perteikimas.
• Aiškios tekstūros net ir judant kadrui.

Be abejonės ši technologija turi ir trūkumų. Pirmas – fotografuojant nėra aišku, koks bus galutinis rezultatas, nes vaizdo ieškiklyje vaizdas rodomas tiesiai iš matricos, be jokių specialių algoritmo patobulinimų. Antras – norėdami pamatyti rezultatą, turite šiek tiek palaukti, kol vaizdas bus apdorotas. Kartais, tos kelios sekundės erzina, bet galutinis rezultatas yra vertas laukimo!

Šaltinis 1, Šaltinis 2