Apple-studie visar hur AI kan lyfta Iphone-foton i extremt mörker

Genom att integrera en så kallad diffusionsmodell direkt i kamerans bildbehandlingskedja lyckas tekniken återskapa detaljer ur rå sensordata som normalt går helt förlorade. Studien är framtagen av Apple-forskare i samarbete med Purdue University och beskriver ett experimentellt system kallat DarkDiff. Att fotografera i mycket svagt ljus leder ofta till bilder fulla av brus. Problemet uppstår när kamerasensorn helt enkelt inte får in tillräckligt med ljus. För att kompensera använder tillverkare aggressiv bildbehandling, något som ofta resulterar i alltför släta bilder där detaljer suddas ut eller ”målas om” på ett onaturligt sätt. Det är just denna balansgång Apple nu försöker komma bort från. I stället för att använda AI sent i efterbearbetningen har forskarna byggt in en diffusionsbaserad bildmodell direkt i kamerans ISP, Image Signal Processor. ISP:n ansvarar normalt för grundläggande steg som vitbalans och demosaicing, alltså att tolka rå sensordata. DarkDiff kliver in efter dessa första steg och arbetar på en linjär RGB-bild. Modellen använder kunskap från en förtränad generativ diffusionsmodell, i praktiken samma typ av teknik som ligger bakom bildgeneratorer som Stable Diffusion, för att förstå vilka detaljer som rimligen borde finnas i mörka partier, baserat på bildens sammanhang. En viktig del i lösningen är att AI:n arbetar med lokala bildsegment och uppmärksamhet, vilket minskar risken för så kallade hallucinationer, alltså att AI:n hittar på innehåll som inte borde finnas i bilden. DarkDiff använder även en teknik som kallas classifier-free guidance. Den styr hur hårt modellen ska hålla sig till den faktiska bilden jämfört med sina inlärda visuella mönster. Låg styrning ger mjukare resultat, högre styrning ger skarpare detaljer men ökar samtidigt risken för artefakter. I testerna jämfördes DarkDiff med andra avancerade metoder för låg-ljus-förbättring. Bilderna togs i extremt mörker, med exponeringstider så korta som 0,033 sekunder, och jämfördes med referensbilder tagna med upp till 300 gånger längre exponeringstid på stativ. Resultatet visar att DarkDiff ofta kommer betydligt närmare referensbilderna än tidigare metoder, både vad gäller detaljer och färger. Samtidigt är Apple tydliga med begränsningarna. Metoden är mycket beräkningsintensiv och betydligt långsammare än dagens bildbehandling. Att köra DarkDiff lokalt på en telefon skulle snabbt tömma batteriet, vilket gör att molnbaserad bearbetning sannolikt krävs. Forskarna pekar också på svårigheter med textigenkänning i mörka miljöer, särskilt för icke-engelska texter. Det är också värt att understryka att studien inte lovar att DarkDiff eller liknande teknik är på väg till Iphone inom kort. Däremot visar den tydligt vart Apple vill ta den beräkningsbaserade fotografin.