Several approaches to improve noise removal in photographic images

Author

Ghimpeteanu, Gabriela

Director

Bertalmío, Marcelo

Batard, Thomas

Date of defense

2018-01-23

Pages

178 p.



Department/Institute

Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions

Doctorate programs

Programa de doctorat en Tecnologies de la Informació i les Comunicacions

Abstract

Noise acquisition is an unavoidable component when capturing photographs, even in the case of current state of the art cameras. This problem is even accentuated when the lighting conditions are not ideal. Therefore, removing the noise present in the captured image is still an essential task in the camera image processing pipeline. In this thesis, we analyze several approaches to improve current image denoising meth- ods. First, we propose a general framework that can improve a denoising method, moti- vated by a simple principle: for any algorithm, the smaller the noise level, the higher the quality of the denoised image. Therefore, by carefully choosing an image decomposition of the noisy image into less noisy one(s) and applying the algorithm on the latter, the performance of any denoising method can increase. Second, we accentuate the importance of using a realistic noise model for testing any denoising methods, as in the usual AWG scenario the results can be extremely di erent. The noise model can be estimated on RAW images, as the camera processing pipeline alters the noise, and denoising becomes a challenge when applied on camera output. We show how a local method applied on RAW can outperform a non-local one applied on camera output, in the realistic noise scenario. Finally, in this thesis we propose a fast, local denoising method where the Euclidean curvature of the noisy image is approximated in a regularizing manner and a clean image is reconstructed from this smoothed curvature. User preference tests show that when denoising real photographs with actual noise our method produces results with the same visual quality as the more sophisticated, non-local algorithms, but at a fraction of their computational cost. These tests also highlight the limitations of objective image quality metrics like PSNR and SSIM, which correlate poorly with user preference.


L'adquisició de soroll és un component ineludible quan capturem una fotografi a, fins i tot en el cas de les càmeres d'última generació. Aquest problema s'accentua encara més quan les condicions d'illuminació no són ideals. Per tant, l'extracció del soroll que està present a la imatge capturada continua sent una tasca essencial dintre del processament d'imatges de la càmera. En aquesta tesi, analitzem diversos enfocaments per millorar els mètodes actuals d'extracció de soroll. En primer lloc, proposem un marc general que permet millorar un mètode d'extracció. Aquest marc està motivat per un principi senzill: per a qualsevol algoritme, com més petit sigui el nivell de soroll a l'imatge original, més alta serà la qualitat de la imatge de sortida. Per tant, escollint acuradament una descomposició de la imatge sorollosa en una altra amb menys soroll i aplicant l'algoritme en aquesta última, podem augmentar el rendiment de qualsevol mètode d'extracció de soroll. En segon lloc, remarquem la importància d'utilitzar un model de soroll realista per a evaluar qualsevol mètode d'extracció de soroll, ja que els resultats en imatges realistes poden divergir enormement en comparació amb l'escenari habitual de suposar AWG. Amb aquest , estimem un model de soroll en imatges RAW, ja que el processament de l'imatge dintre de la càmera altera el soroll, i l'extracció de soroll es converteix en un desa fiament al no seguir el model AWG. Mostrem que, quan suposem un model de soroll realista, un mètode local aplicat a RAW pot superar un de no-local aplicat a la sortida de la càmera. Finalment, en aquesta tesi proposem un mètode ràpid i local d'extracció de soroll on la curvatura euclidiana de la imatge sorollosa s'aproxima de manera regularitzadora i es reconstrueix una imatge neta d'aquesta curvatura suavitzada. Les proves de preferència dels usuaris mostren que el nostre mètode produeix resultats amb la mateixa qualitat visual que els algorismes més sofi sticats i no-locals, però amb una fracció del seu cost computacional. Aquestes proves també posen de relleu les limitacions de mètriques de qualitat d'imatge objectives com PSNR i SSIM, que es correlacionen malament amb la preferència dels usuaris.

Keywords

Image denoising; Realistic noise model; Local/non-local method; Camera processing pipeline; Image quality metrics; Perceptual metrics; Psychophysical experiments; Local variational method; Patch-based method; Differential geometry

Subjects

62 - Engineering. Technology in general

Documents

tgg.pdf

38.52Mb

 

Rights

ADVERTIMENT. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.

This item appears in the following Collection(s)