-
TITLE: Generalized Cross Validation for wavelet thresholding
-
AUTHORS:
Maarten Jansen,
Maurits Malfait, Adhemar Bultheel
-
KEYWORDS: wavelets, noise reduction, threshold, Cross Validation
-
ABSTRACT:
Noisy data are often fitted using a smoothing parameter, controling the
importance of two objectives that are opposite to a certain extend.
One of these two is smoothness and the other is closeness
to the input data.
The optimal value of this paramater minimizes the error of the result
(as compared to the unknown, exact data), usually expressed in the L_2 norm.
This optimum can't be found exactly, simply because the exact data are unknown.
In spline theory, the Generalized Cross Validation (GCV) technique
has proven to be an effective (though rather slow) statistical way
for estimating this optimum. This GCV is a function of the smoothing
parameter and only depends on the input data. Its (expectated)
form resembles the exact error function.
On the other hand, wavelet theory is well suited in signal and image processing.
This paper investigates the possibility of using GCV in a noise reduction
algorithm, based on wavelet-thresholding. Thresholding is a most
simple, straightforward method for noise suppression.
A threshold can be seen as a kind of smoothing parameter.
The GCV method thus allows choosing the (nearly) optimal threshold,
without knowing the noise variance.
Both a theoretical argument and practical experiments are used to show this
successfull combination. Computation is fast, because for wavelets the
definition of GCV leads to a very simple formula, that can be computed in
a linear time. Apart from the input signal, no other data are necessary
(such as the noise variance)
The theoretical part is mainly dealing with the difficulties, arising
from the nonlinear character of threshold operation. This complicates computing
expectations. Some assumptions are necessary to apply Wahba's arguments.
-
FULL PAPER: in postscript form can be downloaded from
here. Use gunzip to decompress.
SAMENVATTING:
Ruisgevoelige gegevens worden vaak aangepast met behulp van een
vereffeningsparameter,
die het gewicht van twee enigszins tegengestelde doelstellingen bepaalt.
De eerste van deze twee is een zacht verloop van het resultaat
en de tweede is een nauwe aansluiting bij de invoer. De optimale waarde van
deze parameter minimaliseert de fout van het resultaat (vergeleken met de
onbekende, ruisvrije gegevens), meestal uitgedrukt in de L_2 norm.
Dit optimum kan niet exact bepaald worden, precies omdat de ruisvrije gegevens
onbekend zijn.
In Spline-theorie blijkt de methode van Veralgemeende Kruisvalidatie
(Generalized Cross Validation - GCV) een doeltreffende (hoewel tamelijk trage)
statistische manier om dergelijke optimale parameter te schatten.
Deze GCV is een functie van de vereffeningsparameter en hangt voorts enkel af
van de invoer. Haar (verwacht) verloop is van dezelfde vorm als dat van de
exacte foutenfunctie.
Aan de andere kant is wavelet-theorie erg geschikt voor signaal- en
beeldverwerking. Dit artikel onderzoekt de mogelijkheid GCV te gebruiken in een
ruisverwijderingsalgoritme, gebaseerd op wavelet-drempels.
Wavelet-drempelmethodes zijn de meest
eenvoudige, voor de hand liggende manieren om ruis
te verwijderen. De drempel
kan beschouwd worden als een soort vereffeningsparameter.
De GCV-methode laat dan toe (ongeveer) de optimale drempel te kiezen, zonder
kennis van de ruisvariantie.
Zowel een nieuw theoretisch argument als
practische experimenten tonen deze succesvolle combinatie aan.
De berekeingen verlopen snel, omdat voor wavelet-drempels de definitie van GCV
tot een eenvoudige formule leidt, die in een lineaire hoeveelheid tijd kan
berekend worden. Afgezien van het invoersignaal zijn geen bijkomende
gegevens nodig (zoals de ruisvariantie).
Het theoretsch deel behandelt voornamelijk de moeilijkheden ten gevolge van de
niet-lineaire aard van de drempel-operatie. Dit bemoeilijkt namelijk de
berekening van verwachte waarden. Enkele aannames zijn nodig om Wahba's
argumenten toe te passen.