Adaptive Conjoint Wavelet-Support Vector Classifiers


Neumann, Julia


[img]
Vorschau
PDF
Neumann_Diss.pdf - Veröffentlichte Version

Download (5MB)

URL: http://ub-madoc.bib.uni-mannheim.de/869
URN: urn:nbn:de:bsz:180-madoc-8691
Dokumenttyp: Dissertation
Erscheinungsjahr: 2004
Verlag: Universität Mannheim
Gutachter: Steidl, Gabriele
Datum der mündl. Prüfung: 15 Februar 2005
Sprache der Veröffentlichung: Deutsch
Einrichtung: Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Angewandte Mathematik u. Informatik (Steidl -2011)
Fachgebiet: 004 Informatik
Normierte Schlagwörter (SWD): Wavelet , Wavelet-Analyse , Klassifikation
Freie Schlagwörter (Englisch): Support Vector Machine
Abstract: Combined wavelet - large margin classifiers succeed in solving difficult signal classification problems in cases where solely using a large margin classifier like, e.g., the Support Vector Machine may fail. This thesis investigates the problem of conjointly designing both classifier stages to achieve a most effective classifier architecture. Particularly, the wavelet features should be adapted to the Support Vector classifier and the specific classification problem. Three different approaches to achieve this goal are considered: The classifier performance is seriously affected by the wavelet or filter used for feature extraction. To optimally choose this wavelet with respect to the subsequent Support Vector classification, appropriate criteria may be used. The radius - margin Support Vector Machine error bound is proven to be computable by two standard Support Vector problems. Criteria which are computationally still more efficient may be sufficient for filter adaptation. For the classification by a Support Vector Machine, several criteria are examined rating feature sets obtained from various orthogonal filter banks. An adaptive search algorithm is devised that, once the criterion is fixed, efficiently finds the optimal wavelet filter. To extract shift invariant wavelet features, Kingsbury's dual-tree complex wavelet transform is examined. The dual-tree filter bank construction leads to wavelets with vanishing negative frequency parts. An enhanced transform is established in the frequency domain for standard wavelet filters without special filter design. The translation and rotational invariance is improved compared with the common wavelet transform as shown for various standard wavelet filters. So the framework well applies to adapted signal classification. Wavelet adaptation for signal classification is a special case of feature selection. Feature selection is an important combinatorial optimisation problem in the context of supervised pattern classification. Four novel continuous feature selection approaches directly minimising the classifier performance are presented. In particular, they include linear and nonlinear Support Vector classifiers. The key ideas of the approaches are additional regularisation and embedded nonlinear feature selection. To solve the optimisation problems, difference of convex functions programming which is a general framework for non-convex continuous optimisation is applied. This optimisation framework may also be interesting for other applications and succeeds in robustly solving the problems, and hence, building more powerful feature selection methods.
Übersetzter Titel: Adaptive Conjoint Wavelet-Support Vector Classifiers (Englisch)
Übersetzung des Abstracts: Kombinierten Wavelet - Supportvektor-Klassifikatoren gelingt es, schwierige Signalklassifikationsprobleme in Fällen zu lösen, in denen die alleinige Anwendung einer Supportvektor Maschine fehlschlägt. Die vorliegende Arbeit untersucht den gemeinsamen Entwurf beider Klassifikatorstufen, um eine möglichst effiziente Klassifikationsarchitektur zu erreichen. Insbesondere sollten die Waveletmerkmale an den Supportvektor-Klassifikator und das spezielle Klassifikationsproblem angepasst werden. Drei verschiedene dieses Ziel verfolgende Ansätze werden betrachtet: Die Klassifikationsgenauigkeit hängt stark von der Wahl des Wavelets oder Filters für die Merkmalsextraktion ab. Um dieses Wavelet optimal im Hinblick auf die nachfolgende Supportvektor-Klassifikation auszuwählen, können geeignete Kriterien herangezogen werden. Es wird gezeigt, dass die "Radius - Margin" Fehlerschranke für Supportvektor Maschinen von zwei Standard-Supportvektor Problemen berechenbar ist. Noch effizientere Kriterien können für die Filteranpassung ausreichen. Für die Supportvektor-Klassifikation werden einige Kriterien verglichen, die von verschiedenen orthogonalen Filterbänken erzeugte Merkmalsmengen bewerten. Es wird ein adaptives Suchverfahren entworfen, das, gegeben ein Kriterium, effizient das optimalen Waveletfilter findet. Um translationsinvariante Waveletmerkmale zu extrahieren wird Kingsburys komplexe Wavelettransformation betrachtet. Diese Filterbankkonstruktion führt zu Wavelets ohne negative Frequenzanteile. Eine erweiterte Transformation für Standard-Waveletfilter ohne speziellen Filterentwurf wird im Frequenzbereich eingeführt. Die Translations- und Rotationsinvarianz wird dadurch gegenüber der gewöhnlichen Wavelettransformation verbessert, wie für vielfältige Standard-Waveletfilter gezeigt wird. Damit lässt sich diese Konstruktion vorteilhaft in der angepassten Signalklassifikation anwenden. Waveletanpassung für die Signalklassifikation ist ein Spezialfall der Merkmalsauswahl, einem wichtigen kombinatorischen Optimierungsproblem im Problembereich der überwachten Mustererkennung. Vier neuartige stetige Merkmalsauswahlansätze werden vorgestellt, die direkt die Klassifikationsgenauigkeit minimieren. Insbesondere berücksichtigen diese lineare und nichtlineare Supportvektor-Klassifikatoren. Die Kernideen der Ansätze sind zusätzliche Regularisierung und eingebettete nichtlineare Merkmalsauswahl. Um die Optimierungsprobleme zu lösen, wird die Zielfunktion als Differenz konvexer Funktionen dargestellt. Zur Lösung derartiger nicht-konvexer, stetiger Optimierungsprobleme wird ein allgemeines Verfahren, der DCA, angewendet. Dieser könnte ebenso für andere Anwendungen interessant sein. Damit gelingt es, die Probleme robust zu lösen und somit leistungsfähigere Merkmalsauswahlmethoden zu konstruieren. (Deutsch)
Zusätzliche Informationen:

Das Dokument wird vom Publikationsserver der Universitätsbibliothek Mannheim bereitgestellt.




+ Zitationsbeispiel und Export

Neumann, Julia (2004) Adaptive Conjoint Wavelet-Support Vector Classifiers. [Dissertation]
[img]
Vorschau



+ Suche Autoren in

+ Download-Statistik

Downloads im letzten Jahr

Detailierte Angaben



Sie haben einen Fehler gefunden? Teilen Sie uns Ihren Korrekturwunsch bitte hier mit: E-Mail


Actions (login required)

Eintrag anzeigen Eintrag anzeigen