Perzeptronen im Verbund (Ensembles)
Ein einzelnes Perzeptron kann nur linear trennbare
Aufgaben lösen, kombiniert man aber mehrere Perzeptronen,
dann ist prinzipiell jede binärwertige Funktion darstellbar.
Außerdem kann man durch das lineare Kombinieren mehrerer
Klassifikatoren die zu erwartende Generalisierungsleistung
verbessern, wie wir schon in der Vorlesung gesehen haben.
Ausgehend von dieser Beobachtung gibt es verschiedene
Möglichkeiten, die einzelnen Perzeptronen zu trainieren
und anschließend zu kombinieren, um möglichst gute
Ergebnisse zu erzielen.
Das Training der einzelnen Perzeptronen
geschieht mit dem Perzeptronalgorithmus, Gradientenabstieg
oder der SVM auf verschiedene Trainingsmengen.
Wahl der Trainingsmenge:
- zufälliges Zerlegen der Menge in disjunkte Teilmengen
- Ziehen mit Zurücklegen (Boosting)
- Ziehen mit Zurücklegen, wobei den Mustern eine
Wahrscheinlichkeit zugeordnet wird, die sich danach
richtet, von wie vielen der bisherigen Perzeptronen
das Muster korrekt klassifiziert wird
Kombination:
- Mehrheitsentscheidung
- Gewichtete Mittelung
- Training eines Perzeptrons auf die Ausgaben
Mögliche Daten:
- einfache Boolesche Probleme wie etwa XOR
- two spirals
- Balance von zwei
Kugeln an einem Stab, wird
beschrieben und ist
gerade so nicht mehr linear trennbar.
- Vorhersage des Alters von
Seeschnecken.
Schwieriges Problem
mit mehr als einer Klasse,
entweder paarweise unterscheiden oder die reellen Werte
durch die Mittelung erreichen.
- Vorhersage des Spritverbrauchs
von Autos, ebenfalls reellwertig (s.o.), aber
einfacher.
Literatur:
- Bishop, Neural Networks for Pattern Recognition
(-> Bibliothek)
- Sharkey, A.J.C.(1996),
On Combining Artificial Neural Nets,
Connection Science, 8, 3/4, 299-314
- Sharkey, A.J.C. and Sharkey, N.E. (1995),
How to improve the reliability
of Artificial Neural Networks, Research Report
CS-95-11, Department of Computer Science, University of Sheffield.
back