Regelextraktion bei Perzeptronen

Ein Nachteil von vorwärtsgerichteten neuronalen Netzen besteht darin, daß ihre Funktionsweise für den Menschen nicht nachvollziehbar ist. Aufgrund dieser Tatsache können sie in Hochsicherheitsbereichen nicht eingesetzt werden. Wünschenswert wäre daher eine Möglichkeit, das Verhalten eines Netzes beschreibende, für den Menschen verständliche Regeln automatisch aus einem funktionsfähigen Netz zu extrahieren. Da das aktuelles Forschungsgebiet ist, sollte man sich auf einen sehr einfachen Fall, ein einzelnes Perzeptron beschränken.

Die Aufgabe ist, ein Perzeptron geeignet zu trainieren und anschließend automatisch das Verhalten des Perzeptrons annähernd beschreibende logische Regeln zu extrahieren.

Training:

• Falls die Muster nicht linear trennbar sind, fügen Sie einfache Boolesche Kombinationen der Eingabekoeffizienten hinzu, bis die Daten linear trennbar werden.
• Training mit Perzeptronalgorithmus, SVM oder Gradientenabstieg.
• Anschließend Vereinfachen des Perzeptrons z.B. durch Pruning; ein besonders einfaches Netz entsteht auch, wenn man die Gewichte anschließend in wenige Klassen mit ungefähr gleichem Wert einteilt oder für Gewichte aus {-1,0,1} sorgt (z.B. durch einen Strafterm beim Gradientenabstieg).

Regelextraktion:

• Bei Netzen mit wenigen Gewichten kann man die sich ergebende Formel durch einfaches Ausprobieren exakt bestimmen. Der Aufwand steigt aber exponentiell mit den Gewichten.
• Bei mehreren Gewichten muß man Näherungen oder Heuristiken verwenden. Man kann z.B. nur diejenigen Regeln ausprobieren, die sich als Und-Verknüpfung von maximal einer festen Anzahl an Literalen ergeben. Man kann zunächst nur die betragsmäßg größten Gewichte betrachten. Zerfallen die Gewichte in Klassen ungefähr gleicher Größe, dann kann man sogenannte n-of-m Regeln extrahieren (Form: Oder-Verknüpfung von Bestandteilen 'falls n der Gewichte gleicher Größe die Eingabe 1 erhalten').

  Das wäre genauer zu überlegen, eine Möglichkeit reicht!

Mögliche Daten:

• Klassifikation von Iris-Pflanzen in drei verschiedene Gruppen, es liegt eine Beschreibung der Daten vor. Die Eingabedimension ist nur vier. Die Werte sind allerdings reellwertig, so daß Regeln eine Form der Quantisierung beeinhalten müßten: '...falls der Stengel sehr lang ist und die Blüte sehr klein ist, dann...'
• Akzeptanz des Preis-/Leistungsverhätnisses von Autos, auch hier gibt es eine Beschreibung, sogar mit einem logischen Modell. Die Daten sind symbolisch, es gibt nicht allzu viele Eingabeneuronen.
• Pilz-Klassifikation nach essbar/giftig. Auch hier gibt's eine Beschreibung, verschiedene gute logische Formeln und nur symbolische Daten, allerdings viele Eingabeneuronen.
• Bestimmung der relevanten Abschnitte der DNA. Symbolische Daten, Beschreibung mit Regeln, viele Eingabeneuronen.

Literatur:

• Towell, Shavlik, Interpretation of ANNs: ...
• Duch et.al., Extraction of logical rules ... (Verweis)
• Zupan et.al., Machine learning by function decomposition. (Verweis)