Vom Rechen-Knecht zur intelligenten Maschine
Künstliche Intelligenz, Expertensysteme, Lernende Maschinen, Neuronale Netze, Konnektionismus - das sind nur einige der Stichworte, unter denen eines des interessantesten Gebiete der aktuellen Computer-Technik behandelt wird: jenes nämlich, das die Weiterentwicklung der früheren Rechen-Knechte zu - scheinbar - intelligenten Maschinen behandelt.
Mit dem aktuellen Stand und den weiteren Tendenzen befaßt sich die COMPUTERWOCHE im Zuge einer losen Folge von Beiträgen (bisher erschienen Beiträge in CW 29, 32, 34, 40, 42, 43, 44, 45 und 46). Sie sollen eine plastische Vorstellung von einigen Problemen geben, mit denen der wachsende Kreis der KI-Experten täglich zu kämpfen hat.
Störunken stöhren nicht weiter
Nicht nur in ihrer Struktur und in ihrer Arbeitsweise unterscheiden sich neuronale Netze grundlegend von herkömmlichen, sequentiell arbeitenden Digitalrechnern mit wenigen Rechen- und separaten Speicherwerken. Denn während die gebräuchlichen Systeme unter Umständen schon dann ihren Geist aufgeben, wenn auch nur ein einziger ihrer vielen Transistoren verrückt spielt, sind neuronale Netze - die Überschrift deutet es an - erheblich robuster.
Neuronale Netze nämlich, so haben alle Untersuchungen theoretischer wie praktischer Art bislang ergeben, arbeiten ähnlich zuverlässig wie beispielsweise auch das Nerven-Geflecht eines Versuchstieres: denn beide Systeme setzen ihre Arbeit praktisch unbeirrt fort, zerstört man eines oder auch mehrere der Neuronen beziehungsweise der Netz-Knoten, Wobei in diesem Fall auch gleich noch der Analog-Schluß zu den bekannten Hologrammen naheliegt, die ja auch stets das volle Bild zeigen: selbst dann, wenn man ihnen eine Ecke abgeschnitten hat.
Mit Blick auf die praktische Realisierung neuronaler Netze ist vor allem eine Bemerkung interessant, die der Reporter an der Carnegie-Mellon-Universität in Pittsburgh, USA, notieren konnte. Denn, so meinte mit Scott E. Fahlman einer der führenden Forscher auf diesem Gebiet, die quasi angeborene Fehlertoleranz der neuronalen Strukturen erlaube es nun beispielsweise, in entsprechende Maschinen Chips einzubauen, die schon von Haus aus defekt sind und die in der herkömmlichen Technik unweigerlich kostspieliger Ausschuß wären.
Und dies wiederum ist vor allem dann eine wichtige Nachricht führt man sich Fahlmans Worte vor Augen: "Es ist weitaus billiger, eine Milliarde Transistoren zu fertigen, von denen dann ein Prozent nicht funktionieren", als "eine Million, die aber alle voll intakt sein müssen..."
Neuronale Netze sind der neueste Schrei auf dem Feld der Künstlichen Intelligenz. Jahrelang fristete diese Forschungsdisziplin, betrieben von einer Handvoll belächelter Wissenschaftler, ein Außenseiter-Dasein. Jetzt ist sie aus dem Schatten der übrigen KI-Forschung herausgetreten. Grund: Die Architektur neuronaler Netze orientiert sich am menschlichen Gehirn sowie Nervensystem und stellt eine grundlegende Abkehr vom herkömmlichen Digitalrechner dar.
Neuronale Netze ist der Sammelbegriff für Systeme, die bislang nur wenig erforscht wurden, aber, seit etwa zwei Jahren, an Bekanntheit gewonnen haben. Sie sollen vor allem zur schnellen Erkennung komplizierter Muster jeglicher Art - wie Bilder oder Sprache - geeignet sein und ein hohes Leistungspotential aufweisen. Beispielsweise analysieren neuronale Netze Börsenkurse und treffen Vorhersagen, wie sich der Markt und die einzelnen Werte in Zukunft entwickeln könnten.
Mit neuronalen Netzen beziehungsweise mit dem Gebiet des sogenannten "Konnektionismus" befaßt sich unter anderem auch Dr. Michael Hudak vom Siemens-Forschungs- und Technik-Labor (RTL) in Princeton, New Jersey, USA. Dort kann man unter anderem auch das "artificial neural system" (ANS) des Amerikaners bewundern, das auf Basis einer völlig andersartigen internen Architektur beim Sprechen gleichklingende Worte sogar unterscheidet: zum Beispiel die englischen Begriffe "go" und "no", die für "gut" und "schlecht" stehen. Das hilft fatale Fehler vermeiden.
Der Mensch ist kein Rechengenie
"Konnektionismus", so erläutert Hudak die Grundideen hinter seinem ANS und den neuronalen Netzen seiner Forscher-Kollegen in den USA, Japan und Europa, "ist ein vom Herkömmlichen abweichender Ansatz, Computer zu bauen." Denn man habe mit den Jahren erleben müssen, daß herkömmliche Rechner der oben erwähnten Basis-Architektur beim Bewältigen beliebiger Sprach- und Bilderkennungs-Algorithmen selbst dann zu langsam sind, wenn sie der ausgesprochenen leistungsstarken Klasse der Supercomputer beziehungsweise Vektor-Rechner angehören. Außerdem sei es verwunderlich, daß der Mensch, der nun ja gewiß nicht gerade ein Schnellrechen-Genie ist, exakt die gleiche Erkennungs-Arbeit mühelos in Bruchteilen von Sekunden leistet.
Denkt man über die Unterschiede zwischen dem Menschen oder Tier einerseits und den erwähnten Supercomputern andererseits nach, so wird rasch klar: Gehirne haben eben keine singuläre Zentraleinheit plus Speicher, sondern sie bestehen einfach aus einer immensen Fülle einzelner Neuronen, die auf ungeheuer vielfältige Weise miteinander verbunden sind und "Daten" offenbar gleichzeitig "verarbeiten" wie auch "speichern".
Nervensystem stand neuronalen Netzen Pate
Heute neigen Computer-Konstrukteure einerseits, Kognitionswissenschaftler und KI-Forscher andererseits mehr und mehr zu der Idee, sich beim Entwurf neuer Rechner biologischen Nervensystems inspirieren zu lassen. Beziehungsweise, umgekehrt, am Modell eines Gehirn-ähnlichen Rechners mit zahlreichen einfachen Verarbeitungselementen - den "Nervenzellen" - und zahlreichen Leitungen, das Arbeiten des Gehirns studieren.
Neuronale Netze sind entweder Systeme, die schon real in Gestalt von Schaltungen ausgeführt sind oder die vorerst "nur" als Simulations-Programm auf einem herkömmlichen Rechner nachgebildet werden. Doch in jedem Fall weisen sie, ungeachtet ihrer zahllosen Varianten, eine Fülle einzelner, miteinander vernetzter Prozessoren auf die jeweils einen eigenen, lokalen Speicher besitzen. Dabei haben die einen Netze nur sehr simple und die anderen eher leistungsstarke Prozessoren beziehungsweise "Neuronen", sehr kleine oder sehr große lokale Speicher und sehr viele oder aber bloß einige wenige Prozessor-Speicher-Paare.
Eine interessante Untergruppe aus dem Feld der zur Rubrik "Konnektionismus" gerechneten Strukturen sind laut Hudak die schon erwähnten, künstlichen neuronalen Systeme oder ANS. Speziell sie seien dadurch gekennzeichnet, so der Siemens-Forscher, daß man "eine große Zahl sehr einfacher Prozessor-Elemente" einsetzt, die "jeweils gleichzeitig mit anderen" ihre Eingangs-Signale erhalten, also beispielsweise alle Helligkeitswerte der einzelnen Bildpunkte eines Grauwert-Bildes mit soundsoviel Zeilen und Spalten.
Zu jedem einzelnen Prozessor gehören weiterhin zahlreiche Ein- und Ausgangs-Leitungen, die aber nicht einfach nur ein- oder ausgeschaltet werden, sondern eher quasi-analog als binär operieren. Denn jeder dieser Leitungen ist ein numerischer Wert zwischen Null und Eins zugeordnet, der in der Fachsprache als "Gewicht" bezeichnet wird. Er hält fest, wie "stark" diese individuelle Leitung zwischen je zwei Prozessoren - beziehungsweise zwischen einem Knoten und einem Ein- oder Ausgangs-Kontakt - ist.
Auch die Ausgangs-Signale der einzelnen Knoten oder Prozessoren, also der künstlichen Neuronen, sind wiederum eher analog als binär, denn die Knoten senden ganz einfach Zahlenwerte aus, die unmittelbar ein Maß für die Intensität sind, mit der eben dieser Knoten soeben durch seine Eingänge angesprochen worden ist. Es wird deutlich: ein schwach anregter Knoten wird über eine nur leicht "gewichtete" Leitung einen anderen Knoten auch nur schwach erregen können, während umgekehrt stark impulsierte Knoten über "schwergewichtete" Leitungen auch andere Knoten kräftig aktivieren können. - Vor allem dann, wenn jene zweiten Knoten auch von anderen Knoten her starke Signale über stark gewichtete Leitungen erhalten.
Netzknoten regen sich gegenseitig an
Die einzelnen Knoten so eines neuronalen Netzes können die ankommenden Eingangssignale auf verschiedenerlei Weise miteinander verknüpfen und daraus dann ihre jeweils eigene Erregung errechnen; dabei ist es im einzelnen Sache der Forschung, die hier jeweils optimalen Verknüpfungs-Algorithmen festzulegen. Es ist verblüffend zu sehen, welchen Output so einfache und nur vielfältig miteinander vernetzte Strukturen am Ende erzeugen: denn sie können nicht allein Wissen speichern, indem sie die erwähnten Gewichte der einzelnen konnektiven Leitungen entsprechend bemessen und dann fixieren, sondern sie können überdies auch noch lernen. Dies geschieht, indem die Netze besagte Gewichte autonom so lange abändern, bis sie auf bestimmte Muster von Eingangssignalen hin zuverlässig die jeweils korrekten Ausgangs-Signalmuster realisieren.
Bis sie also beispielsweise auch auf ein noch so undeutlich gesprochenes "go" hin korrekt das grüne Licht aufleuchten lassen; und bei einem "no" selbst dann die rote Lampe, wenn das Kommando gerade von weit her durch ein verrauschtes Telephonnetz gekommen ist.
Millionen Knoten bilden das System
Neuronale Netze beziehungsweise ANS können wenige, aber auch Millionen einzelner Knoten umfassen, und sie können die verschiedensten Formen annehmen. Dabei hat jede Form beziehungsweise Architektur eines Systems ihre ganz spezifischen, eigenen funktionellen Merkmale. Manche können beispielsweise eine Vielzahl einzelner Muster so ordnen, daß sie später in Klassen logisch zusammengehörender Muster zusammengefaßt vorliegen. Und dies, ohne dem System zu sagen, wieviele Klassen gebildet werden sollen beziehungsweise können.
Andere Architekturen dieser ANS haben die Fähigkeit, Muster entsprechend den Angaben eines "Lehrers" zu klassifizieren und nach dieser Lernphase dann auch "unbekannte" Muster richtig einzuordnen. Und wieder andere Systeme sollen schließlich gar nicht erst lernen, sondern ihr Verhalten im Laufe der Zeit mit wachsendem Training ändern. Sie sind einfach mit bestimmten Informationen "geladen", die ihnen selbst dann noch das korrekte Klassifizieren bestimmter Muster erlauben, wenn die Input-Muster fehlerhaft, unvollständig oder qualitativ schlecht sind. Wenn also nicht gleich auf Anhieb klar ist, ob die Sensoren da gerade einen amerikanischen F-16-Jäger - oder, oh Schreck, vielleicht doch eine MIG erfaßt haben?
Die letztere Gruppe neuronaler Netze hat sich zur Überraschung selbst ihrer eigenen Entwickler inzwischen auch noch bei anderen Aufgaben bewährt: zum Beispiel bei solchen, die man dem schwierigen Bereich der kombinatorischen Optimierungen zuordnet und für deren Lösung im allgemeinen Verfahren der dynamischen Programmierung eingesetzt werden.
Neuronale Netze könnten die Diagnostik erleichtern
Schon die bisher skizzierten Möglichkeiten, die die Technik der neuronalen Netze eröffnet, zeigen, daß man hier ein ausgesprochen vielseitiges Instrument in Arbeit hat. Denn nicht nur Bildmuster und Sprache sollen solche Netze künftig bearbeiten, sondern außerdem vielerlei Klassifizierungs-Aufgaben anderer Ausrichtung. So könnten sie etwa bei der Herz- wie bei der Gehirndiagnostik an Hand von EKG- und EEG-Aufnahmen (Elektrokardiogramm beziehungsweise Elektronenzephalogramm) Nutzen bringen, indem sie unvollständigen Daten, ähnlich einem Assoziativ-Speicher, die Informationen hinzufügen.
Ein ernstes Problem beim Studium dieser und anderer Möglichkeiten neuronaler Netze liegt darin, daß gerade die interessanteren Konfigurationen mit zahlreichen Knoten auf herkömmlichen Digitalrechnern serieller Arbeitsweise kaum simuliert werden können; das gleiche gilt übrigens auch für das Schreiben der Simulations-Programme.
Deshalb sind heute Chips und Platinen sehr gefragt, die die aktuellen Engpässe beim Studium neuronaler Netze überwinden helfen. Wobei aber nicht immer nur größtintegrierte Chips der Klasse VLSI ("very large scale integration" mit Hunderttausenden von Transistoren) die Technik der Wahl sein müssen; denn auch optische Systeme, die ja von Haus aus parallel arbeiten, werden laut Hudak in diesem Zusammenhang gründlich studiert.
Theorie und Praxis sind zwei Paar Stiefel
Neuronale Netze werden, teilweise mangels anderer Möglichkeiten von Wissenschaftlern auf ihre theoretischen Möglichkeiten und Grenzen abgeklopft.
So fragt die mathematische Analyse dieser Netze beispielsweise nach der maximalen Kapazität der einzelnen Konfigurationen; also nach der Höchstzahl unterschiedlicher, in einem gegebenen Netz speicherbarer und von jenem dann auch wiedererkennbarer Muster. Ebenso interessiert den Theoretiker, wie das Einspeichern eines weiteren Einzelmusters die Stabilität und die Wiedererkennbarkeit der schon im Netz präsenten, zuvor gespeicherten Muster beeinträchtigt.
Die theoretischen Untersuchungen, so Hudak, haben den Vorteil praktisch keine Rechenzeit zu binden und klare Gleichungen zu liefern, die die gefragten Zusammenhänge beschreiben. Doch leider sei der Theoretiker, so Hudak, zu Kompromissen gezwungen. Denn er muß vielfach wirklichkeitsfremde Vereinfachungen hinnehmen, will er mit seinem Gleichungssystem zu einem brauchbaren Resultat kommen.
Konkrete, auf bestimmte Anwendungen hin entworfene Netze beziehungsweise Simulationen solcher Netze anstelle abstrakter theoretischer Konfigurationen - das ist die Domäne der empirischen Verhaltensanalyse an Hand simulierter neuronaler Strukturen. Dieser Weg gestattet, wie Hudak betont, zwar die Untersuchung sehr komplexer Netze, doch würde dafür wieder vielfach ein teurer Supercomputer benötigt. Und außerdem müsse man leider hinnehmen, daß allein schon die numerische Begrenztheit eben dieser Simulations-Rechner das Ergebnis der Arbeit verfälschen können.
Das langfristige Ziel heißt Sprachverständnis
Mit Blick auf bald schon verwirklichbare Anwendungen der neuen Technik der ANS ist zunächst vor allem die Einrichtung von Systemen für eher einfachere Aufgaben zu erwarten; etwa der Bau von Netzen für die Erkennung von Zeichen oder für die Analyse einander ähnlicher Signale mit dem Ziel, sie fehlerfrei voneinander unterscheiden zu können. Doch auf längere Sicht stehen Aufgabenfelder wie das Verstehen von Sprache, das sogenannte maschinelle Sehen und die Steuerung anpassungsfähiger Roboter im Brennpunkt der Aufmerksamkeit: "Sehr schwierige Probleme", wie Hudak betont, die "wohl erst nach einigen Jahren mit einem hohen Maß an Präzision" realisiert werden können.
Neuronale Netze hoher Leistung und Arbeitsgeschwindigkeit stehen uns wohl erst ins Haus, wenn es gelingt, die entsprechende Logik kostengünstig und dicht gepackt auf kleinen Silizium-Chips anzuordnen; also in der Größtintegration der VLSI-Technik. Doch leider tritt auf dem Weg zu solchen neuronalen Chips das Problem auf, betont der Siemens-Forscher, daß "die meisten ANS-Architekturen von Haus aus dreidimensional angelegt sind", während VLSI-Chips im wesentlichen eine zweidimensionale Struktur aufweisen.
ANS-Architektur überfordert Silizium-Chip
Doch bei der konkreten Einrichtung eines ganzen Netzes auf einem kleinen Siliziumteil ist es schwer, die Leitungen zwischen den einzelnen Knoten oder Neuronen so zu ziehen, daß weder Kurzschlüsse entstehen noch unerträglich lange Leiterbahnen auftreten. Es sei hier angemerkt, daß heute eher die Leiterbahnen als die Transistoren das Problem jedes Herstellers von Chips mit komplexen logischen Schaltungen sind. Ein weiteres Hindernis ist ferner die spezifische Eigenheit der neuronalen Strukturen. Jedes Neuron muß im allgemeinen sehr viele andere mit seinen Signalen ansprechen. In die profane Realität der elementaren elektronischen Schaltungen übertragen, heißt dies: Forscher müssen sich völlig neue Netz-Knoten-Schaltungen ausdenken, die bei jedem Takt der Maschine stets so viel elektrische Energie aussenden können, die für alle Leitungen bis hin zum letzten angekoppelten Knoten reicht, also nicht nur bis zum nächsten und übernächsten Transistor, wie normal üblich.
Blickt Hudak über die heute aktuelle Technik hinaus in die fernere Zukunft, denkt er an Systeme, die das Verbindungs-Problem einfach durch den Übergang auf ein völlig anderes Medium lösen. Hudak spricht von metallischen Lichtleiterbahnen für Photonen. Denn anders als Elektronen können Photonen ja bekanntlich kreuz und quer durcheinander sausen ohne sich gegenseitig zu zerstören, sieht man von speziellen Interferenz-Phänomenen ab.
Das Stichwort "Licht" erhellt Forscher-Mienen
Photonen, so Hudak, machen Systeme denkbar, bei denen je eine Lichtquelle - also etwa ein einzelner Knoten des neuronalen
Netzes - Strahlen in alle möglichen Richtungen aussendet und damit alle seine Partner-Knoten erreicht, ohne mit Leistungs-Problemen konfrontiert zu werden. Auf dem Weg zu schnellen, parallel arbeitenden neuronalen Netzen auf Basis von Lichtstrahlen - und vielleicht gar noch optisch statt elektrisch schaltender Elemente - ist allerdings noch eine weite Strecke zurückzulegen. Denn zunächst muß hier noch viel an grundlegender Forschung betrieben werden; und schließlich gilt es noch, neue Wege zu drastischen Miniaturisierung dieser künftigen, neuronalen Licht-Rechner zu finden.
(Hinweis: Neuronale Netze sind auch Gegenstand zweier Beiträge in den Ausgaben 14 und 15 der COMPUTERWOCHE 1988!)