Neuronale Netze - diese exotische Art informationsverarbeitender elektronischer Schaltungen galt lange Zeit hindurch als die eher spinnöse Spielerei einiger weniger Freaks und Theoretiker. Doch während die Öffentlichkeit von ihnen bislang noch kaum Notiz genommen hat, treten immer mehr Unternehmen in den Wettlauf um die Entwicklung optimaler neuronaler Strukturen ein.
Das neue, wache Interesse an einer Computertechnik, die keine zwei Jahre zuvor allenfalls im engen Kreis der wenigen Eingeweihten diskutiert worden ist, hat seine natürliche Wurzel in den stattlichen Marktchancen, die man sich neuerdings für neuronale Netze ausmalt. Denn während dieser spezielle Zweig der Industrie bislang allenfalls auf etwa 10 bis 20 Millionen Dollar Marktvolumen geschätzt wird, sehen Optimisten schon für 1990 oder 1991 Umsatzziffern im Bereich mehrerer hundert Millionen entstehen. Und entsprechend vielgestaltig sind daher schon die Versuche, von diesem verlockenden Kuchen ein kräftiges Stück abzuschneiden.
Das Sehen soll sehen lernen
So haben die US-Unternehmen Datacube sowie Nestor beispielsweise erst vor kurzem neue Konzepte neuronaler Netze vorgestellt, auf denen ein System zur visuellen Erkennung bestimmter Gegenstände basieren soll; ein System, das nun in Verbindung mit herkömmlichen AT-PCs benutzt werden kann, wie man hört, und das präziser und überdies billiger arbeiten soll als Installationen der ansonsten üblichen Machart.
Im praktischen Betrieb durchläuft dieses neue System zunächst eine Lernphase, in der es sich die Bilddaten von Gegenständen, Buchstaben, Ziffern und anderen, bildlich vorliegenden Inputs gewissermaßen einprägt, um sie dann später für Vergleiche mit bislang unbekannten Eingabedaten zu nutzen.
Dabei ist am neuen, rund 20 000 Dollar teuren System "Maxvision" besonders interessant, daß die aufgenommenen Bildinformationen keineswegs alle exakt identisch sein müssen, soll ein bestimmtes Objekt erkannt und somit korrekt klassifiziert werden. Denn dieses neuronale System läßt sich auch durch kleine Abweichungen nicht verwirren, wie man hört, und "begreift" sozusagen im Laufe der Zeit; wird ihm die abweichende Version eines ursprünglich gelernten Musters wieder und wieder präsentiert, so ist eben künftig einfach dies. die "korrekte" Gestalt des fraglichen Objekts; also beispielsweise eines früher in Fraktur und künftig in Antiqua geschriebenen "X".
Das neue System, das also erheblich flexibler ist als starre, nur die exakte Deckungsgleichheit identischer Muster erkennende Rechnerkonfigurationen, besteht aus der eigentlichen Maxvision-Hardware von Datacube aus Peabody/Massachusetts sowie der Neuro-Software von Nestor aus Providence/Rhode Island.
Gleichfalls in PCs der AT-Klasse sowie in Sun-Rechner kann man neue Platinen von Hecht-Nielsen aus San Diego einbauen, die mit einem Chip von 20 Millionen Gleitkomma-Instruktionen pro Sekunde (MFLOPS) Rechenleistung bestückt sind und zu denen auch ein Speicher von 10 MByte gehört.
Diese "Anza-Plus"-Karten erzeugen im Wirts-PC eine Art von "virtuellem neuronalem Netz", das bis zu 2,5 Millionen Knoten in beliebiger "Verdrahtung" umfassen kann und bei dem pro Sekunde maximal zehn und typisch sechs Millionen Knoten-Knoten-Verbindungen frisch berechnet werden können. Allerdings sinkt diese Berechnungsrate auf 1,5 Millionen Verbindungen pro Sekunde, solange das Netz nur im Lernmodus, also im sogenannten Verfahren der Rückwärtsverkettung betrieben wird (back propagation).
Die Netzplatinen von Hecht-Nielsen können sogar mehrere neuronale Netze gleichzeitig erzeugen und betreiben, wobei sie mit der hauseigenen Neurocomputer-Neurosoft-Software 2.0 arbeiten; also mit einem Programmpaket, das die Schaffung fünf verschiedener, in Fachkreisen besonders beliebter Netzarchitekturen erlaubt. Dabei werden die Netze programmtechnisch wie Unterprogramme von Programmen in der Sprache C behandelt, was deren Einbindung in konventionelle Software erleichtern soll.
Die Anza-Plus-Platine für ATs soll mit 10 MB Speicher knapp 15 000 Dollar kosten und vor allem auf Gebiete wie unterbrechungsfreie Spracherkennung sowie Bilddatenverarbeitung abzielen. Sie basiert auf einem Weitek-32-Bit-Prozessor des Typs Accel, der über 8 KB Befehlspufferspeicher sowie eine Prozessor-Speicher-Bandbreite von 40 MB pro Sekunde verfügt und die mithin auch große Speicherräume effizient ansprechen kann.
Schlachten werden am Bildschirm geschlagen
Innovative Systeme wie die neuronalen Netze werden natürlich stets auch auf ihre Eignung für militärische Zwecke getestet - ob man dies nun gern sieht oder nicht. So ist beispielsweise bekannt, daß Hecht-Nielsen an einem Forschungsvorhaben der amerikanischen Armee beteiligt ist, das sich mit Computer-Architekturen des Typs neuronale Netze befaßt und das vor allem zwei Ziele verfolgt: Man will typische Problemstellungen, wie sie auf einem Schlachtfeld auftreten, definieren und dann einen Schlachtfeld-Neurocomputer bauen, der sie mit hoher Geschwindigkeit bearbeiten soll.
Hinter diesen Untersuchungen und Experimenten steht die Erwartung der Militärs wie der fachkundigen Informatiker, gerade neuronale Netze müßten sich doch gut zur Bearbeitung militärischer Problemstellungen eignen. Denn diese Rechner, die ja in etwa die analoge und massiv parallele Arbeitsweise des menschlichen Gehirns nachvollziehen, sollen auch bei ungenauen oder sogar teilweise widersprüchlichen Daten noch zu Lösungen gelangen. Und sich mithin in Bereichen bewähren, in denen herkömmliche Rechner beziehungsweise Programme stets scheitern.
Die britische Atomenergiebehörde in Harwell untersucht im Rahmen des europäischen Forschungsprogramms Esprit, wie gut man die Qualität von Schweißnähten kritischer Bauteile mit Hilfe eines neuronalen Systems klassifizieren kann. Dabei wird zu Testzwecken zunächst mit einem Netzsimulator gearbeitet, der in Basic programmiert wurde und bei dem während der Lernphase manuell so lange Veränderungen vorgenommen werden, bis er die zum "Lehrstoff" gehörenden Bilder guter und schlechter Schweißnähte kritischer Reaktorteile korrekt klassifiziert.
Neuronales Netz prüft und korrigiert
Wie so oft in den letzten Jahren scheinen auch auf dem hochgradig innovativen und kommerziell vielversprechenden Feld der neuronalen Netze japanische Unternehmer und Forscher überaus aktiv zu sein. Wie beispielsweise schon eine Ankündigung des Elektronikkonzerns NEC zeigt, der zumindest im Labor ein Zeichenerkennungssystem hoher Leistung zum Laufen gebracht haben will. Auf Basis der Technik neuronaler Netze in Gestalt von ICs wird hier ebenfalls wieder eine Lernmethode nach dem Schema der Back-Propagation benutzt, um so die Treffsicherheit beim Erkennen von insgesamt 62 verschiedenen, mit Matrixdruckern erzeugten alphanumerischen Zeichen zu verbessern. Sie soll beim neuen System 99,8 Prozent erreichen und damit nur noch 0,2 statt, wie bisherige Systeme, 1,5 Prozent Fehler machen. Der Trick dabei: Das neuronale Netz prüft jedes einzelne Zeichen und korrigiert intern dessen Repräsentation, ehe es am Ende eine Aussage über seine Bedeutung - also ob es etwa ein "B" ist oder eine "8" - macht.
Japanischer Computer erkennt Bildinhalte
Noch weiter als Arbeiten mit elektronischen neuronalen Netzen weisen Experimente am japanischen Forschungsinstitut für Industrieprodukte in Tsukuba, das dem Ministerium für Internationalen Handel und Industrie (MITI) angeschlossen ist. Zusammen mit der Firma Hamamatsu wird hier an einem optischen Neurocomputer gearbeitet, der beim Erkennen von Bildinhalten durch Lernen immer besser werden soll.
Dieses optische Assoziation, wie die MlTI-Mannen das Gerät getauft haben, basiert auf einem assoziativen Bildspeicher, der in etwa einem herkömmlichen, inhaltsadressierbarem Speicher entspricht, aber auf Basis analoger optischer Berechnungen arbeitet. Dabei wiederum ist ein sogenannter spatialer Mikrokanal-Lichtmodulator ein Schlüssel-Bauelement, den Hamamatsu entwickelt hat und der vor allem eines leistet: Er transformiert ein von nicht-kohärenten Lichtstrahlen auf einer lichtempfindlichen Kathode erzeugtes Bild exakt in ein naturgetreues, elektrisches Ladungsbild auf einer Lithiumniobat-Fläche.
Von dort kann es dann mit Hilfe eines Helium-Neon-Laserstrahls als kohärentes, also in gleicher Wellenlänge und Wellenphase präsentes Bild ausgelesen werden, wobei übrigens der bekannte Pockels-Effekt genutzt wird; ein Phänomen, wonach die Brechungseigenschaften eines Kristalls sich proportional zur Stärke des momentan und lokal anliegenden, elektrischen Feldes ändern.
Diese interessante Entwicklung weist insofern ein gewisses "Lernverhalten" auf, als rückgekoppelte Information dazu dient, die Ladungsverteilung auf der Lithiumniobat-Platte wieder neu zu korrigieren.
Nicht allein weitausgreifende Forschungsarbeiten, auch konkret einsetzbare, auf dem Markt erhältliche Produkte können Japans Ingenieure schon vorweisen, spricht man sie auf das Thema neuronale Netze an. So stellte NEC beispielsweise eine auf MS-DOS-Rechner zielende Beschleunigerplatine vor, die als Neuro Engine bezeichnet wird und die in ihrer Leistung, wie US-Experten schätzen, ein wenig unterhalb der oben beschriebenen Anza-Plus-Einheit angesiedelt sein dürfte. Dafür sollen aber pro Platine und einschließlich Programmen auch nur 5000 bis 6000 Dollar berechnet werden.
Die NEC-Platine, die gleichfalls wieder die Arbeitsweise einer massiv parallelen Prozessor-Konfiguration nachbildet, soll bei bestimmten Aufgabenstellungen schneller sein als Superminis, aber dies eben zu nur einem Prozent von deren Kosten. Wobei die NEC-lngenieure sich hier vor allem für, Expertensysteme für den Arzt, für die Diagnostik defekter Maschinen oder auch für die Bewertung von Kreditanträgen interessieren.
Intern basiert die NEC-Platine mit ihrem 512-KB-Speicher nicht auf einem schnellen RISC- und Gleitkomma-Chip, sondern auf einer schon von Haus aus grobgerastert-parallelen Prozessor-Architektur. Denn hier werkeln in Fließband-Anordnung vier NEC-lmPP-Datenfluß-Mikroprozessoren, die ursprünglich für herkömmliche Systeme der Bildverarbeitung entwickelt worden sind und die mit 200 Nanosekunden Zykluszeit arbeiten.
Tl-Parallelrechner simuliert neuronale Netze
Zwei von ihnen werden immer als Paar betrieben, wobei der eine sich mit Daten- und der andere mit Adreßberechnungen befaßt.
Eine ganz spezielle Architektur allein zu dem Zweck, mit ihrer Hilfe neuronale Netze zu simulieren, hat auch Texas Instruments unlängst vorgelegt. Es handelt sich dabei um einen Parallelrechner, der in seinem speziellen Aufgabenfeld etwa die hundertfache Rechenleistung herkömmlicher Minicomputer erreichen und vor allem als Forschungsinstrument dienen soll.
So ein Forschungsgerät ist heute vor allem deshalb ausgesprochen wünschenswert, weil die Entwicklung und Fertigung flott arbeitender, experimenteller neuronaler Netze immer noch eine ausgesprochen kostspielige Angelegenheit ist und weil man am arbeitenden konkreten Netz überdies nur sehr schwer herausfinden kann, wie es beim Lösen einer speziellen Aufgabe denn eigentlich detailliert vorgegangen ist.
Zwar wird die Arbeitsweise neuronaler Netze in der Forschung gerade aus dem Grund der besseren Durchschaubarkeit gern auf herkömmlichen, sequentiellen Rechnern beziehungsweise Zusatzplatinen zu Standardcomputern simuliert, doch erkauft man sich hier den tiefen und exakten Einblick mit hochgradiger Zeitvergeudung. Denn das Simulieren komplexer Netze auf gewöhnlichen Rechnern kann außerordentlich lange dauern - und wer kann sich beim heutigen weltweiten Wettlauf um die jeweils aktuellste Technik schon noch geruhsam zurücklehnen und seinem Computer friedlich beim Rechnen zuschauen . . . ?
Der neue TI-Rechner mit der Bezeichnung Griffin basiert auf Chips, die Simon Garth zusammen mit der Universität Cambridge entwickelt hat und die nun der britische Tl-Betrieb in Bedford herstellt. Diese Chips stellen aufgabenspezifische ICs (ASICs) mit der speziellen Zielsetzung der effizienten Simulation neuronaler Netze dar, zu denen ergänzend noch weitere, der Kommunikation dienende Schaltungen treten.
Beide Chips, also einmal der Simulations- und zum anderen der Kommunikations-lC, sind jeweils mit einem Mikroprozessor herkömmlicher Bauart sowie außerdem mit Speicher-Schaltungen gekoppelt, wodurch eine komplette Platine mit der schönen Bezeichnung Netsim entsteht. Von ihr wiederum findet man in jedem Griffin deren 36, wobei angemerkt sei: Allein eine einzige von diesen Netsims soll schon so schnell sein, daß ein Standard-Minicomputer um etwa das Fünf- bis Zehnfache übertroffen wird.
Die einzelnen Netsim-Karten eines Griffin sind laut TI als dreidimensionale Struktur miteinander verbunden, wobei die Datenkanäle zwischen den einzelnen Karten dank des schnellen Kommunikationschips 10 MBit pro Sekunde transportieren können. Das ganze System wird von einem PC als Wirtsrechner gesteuert, der auch der Entwicklung neuer Anwendungen sowie dem Beseitigen der Fehler dient. Ist die Software dann okay, so kann sie auf dem Griffin selber mit höchstem Tempo abgearbeitet werden.
Neuro-Chip für spezielle Lernprozesse
In Garths Augen ist mit diesem Griffin endlich ein System geschaffen worden, das die Analyse des Verhaltens neuronaler Netze spürbar erleichtert. Dies aber sei ein besonders wichtiger Punkt, denn "der Schlüssel zur Realisierung von Fortschritten mit neuronalen Netzen" liege ja doch "im Verständnis von Funktion und Arbeitsweise" eben dieser Netze. Und habe man diese Phase dann hinter sich, so könne man mit der Herstellung des jeweiligen konkreten Netzes beginnen und es dann anschließend für seine ganz spezielle Erkennungsaufgabe trainieren. Hat man schließlich auch diesen Schritt erfolgreich bewältigt, dann kann man, so Garth, wiederum "neue Netze mit Strukturen entwickeln, die für den gewünschten Lernprozeß noch besser geeignet sind".
Neue, konkrete Netze mit neuartigen Strukturen anstelle der bisher üblichen Simulation des Verhaltens neuronaler Netze - auf diesem Weg ist inzwischen Bellcore ein Stück vorangekommen, das Forschungs-lnstitut der US-Telefonunternehmen in Morris Town, New Jersey. Dort wurde nämlich ein Chip entwickelt, der nicht nur Strukturen des menschlichen Gehirns grob in Silizium nachbildet, sondern der auch, als erster Chip seiner Art, die Boolesche XOR-Funktion lernen kann.
Der neue größtintegrierte (VLSI-) Chip besitzt laut Bellcore sechs "Neuronen", die durch 15 Synapsen miteinander in Verbindung stehen. Diese Synapsen sind nun aber nicht etwa bloß simple elektrische Leitungen, sondern vielmehr 15 eigenständige, unabhängig für sich arbeitende Prozessoren, die mit ihrer Umwelt Informationen austauschen. Und das bedeute, erläutern Bob Allen und Josh Alspector, die beiden Wissenschaftler hinter dem neuen Chip, daß wir "eigentlich einen kleinen Parallelcomputer mit 15 Prozessoren gebaut" haben.
Der neue Chip lernt auf gleiche Weise, wie es in dieser Serie bereits mehrfach für neuronale Netze beschrieben worden ist. Doch nicht nur "wißbegierig" ist dieses kleine Stückchen Silizium mithin, es ist potentiell auch überaus flott. Denn würde man eine Struktur mit beispielsweise 1000 Neuronen bauen können, dann, so meinen die Bellcore-Forscher, könnten Aufgaben, an denen ein Computer heute noch 100 Jahre rechnen würde, in 100 Sekunden gelöst sein.
Eine der grundlegenden Operationen neuronaler Netze ist die Multiplikation eines Vektors, der die aktuellen Eingabedaten repräsentiert, mit einer Matrix, die "Gewichte" der einzelnen Verbindungen zwischen je zwei Knoten des Netzes darstellt. In Chips, an deren Entwicklung derzeit die Firma Oxford Computer in Oxford, Connecticut, arbeitet, soll diese Multiplikation einer Art intelligentem Speicher von neuartiger Architektur übertragen werden, der extrem schnell rechnen soll und der nicht allein in neuronalen Netzen, sondern auch in Grafiksystemen, Bildverarbeitungsrechnern herkömmlicher Art und allgemein bei
Gleitkommarechnungen Nutzen bringen soll.
Gleichfalls an speziellen Chips und Subsystemen für den Bau neuronaler Netze arbeitet in Mississauga im kanadischen Ontario ein junges Unternehmen (Revelation Technologies), das von der Regierung in Ottawa unterstützt wird. Und die Firma Synaptics in San José in Kalifornien schließlich erforscht unter Frederico Faggin die Möglichkeiten des Baus eines Analogchips für neuronale Netze, der in vielleicht drei Jahren auf dem Markt erscheinen könnte. Wobei in diesem Zusammenhang erstens interessant sein mag, daß Faggin als einer der Pioniere der Mikroprozessoren gilt - und daß zweitens Steven G. Morton von Oxford Computer Faggins Analogansatz heftig anzugreifen pflegt, gibt man ihm dazu Gelegenheit. Denn die Analogtechnik arbeite bei schwankenden Temperaturen viel zu ungenau, meint Morton, weshalb man besser auf digitale Chips setzen solle.
Morton nimmt für sich in Anspruch, daß digitale Prozessoren ja auch im Bereich der Signalverarbeitung ihren analogen Vorläufern den Rang längst abgelaufen haben und daß man nicht vergessen sollte: Das menschliche Gehirn, das ja immer wieder als Vorbild neuronaler Rechner zitiert wird, arbeite doch bei der strikt konstanten Temperatur von zirka 37 Grad Celsius. Während die Neurocomputer sich ja wohl in einer Vielzahl von Umgebungen und mithin Temperaturen bewähren müßten, werden sie nur erst mal konkrete Wirklichkeit in alltäglichen Anwendungen.
Platinen und Programme
Neben jenen Unternehmen, über deren Aktivität auf dem Feld der neuronalen Netze der Hauptbeitrag berichtet, tummeln sich im gleichen Revier noch viele weitere Anbieter von einschlägigen Zusatzplatinen und Simulationsprogrammen.
So stammen von den Giganten TRW und Texas Instruments spezielle Platinen wie die Typen Mark III/IV beziehungsweise Odyssey, während die New Yorker Firma Human Devices eine Platine namens Parallon 1 offeriert. Und von AI Ware in Cleveland stammt eine Zusatzkarte mit der Bezeichnung AI Net.
Programme, mit deren Hilfe man auf gewöhnlichen Rechnern neuronale Netze entwickeln und simulieren kann, bietet beispielsweise die Firma NeuralWare in Sewickly, Pennsylvania; das Angebot reicht hier vom 200-Dollar-System für PCs bis zur 3000-Dollar-Offerte für Sun-Arbeitsstationen. Und ähnliche Produkte stellen auch Dair Computer Systems aus Palo Alto, Neuronics aus Cambridge in Massachusetts, Neural Systems in Vancouver, Neuraltech aus Portola Valley in Kalifornien und Martingale Research in Allen, Texas, her.