Wissenschaftler und DV-Herstellor entziehen sich bislang ihrer Technik-Verantwortung:

Joseph Weizenbaum: Die Affen sind wir!

23.12.1988

Mit Joseph Weizenbaum, emeritierter Professor am MIT, Massachussetts, sprachen die CW-Redakteure Ina Hönicke und Wolf-Dietrich Lorenz

Wir haben die Fähigkeit, neue Technologie zu steuern, schon längst verloren, meint Joseph Weizenbaum. Niemand hat sie entworfen, niemand wollte sie, niemand kann sie abschalten. Sie ist einfach da. Wir lassen uns nicht von der Technik verführen, weil wir Technik-Freaks sind, sondern weil sie uns Erleichterungen verspricht. Doch wer trägt für die Folgen die Verantwortung? Die Zauberlehrlinge antworten: das System. Schluß mit der Technikgläubigkeit, appelliert deshalb der amerikanische Computerexperte - die Verantwortung muß beim Menschen bleiben.

* Wie sieht Ihrer Meinung nach die Zukunft des Menschen in unserer technischen industriellen Welt aus?

Ich urteile äußerst pessimistisch über diese Zukunft. Ob wir die nächsten 25 Jahre überleben werden, ist nicht sicher. Wir befinden uns in einer riesengroßen Gefahr, und zwar, weil wir so unvorsichtig nicht nur mit unserer Technik, sondern überhaupt mit unserer Welt umgehen. Ich meine damit jeden einzelnen.

* Also auch den Techniker...

Ja, besonders den Techniker. Wir haben einen faustischen Pakt mit Wissenschaft und Technik geschlossen. Faust verkaufte seine Seele an Mephisto nicht umsonst, er wollte eine Gegenleistung. Wenn wir uns von der Technik verführen lassen, dann nicht, weil wir Technik-Freaks sind, sondern weil Technik uns Erleichterungen verspricht: "Wäre es nicht schön, wenn ...". Nur diesen einen Schritt noch, sagen wir, dann werden wir aufhören; doch dabei gehen wir immer weiter. Was wir indes dabei übersehen, ist der hohe Preis, den wir für den technischen Fortschritt zahlen müssen.

Dazu ein ernstes Beispiel aus amerikanischer Sicht: In der US-Medizin finden CAT-Scanner vermehrt Anwendung. Mit Hilfe solcher Geräte läßt sich ein Tumor im Gehirn ganz genau lokalisieren. Der Arzt kann zudem feststellen, ob er dem Patienten eine schwere Operation ersparen kann. Gut, nicht?

Wenn wir uns jedoch ansehen, wie viele Menschen in Amerika nicht vom "Medizin-Establishment" bedient werden, wird uns klar vor Augen geführt: Es kann noch soviel Talent und Geld in Technik investiert werden, solange große gesellschaftliche Mißstände herrschen, müssen wir uns zunächst mit den gesellschaftlichen Prioritäten befassen.

Mit diesem faustischen Pakt also, der uns viel gegeben hat, glaube ich, haben wir heute eine bestimmte Komplexität der Systeme erreicht. Wir können nicht mehr mit ihr umgehen, weil sie den biologischen Ist-Zustand des Menschen - the biological state - überschreitet. Ich denke nicht nur an Tschernobyl, ich denke auch an die Giftgaskatastrophe im indischen Bophal. Dort verhinderte ein Softwarefehler die rechtzeitige Warnung der Bevölkerung. Diese Ereignisse zeigen, daß wir die Fähigkeit, die Technik zu steuern, bereits verloren haben.

* Wie die Zauberlehrlinge ...

... haben wir Systeme in die Welt gebracht, die wir nicht mehr kontrollieren können. Dazu gehört der Militärapparat mit seinen computergesteuerten Waffensystemen: "This can't be controlled at all." Oder wenn wir uns an den 19. Oktober 1987 erinnern, den Börsen-Crash in der Wall Street, sollten wir nicht dem Computer die Schuld geben - genausowenig wie wir sagen sollten, die Technik treibt uns voran.

Die Börsenmakler haben, ganz unbewußt, ein System mit den kleinen PCs hergestellt. Sie sind unabhängig voneinander, nicht miteinander vernetzt, aber sie reagieren alle unaufgefordert, einer auf den anderen und alle wiederum auf Marktbewegungen.

Wie wir gesehen haben, ist das System gefährlich instabil. Wichtig dabei ist, zu erkennen, daß wir geduldet haben, daß dieses System entstehen konnte: Niemand hat es entworfen, niemand wollte es, niemand hat es befohlen oder dafür bezahlt, niemand ist dafür verantwortlich, niemand kann es abschalten. Es ist einfach da.

Bei diesen einschneidenden Folgen müßten wir uns fragen, wie viele anderer solcher Systeme bereits existieren, von denen wir im Moment noch nichts wissen.

* Die Technik greift unbehindert auf die Natur zu. Dabei formt unser Handeln die Welt von morgen und übermorgen. Die Schäden der 70er und 80er Jahre lassen sich kaum mehr reparieren. Haben wir uns bereits zu weit vorgewagt?

Zunächst: Die Technik greift überhaupt nicht, sondern wir Menschen greifen. Das Schlüsselwort in der Frage aber ist "unbehindert". Was sollte uns hindern, wenn nicht unsere eigene Vorsicht? Ein schönes deutsches Wort: "Vor-Sicht". Aber wir sind nicht vorsichtig, uns passiert es immer wieder, daß wir eine Katastrophe auslösen. Hinterher sagen wir dann: nie mehr - eine Arroganz, die wir gerade in der Computerwelt beobachten können.

* Warum gibt es über die Auswirkungen der Computerisierung auf unsere Gesellschaft so wenige Untersuchungen? Wir kennen George Orwell und Mahner wie Sie, aber Computerkonzerne oder auch Politiker haben nichts zur Diskussion beigetragen, außer SDI.

Die Computer-Science ist keine Ausnahme, denken Sie doch an die ebenfalls seltenen Mahner beispielsweise im Bereich der Biologie und Gentechnik. Denken Sie auch an das Verhalten deutscher Akademiker im Dritten Reich oder an die Wissenschaftler im ersten Weltkrieg. Auch damals lautete das Schlagwort: Ich bin Naturwissenschaftler, Politik geht mich nichts an.

Hinzu kommt die Verlockung, alle Möglichkeiten, die zur Verfügung stehen, für die wissenschaftliche Arbeit nutzen zu können, nicht nur im Rahmen der Computer-Science. Wer will darauf schon verzichten? Diese Verlockung ist nicht zu unterschätzen und der damit verbundene Spaß ebenfalls nicht. Das "Kind im Manne" wird wach.

* Sind Wissenschaftler wie etwa die Informatiker besonders verantwortungslos, oder sind sie nur besonders kindlich?

Wenn ich wirklich entscheiden müßte zwischen diesen zwei Alternativen, würde ich sagen, daß sie sicherlich besonders kindlich sind. Im übrigen ist das Verhalten des Wissenschaftlers eine Frage der persönlichen Reife. Aber nicht das Stillschweigen der Computer-Scientists ist das Besondere, sondern die besonders schwerwiegenden Folgen der Computer-Science sind es.

* Computerläubigkeit bei Fachleuten wie Laien ist da Öl ins Feuer ...

Die Computergläubigkeit ist lediglich eine Untermenge der Wissenschaftsgläubigkeit. Für fast alle Menschen, die lesen können, ist die Naturwissenschaft die Quelle der Wahrheit. Die Menschheit sucht die absolute Gewißheit, etwas, an das sie glauben kann, ohne weiterfragen zu müssen. Die Naturwissenschaft ist heute zu einer Religion geworden. Sie besitzt eine Theologie, Priester, Päpste und Kathedralen.

Der Begriff Glaube hat aber keine Gültigkeit, außer im Zusammenhang mit Zweifel, Hoffnung und Hoffnungslosigkeit. Für die meisten Gläubigen der Computer-Science gibt es aber keinen Zweifel. Bei fast allen elektronischen Waffensystemen beteuern uns unsere Wissenschaftler, sie funktionierten einwandfrei.

* Kann dieser Zweckoptimismus nicht gefährlich werden?

Ja, denn in den vergangenen Jahren haben wir im Bereich Computer eine Wende durchgemacht. In den 50er Jahren galt die Maxime, erst eine Aufgabe oder ein Problem verstehen zu lernen, um danach den Computer zur Bearbeitung einzuspannen. Heute ist es gerade umgekehrt. Wenn wir ein Problem nicht durchschauen, entwerfen wir zur Lösung ein Expertensystem - Artificial Intelligence wird das für uns dann schon erledigen. Der Computer "entscheidet", beispielsweise bei "launch-on-warning". Das heißt, das System initiiert auch bei einem möglichen Fehlalarm den Gegenschlag. Weil wir das Problem nicht mehr verstehen, sind wir kaum mehr in der Lage, den Rechner zu kritisieren. Das ist dann auch nicht mehr von Belang. "SDI will work the first time." Und wenn nicht - wer trägt die Verantwortung? Der Zauberlehrling antwortet: das System.

Nur der Laie glaubt an die strukturierte Programmierung. Tatsächlich aber stellen wir viele, nicht mehr zu durchschauende Systeme her und sind von ihnen abhängig. Wir treffen damit Entscheidungen, die von unseren Nachfolgern, unseren Kindern und Enkeln nicht rückgängig zu machen sind. Wir übersehen, welche ungeheure Verantwortung wir damit übernehmen.

Tatsächlich können wir diese Verantwortung nicht abgeben. Schließlich, siehe das Beispiel Tschernobyl, haben sich Menschen dafür entschieden.

* Also sind neue Tabus notwendig?

Das Wort Tabu paßt gut in diesem Zusammenhang, besonders weil unsere Technik und Wissenschaft eine Art Religion sind. Es muß keinen zweckrationalen Grund geben, etwas zu tabuisieren. Vielmehr ist dies eine innere Entscheidung, eine Veränderung des Menschen.

* Kann man nicht auch vom Gewissen sprechen...

Ja.

* Was könnte den Menschen des 20. Jahrhunderts zu einer Umkehr veranlassen?

Leider ist vielleicht die einzige Möglichkeit, um die nächste Zeit zu überleben, daß wir eine riesige Katastrophe erleiden müssen. Tschernobyl genügt offensichtlich nicht.

* Ist der Mensch nicht manchmal überfordert? Nachrichten von Katastrophen und Krieg stürmen auf ihn ein: Ist da nicht für viele die Versuchung groß, es den Affen gleichzutun, Ohren zu, Augen zu, Mund zu ...

... aber wir sind doch keine Affen.

* Wo gibt es einen Ausweg, besonders für den kleinen Mann auf der Straße?

Ich werde Ihnen etwas über den kleinen Mann auf der Straße sagen. Vor einigen Jahren luden mich Leiter des Schulfernsehens aus der gesamten Bundesrepublik ein, mit ihnen über das Thema "Kinder und Computer" zu sprechen. Beim Thema Verkabelung betonten alle, sie seien gegen die Verkabelung der Bundesrepublik, aber - natürlich - könnten sie nichts verhindern. Wo fängt denn die Verantwortung an? Die Verantwortung fängt bei uns an. Das "Wir", das ich immer betone, bedeutet "Du und ich".

Jetzt komme ich wieder zu den Informatikern. Wir haben ein besonderes Wissen, das eben nicht jeder hat. Wir können nämlich DV-Systeme herstellen und steuern. Dadurch tragen wir auch Verantwortung. Wir haben deshalb die Pflicht, öffentlich und deutlich auch über die Grenzen der Technik zu sprechen: Schluß mit dem übertrieben optimistischen Bild der Computerei, ganz besonders auf dem Feld der wissensbasierten Systeme! Die großspurige Computerreklame in Amerika wirbt bereits seit Anfang 1955 mit Versprechungen, die bis heute noch nicht erfüllt wurden.

Das ist auch eine Frage der Verantwortung. Was würden wir zu einer großartigen Werbung über die Sicherheit von Flugzeugen sagen, wenn aber jeden Tag eine ganze Reihe von ihnen abstürzte? Daraus können wir etwas lernen, wir Computerleute.

* Auch die Computerexperten in den Herstellerunternehmen?

Wer soll sprechen, wenn nicht gerade diese Leute? Wir sollten bei der Entwicklung und dem Konsum von Technik - für den persönlichen wie den kommerziellen Bedarf - mehr "Vor-Sicht" walten lassen. Brauchen wir ein hochtechnisiertes Produkt nach dem anderen? Ich meine jetzt nicht: Braucht die Gesellschaft das? Ich meine: Brauchen Sie das? Brauche ich das? Die Antwort ist doch ganz klar: nein. Wir brauchen es nicht, aber du wirst es kaufen - die Compact Disk oder das High-Precision-Fernsehen, den Jäger 90 oder SDI.

Dazu sehe ich ein Bild vor mir: Jemand bietet einem Affen in einem Käfig eine Banane an. Er ergreift durch die Gitterstäbe hindurch die Frucht; aber da er dazu eine Faust machen muß, kann er die Hand nicht mehr zu sich heranziehen. Es fällt ihm dabei nicht ein, die Banane loszulassen. Das sind wir.