Sichere KI?

Jeder Fehler in der Software von heute birgt die Sicherheitslücken von morgen

07.10.2019
Von 
Senior Manager bei PwC und Buchautorin
Gibt es eine sichere künstliche Intelligenz? Bevor diese Frage bejaht werden kann, brauchen wir neue Standards für Entwicklung und Qualität komplexer KI-Systeme. Diese Normen sollten verbindlich sein.

Man stelle sich vor, eine von Facebook oder Google entwickelte künstliche Intelligenz (KI) läuft eines Tages Amok und radiert die Menschheit aus. Auch wenn es einem schwer fällt, sich Alexa oder Siri in der Rolle blutrünstiger Killermaschinen vorzustellen - ganz ausschließen kann man solche Szenarien noch nicht. Die Frage, was man - jenseits ethischer Guidelines und Leitlinien - dagegen tun könnte, stellt sich gleich nach der Frage, wer dafür verantwortlich wäre: der Softwareentwickler, der Vertrieb, die Tester, der Designer, der Auftraggeber, der Geschäftsführer oder der Firmenbesitzer?

Terminator als KI-Vorbild Nummer eins

Für den US-Sicherheitsguru, Bruce Schneier, ist die Furcht vor der KI, ob nun in Gestalt von Robotersoldaten oder selbstfahrenden Fahrzeugen, weniger Vorbote der Zukunft als Spiegelbild unserer Gesellschaft. Derzeit besteht keine Einigkeit darüber, was künstliche Intelligenz eigentlich ist. Unsere Vorstellungen von der KI werden durch Science-Fiction-Filme oder -Literatur geprägt, wie eine aktuelle Studie der Gesellschaft für Informatik zeigt: Demnach gehört für die Mehrheit der Befragten der Terminator zu den bekanntesten KI-Vorbildern - vor R2-D2 aus Star Wars und dem drittplatzierten K.I.T.T. Als persönlichen Assistenten könnten sich die meisten R2-D2 sowie den Roboter Sonny aus dem Film I, Robot vorstellen.

Dabei sind KI und Roboter erst der Gipfel verschiedener, sich heute schon teilweise im Einsatz befindlicher Vorläufertechnologien wie die automatischen Entscheidungssysteme (Automated Decision Making, ADM), autonome Systeme oder lernende Algorithmen beziehungsweise Machine Learning (ML). Die Sicherheitsrisiken der künftigen KI-Systeme unterscheiden sich nicht wesentlich von den Risiken der Vorläufertechnologien. Sie nehmen mit der steigenden Verbreitung und Nutzung dieser Technologien und ihrer wachsenden Leistungsfähigkeit zu. "[…] während mich die Gefahr der Robotersoldaten beunruhigt", so Bruce Schneier, seien "die meisten Risiken bereits autonomen Waffensystemen inhärent". Und während vielen von uns potenzielle Gefahren selbstfahrender Autos den Schlaf rauben, sind die meisten für autonomes Fahren relevanten Risiken bereits in Fahrzeugen, die ein menschlicher Fahrer benutzt, vorhanden, sobald sie mit dem Internet verbunden sind.

Der Terminator ist für die Mehrheit der Deutschen das bekannteste KI-Vorbild, gefolgt von R2-D2 aus Star Wars und K.I.T.T. Das fand das Institut für Demoskopie Allensbach in einer von der Gesellschaft für Informatik in Auftrag gegebenen Studie über „KI und Popkultur“ im Mai 2019 heraus. Solange keine Einigkeit darüber herrscht, was künstliche Intelligenz eigentlich ist, werden unsere Vorstellungen durch Science-Fiction-Filme oder -Literatur geprägt.
Der Terminator ist für die Mehrheit der Deutschen das bekannteste KI-Vorbild, gefolgt von R2-D2 aus Star Wars und K.I.T.T. Das fand das Institut für Demoskopie Allensbach in einer von der Gesellschaft für Informatik in Auftrag gegebenen Studie über „KI und Popkultur“ im Mai 2019 heraus. Solange keine Einigkeit darüber herrscht, was künstliche Intelligenz eigentlich ist, werden unsere Vorstellungen durch Science-Fiction-Filme oder -Literatur geprägt.
Foto: Shutterstock.de - RichartPhotos

Was ist Künstliche Intelligenz?

Bevor man von der Sicherheit der KI spricht, sollte man sich eventuell die Frage stellen, was KI eigentlich ist. Auch wenn das Thema KI für Industrie wie Politik "höchste Bedeutung" hat, gibt es derzeit keine einheitliche, allgemein akzeptierte Definition künstlicher Intelligenz. Alles, was "lernt", "komplex" ist oder einfach viele Daten verwendet, scheint sich sogleich als KI zu qualifizieren. Bei der Vorläufertechnologie Machine Learning handelt es sich beispielsweise um eine bestimmte Art von Algorithmus, der eine Maschine (einen Computer) anweist, große Datenmengen auszuwerten, und angibt, wann die Aufgabe richtig und wann falsch beziehungsweise besser oder schlechter ausgeführt wurde. Auf dieser Grundlage modifiziert sich der Algorithmus selbst, um die gestellte Aufgabe immer besser zu lösen (gleichwohl zuerst definiert werden muss, was "besser" ist). Dennoch arbeiten die meisten sich heute im Einsatz befindlichen Maschinen oder Roboter noch per Vorgabe. Der Algorithmus gibt für bestimmte Aktionen konkrete Reaktionen vor.

Komplexität als größter Feind der Sicherheit

Was auf ML, ADM-Systeme oder KI - wie auch immer geartet - zutrifft, ist: Es handelt sich dabei zuerst um ein Stück Software - ein Stück sehr komplexer Software. Und die Komplexität, so Bruce Schneier, sei der größte Feind der Sicherheit. Algorithmen benötigen präzise Angaben, Maschinen oder Computer benötigen konkrete Vorgaben. Sie benötigen Daten, um ordnungsgemäß zu funktionieren. Diese Daten müssen integer, verfügbar und korrekt sein.

Um sicherzustellen, dass die Software das tut, was sie tun soll, ist Testen beziehungsweise Penetrationstesting eine populäre, von vielen Unternehmen bevorzugte Methode der Prüfung. Pentests sind eine wesentliche und zunehmend verbreitete, dennoch alleine nicht hinreichende Methode der Prüfung von Softwarequalität und -sicherheit. Sie bieten unvollkommene Beweise, sind dennoch unentbehrlich dort, wo der Entwicklungsprozess - wie beispielsweise der Quellcode selbst - im Verborgenen bleibt. Sie sollten deswegen um Kriterien für Softwareentwicklung, insbesondere für die Softwarequalität und -sicherheit, sinnvoll ergänzt werden, um aussagekräftige Ergebnisse zu gewährleisten.

Die Komplexität der Softwares, sei es ML, ADM-Systeme oder KI, ist der größte Feind der Sicherheit, so Bruce Schneier.
Die Komplexität der Softwares, sei es ML, ADM-Systeme oder KI, ist der größte Feind der Sicherheit, so Bruce Schneier.
Foto: Phonlamai Photo - shutterstock.com

Da es sich bei KI-Systemen zusätzlich um keine statischen IT-Systeme handelt, hat die Gesellschaft für Informatik in ihrer Studie Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren verfügbare, geeignete Testmethoden für ADM-Systeme ausgewertet und Forschungsbedarf an neuen Testverfahren identifiziert. Ausgedrückt mit den Worten des Computerpioniers Edsger Dijkstra: "[...] program testing can be a very effective way to show the presence of bugs, but it is hopelessly inadequate for showing their absence. The only effective way to show the confidence level of a program significantly is to give a convincing proof of its correctness."

Software als "Bananenprodukt"

Die Sache mit der Sicherheit beginnt für die KI-Systeme wie auch ihre Vorläufertechnologien dort, wo die Software entwickelt wird. Und dieser Software bescheinigen die Experten heute bereits keine gute Qualität. Software werde in unreifem Zustand auf den Markt gebracht und "reife" bei den Kunden; sei instabil, müsse gepatched, gewartet und upgegraded werden oder entwickle ein Eigenleben, indem sie - zu Wartungszwecken - Daten ohne Wissen des Nutzers an die Hersteller übermittle. Man spricht von Software als "Bananen-Produkt". Der Autor von "Novacene", James Lovelock, bescheinigte dem Computercode, er sei "absolute junk": "Whenever I look at recently developed computer code, it is just most appealing stuff." Und einer der Sprecher des Chaos Computer Clubs schlug vor, mit der Software Tabula rasa zu machen und nochmals von vorn mit dem Programmieren anzufangen. Diesmal aber richtig.

Jeder Fehler in der Software von heute ist eine potenzielle Sicherheitslücke von morgen. Dies rückt den Aspekt der Softwaresicherheit langsam in den Fokus der Diskussion über die Sicherheit der KI-Systeme. Passenderweise gibt es bereits Standards für die Entwicklung sicherer und qualitativ hochwertiger Software, wie ISO 9001, um den allgemeinen Qualitätsstandard zu nennen, oder ISO 9126, Quality Software Engineering, spezielle oder ergänzende Standards für Applikationen wie ISO 90003: 2018, Software Engineering - Guidelines for the Application of ISO 9001:2015 to computer software oder ISO 27034-7:2018, Application Security and Controls, um einige Beispiele zu nennen.

Verbindliche Kontrollsysteme sind nötig

Warum sieht die Software dennoch so aus, wie von Lovelock beschrieben? Weil diese Standards nicht verbindlich beziehungsweise nicht verpflichtend sind. Sollen Automation und künstliche Intelligenz künftig das Leben der Menschen erleichtern, gilt es jetzt, die Kontrollfähigkeit der Systeme vorzuschreiben und sicherzustellen - oder wenigstens verbindlich zu machen. Dies gelingt mithilfe von Zertifikaten, Prüfungstestaten, Sicherheitsgütesiegeln oder IT-Kennzeichen für Sicherheit, wie aktuell vom Bundesinnenministerium vorgeschlagen. Die viel diskutierte Transparenz reicht hierfür vermutlich nicht aus - bis auf ihre Rolle als notwendige Bedingung für die Prüffähigkeit.

Viele der Standards für Softwareentwicklung und -qualität sind auch noch nicht für komplexe Software ausgelegt oder wurden nicht für solche entwickelt. Dies bedarf weiterer Forschung. Wissenschaftler wie Professor Sabine Radomski von der Hochschule für Telekommunikation Leipzig (HfTL) arbeiten an der Entwicklung geeigneter Qualitäts- und Sicherheitsindikatoren (wie der "Obsoleszenz") und an Methoden für die Bewertung und Prüfung der Softwarequalität während des Entwicklungsprozesses. Bei der Überführung von Forschungsergebnissen in die konkrete Anwendung, spielen Normen und Standards eine wichtige Rolle. Eine im August vom Bundesministerium für Wirtschaft und Energie (BMWi) und dem Deutschen Institut für Normung (DIN) etablierte Steuerungsgruppe für die Normung zu Künstlicher Intelligenz wird im kommenden Jahr eine KI-Normungsroadmap entwickeln, mit der die Qualität von KI sichergestellt werden sollte.

Cyborgs machen es besser

Und wenn man die Arbeit richtig gemacht hat, dann wird sich die KI bald selbst programmieren können. Das werden die Cyborgs sowieso viel besser können als die Menschen, davon ist James Lovelock, nachdem er sich Proben des heute entwickelten Codes angeschaut hat, überzeugt.