Foto: puhhha | shutterstock.com
Als Cloud Computing unternehmenstauglich wurde und Tools wie Continuous Integration und Continuous Delivery, Infrastructure as Code und Kubernetes zum Mainstream wurden, markierte das einen signifikanten Paradigmenwechsel - für Development und Operations. Die Aufgaben, die Devs und Ops voneinander trennten wurden zu DevOps. In der Folge wich die manuell geprägte Zusammenarbeit der Teams einer fortschrittlichen Automatisierung und orchestrierten Workflows.
Mit Generative AI (GenAI) und großen Sprachmodellen (Large Language Models; LLMs) steht nun der nächste große Umbruch an, der die Arbeitsweise von Softwareentwicklern, -ingenieuren und Datenwissenschaftlern wesentlich optimieren kann. Dazu müssen DevSecOps-Teams jedoch eine ganze Reihe neuer Risiken in den Bereichen Datenschutz, Sicherheit und Operations durchdringen und managen. CIOs und IT-Managern kommt dabei die Aufgabe zu, ihre Teams auf den neuerlichen Paradigmenwechsel vorzubereiten.
Die folgenden vier Fähigkeiten sind für DevSecOps-Spezialisten, Data Scientists und andere IT-Experten in der GenAI-Ära essenziell.
1. Prompts entwickeln und validieren
Prompt Engineering gehört bei der Arbeit mit GenAI-Tools zum guten Ton. Mindestens ebenso wichtig ist jedoch die Fähigkeit, den Output
bewerten,
unabhängig validieren sowie
Halluzination erkennen zu können.
David Brooks, SVP und Lead Evangelist beim DevOps-Spezialisten Copado, empfiehlt an dieser Stelle: "Entwickler, Tester und Business-Analysten sollten lernen, wie man Prompts schreibt - und wo generative KI gut ist und wo nicht. Eignen Sie sich eine 'trust but verify'-Mentalität an und überprüfen Sie alle generierten Inhalte auf Sinnhaftigkeit."
Geht es nach Cody De Arkland, Director of Developer Relations beim Plattformanbieter LaunchDarkly, sollten diese Fähigkeiten möglichst früh zum Einsatz kommen: "Richtig eingesetzt, können Entwickler LLMs dazu nutzen, ihre Experimentierphasen zu optimieren und möglichst schnell Variationen zu generieren. Ganz besonders dann, wenn der Prompt um ihre Hypothese herum aufgebaut ist und die richtige Zielgruppe fokussiert. Wer lernt, die Lücken in den KI-Antworten zu erkennen, wird sich zu einem effektiveren DevOps-Praktiker entwickeln."
2. LLMs optimieren
Data Engineering wird laut Akshay Bhushan, Partner beim Risikokapitalgeber Tola Capital, künftig eine der wichtigsten Generative-AI-Kompetenzen sein: "Schließlich müssen die Pipelines, die nötig sind, um Daten in ein Modell einzuspeisen, aufgebaut werden", begründet der Manager seine Prognose.
Vor dem Hype um LLMs haben sich viele Unternehmen darauf konzentriert, robuste Datenpipelines aufzubauen, die Datenqualität zu optimieren sowie Citizen-Data-Science-Funktionen und eine proaktive Data Governance für strukturierte Daten einzuführen. Große Sprachmodelle brauchen jedoch auch unstrukturierte Daten, um den KI-Modellen einen breiteren Kontext "anzutrainieren". Um den Umgang mit entsprechenden, neuen Tools zu erlernen und LLM-Einbettungen entwickeln zu können, brauchen Unternehmen folglich Datenwissenschaftler und Data-Governance-Spezialisten. Dabei werden auch DevSecOps-Experten zum Zuge kommen, wenn es darum geht, Anwendungen zu integrieren und die zugrundeliegende Infrastruktur zu automatisieren.
Rohit Choudhary, Mitbegründer und CEO des Observability-Spezialisten Acceldata, konkretisiert: "Generative KI-Modelle sind in hohem Maße auf Trainingsdaten und deren Auswertung angewiesen. Pipelines orchestrieren zu können, um Daten zu bereinigen und in ein Machine-Learning-kompatibles Format umzuwandeln, ist also eine unabdingbare Fähigkeit." Laut dem Manager sind außerdem auch Kenntnisse im Bereich Datenvisualisierung essenziell, um verstehen zu können, wie sich Daten verteilen, welche Muster sie aufwerfen sowie die KI-Modellleistung analysieren zu können.
3. KI-Stack durchdringen
GenAI-Funktionen erobern integrierte Entwicklungsumgebungen, ITSM-Plattformen und andere agile Development-Werkzeuge. Tools, die Code auf der Grundlage von Prompts generieren, bieten vielversprechende Möglichkeiten für Entwickler - erfordern aber auch, den Output mit Blick auf Integration, Performance, Security und Compliance bewerten zu können.
KI habe eine völlig neue Ära der Effizienz eingeläutet, aber Tools wie Copilot produzierten riesige Code-Mengen, die sich nicht immer durch Präzision auszeichneten, kritisiert auch Igor Jablokov, Gründer und CEO des Enterprise-KI-Spezialisten Pryon: "Sowohl der DevOps-Stack als auch die Cybersicherheitsbranche müssen aufholen, wenn es darum geht, KI-generierten Code auf Copyright-Probleme und Fehler zu überprüfen."
Developer und Datenwissenschaftler, die in ihren Unternehmen dazu beitragen wollen, eigene LLMs zu entwickeln, müssen etliche neue Technologien durchdringen, wie Nikolaos Vasiloglou, VP of Research Machine Learning bei RelationalAI, deutlich macht: "Ein moderner DevOps-Ingenieur sollte Vektordatenbanken und Open-Source-Tools wie Hugging Face, Llama und LangChain beherrschen. Momentan sind vor allem riesige Sprachmodelle mit 100 Milliarden Parametern populär. Es ist jedoch abzusehen, dass der Trend künftig zu mehr Feinabstimmung und vielen kleineren KI-Modellen geht. Deren Lifecycle zu managen, ist ebenfalls keine triviale Aufgabe."
Laut Kjell Carlsson, Head of Data Science Strategy and Evangelism bei Domino Data Lab, wird sich die Fähigkeit, GenAI-Modelle zu operationalisieren, schnell zum wichtigsten Skill überhaupt entwickeln: "Das stellt das größte Hindernis dar, wenn es darum geht, mit generativer KI Wirkung zu erzielen."
4. Linkslastig automatisieren
Trotzdem sich Experten einig sind, dass es missionskritisch ist, den Output einer generativen KI zu validieren und zu überprüfen: Vielen IT-Abteilungen fehlt es an Personal, Skills und Tools, um die wachsenden Herausforderungen in den Bereichen Security und QA-Testautomatisierung zu bewältigen. Um die Lücke zu schließen, empfiehlt es sich für Developer, Operations Engineers und Datenwissenschaftler, in genau diese Kompetenzen zu investieren. Stephen Magill, VP of Product Innovation beim Softwareunternehmen Sonatype empfiehlt DevOps-Teams: "Konzentrieren Sie sich auf Skills wie KI-gesteuerte Threat Detection, die automatisierte Absicherung von CI/CD-Pipelines oder die KI-basierte Fehlerbehebung.
Weil jedoch nicht nur die IT, sondern auch viele andere Abteilungen und Mitarbeiter bereits mit ChatGPT und anderen GenAI-Tools experimentieren, reicht es nicht aus, sich auf Security und Testing zu fokussieren, wie David Haber, CEO und Mitbegründer des KI-Spezialisten Lakera, weiß: "Devops-Teams sollten Fähigkeiten entwickeln, um häufige LLM-Schwachstellen wie Prompt Injection oder Data Poisoning entschärfen zu können. Zudem sollten Continuous-Monitoring- und Incident-Response-Mechanismen implementiert werden." (fm)
Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation Infoworld.
- Andreas Schneider, IBM
„KI ist nur so gut wie die Daten, die sie füttert. Unternehmen benötigen daher eine AI- und Data-Plattform, um Modelle möglichst kontextspezifisch und kollaborativ zu trainieren, zu validieren und zu deployen. Gleichzeitig darf dabei nicht aus den Augen verloren werden, alle Beteiligten auch abzuholen. Dass Veränderungen, beispielsweise durch die Automation von Geschäftsprozessen, nicht immer auf Begeisterung stoßen, ist völlig menschlich. Soziale Aspekte und Ängste muss man deshalb genauso berücksichtigen wie Technologie und eine umfangreiche Governance von KI-Modellen.“ - Daniel Hummel, KI Reply
„Es reicht nicht aus, lediglich theoretisch über KI-Lösungen zu diskutieren und sie zu skizzieren. Stattdessen sollten wir diese Lösungen mithilfe von Mockups simulieren, um ihren Nutzen und ihre Machbarkeit besser zu verdeutlichen. Dank der neuesten Fortschritte in der KI können wir sie schnell in Proof-of-Concepts (PoCs) umwandeln. Dies eröffnet uns die Möglichkeit, sofort auf Veränderungen zu reagieren und den nächsten Schritt in Richtung Realisierung zu gehen. Für mich ist es von zentraler Bedeutung, die uns zur Verfügung stehenden Modelle bestmöglich zu nutzen. Damit können wir in Deutschland eigenständige Innovationen vorantreiben, anstatt die Lösungen anderer zu adaptieren.“ - Michael Koch, Lufthansa Industry Solutions
„Die Nutzung von KI bringt bereits heute viele Vorteile, wir müssen den Umgang damit aber noch erlernen. Die Vision: Wir sollten KI wie ein Flugzeug verwenden. Denn auf dem Weg in den Urlaub vertrauen wir der Technik und machen uns keine Gedanken darüber, wie zum Beispiel ein Triebwerk funktioniert. Der Weg ist sicherlich noch weit, aber mit den derzeit verfügbaren Sprachmodellen und KIs können wir schon heute einfach und verlässlich gewinnbringende Lösungen entwickeln, die aktuelle Sicherheits- und Datenschutzvorgaben berücksichtigen. Eine gute Lösung sollte verwendet werden, egal welche KI im Einsatz ist. Voraussetzung dafür ist, dass sie alle ethischen und gesetzlichen Rahmenbedingungen im Sinne einer Trustworthy AI und des EU-AI-Acts einhält." - Christian Eckstein, MVTec Software
„Der Anteil von KI in Bildverarbeitungssystemen ist niedriger, als man vielleicht vermuten würde. Und das hat einen einfachen Grund: Die Modelle, die unsere Kunden selbst trainieren, müssen lokal ausgeführt werden. Die Idee, dass der Anlagenbetrieb von einer Internetverbindung oder einer Cloud abhängt, ist sehr absurd in der Industrie. Auch, dass Bilddaten von Fehlerteilen zum Beispiel nach aussen geschickt werden, ist für die meisten undenkbar. Weil die Modelle lokal ausgeführt werden, braucht es eine entsprechende Hardware. Eine GPU, die in der Fertigung gekühlt werden muss – auch das ist schwierig. Und schließlich ist KI für die meisten Anwendungen der Bildverarbeitung zu langsam. Die Inspektion von Folie zum Beispiel, die mit zig Metern pro Sekunde durch die Anlage läuft – da käme kein Modell hinterher.“ - Björn Ständer, Oracle
„Ein breites Einsatzgebiet für KI gibt es heute schon im Bereich Gesundheitswesen. Die Kombination aus supervised and unsupervised Leaning erschliesst neue Möglichkeiten im Bereich Diagnose und Behandlung. Dabei werden z.B. Messdaten von Smart Devices mit Modellen von Digital Twins kombiniert, um Erkenntnisse für eine Früherkennung oder neue Behandlungsmethoden zu gewinnen. Der Einsatz anonymisierter Bilderkennung unterstützt das Krankenhauspersonal beim Monitoring von Patienten und alarmiert Pflegekräfte über kritische Situationen – durch eine intelligente Automatisierung mit KI kann das Personal von Routinetätigkeiten entlastet werden – in Zeiten von Fachkräftemangel und steigendem Kostendruck dient der Einsatz von KI dem Wohl Patienten als auch der Kostenoptimierung des Providers.“ - Alexander Siebert, Retresco
„Mit ChatGPT haben wir zum ersten Mal eine White Collar Revolution. Vorher waren es die Kuka-Roboter, welche die Blue Collar Worker in den Fabriken bedroht haben. Nun sind plötzlich die Kreativprozesse betroffen, was Unternehmen vor große Herausforderungen stellt. Sowohl intern, weil die Marketing-Abteilungen um ihre Jobs fürchten, andererseits aber damit arbeiten müssen, um effizient zu bleiben. Aber auch von außen, weil plötzlich eine ganz andere Wettbewerbssituation gegeben ist. Mit KI-Sprachmodellen können kleine 1-Personen-Betriebe viel leichter Geschäftsmodelle aufbauen, welche sehr schnell herkömmliche Angebote bedrohen können.“ - Johannes Bohnet, Seerene
„Selbst vergleichsweise einfache Softwareprojekte entziehen sich durch ihre im wahrsten Sinne des Wortes übermenschliche Komplexität einem holistischen menschlichen Verständnis und damit der strategischen Steuerung durch menschliche Akteure. Seerene nutzt KI einerseits, um aus den Daten, die in den Software-Entwicklungsabteilungen bereits vorhanden sind, die Sichtbarkeit von Software-Produktionsprozessen bis hin zur Managementebene zu erreichen. Zum anderen setzen wir AI direkt in der Software-Entwicklung ein, um Vorhersagen treffen zu können, wo aus den Tätigkeiten heraus eine zukünftige Gefahr besteht, dass dort Fehlerquellen in den Code gelangen könnten.“