Wege zur KI im Systems Engineering: ein INCOSE Mini-Event 2021
Diese Woche fand ein hervorragendes INCOSE-Event zum Thema Künstliche Intelligenz (KI) im Systems Engineering statt. In vier Vorträgen wurden mehrere wichtige Themen angesprochen, die wir Systems Engineers auf dem Schirm haben sollten. Ein paar Kostproben: Sollten Trainingsdaten wie Software Quellcode behandelt werden? Brauchen wir „MLOps“, ähnlich wie sich inzwischen DevOps etabliert hat? Und sollten wir „Data Requirements“ als neue Kategorie einführen?
Auf der INCOSE-Webseite sind alle Vortragsbeschreibungen zu finden. Hier sind die Unterlagen zum Vortrag:
Verstehen, wie die KI tickt
Die Daten wissen nicht, was Ursache und Wirkung sind, wir wissen das. Du bist schlauer als Deine Daten.
Terril Hurst
Terril Hurst arbeitet daran, die Entscheidungen einer KI nachvollziehbar zu machen. Im Vortrag „Causal Inference: Key for Opening the AI Black Box for Systems Engineering“ beschreibt der einen formalen Ansatz, Pearl’s Causal-Model Inference Engine. Sein Arbeitgeber Raytheon ist ein Rüstungskonzern – eine Industrie, in der Fehler tödlich sein können.
Ein Problem im klassischen Machine Learning ist, dass das System lediglich eine Mustererkennung durchführt. In den Daten sind keine Informationen zu Ursache und Wirkung enthalten. Deshalb ist es so wichtig, Menschen mit Ihrer Erfahrung mit einzubeziehen (Background Knowledge im Bild). KI-Experten wollen immer „mehr Daten“ haben, aber mehr Daten sind nicht immer die Lösung.
Von schlechten Entscheidungen geht eine große Gefahr aus. Diese Gefahr kann entschärft werden, hat aber einen Preis. Ein vollständiges, transparentes Wahrscheinlichkeitsmodell ermöglicht es Entscheidungen zu begründen. In der Rüstung ist der Aufwand, so ein Modell zu erstellen, gerechtfertigt.
Trainingsdaten wie Quellcode behandeln
Barclay Brown stellte den 350 Teilnehmern die folgende Frage: Womit sind Trainingsdaten in der Entwicklung am ehesten zu vergleichen:
- Testdaten
- Konfiguration
- Compilierter Objektcode
- Quellcode
- Datenbank
Nun ja, die Antwort steht ja schon im Titel. Sein Vortrag hatte den Titel „Data Requirements and the Green School Bus Problem“. Der Titel bezieht sich auf das folgende Beispiel:
Ob das System den grünen Schulbus korrekt erkennt, hängt zum großen Teil von den Trainingsdaten ab. Und wir können uns sicher vorstellen, wie die Überschrift in der BILD aussehen würde, wenn in einem Kriegsgebiet ein Schulbus von einem KI-Waffensystem angegriffen würde.
Wer ist schuld, wenn etwas schief geht? Der Systems Engineer!
Barclay Brown
Barclay argumentiert, dass ein Teil der Lösung ein neuer Anforderungstyp sein sollte: Data Requirements. Für diese schlägt er das Kürzel DADS vor, eine Abkürzung für:
- D – Diversity: Datenvielfalt
- A – Augmentation: Durch Überlagerungen kann die Datenvielfalt erhöht werden
- D – Distribution: Sollten die Verteilung der Trainingsdaten in den verschiedenen Kategorien den zu erwartenden entsprechen? Was ist dabei zu beachten?
- S – Synthesis: Virtuelle Testdaten können natürliche Daten effektiv ergänzen oder sogar ersetzen.
Zum Thema Data Requirements ist so viel zu sagen, dass ich demnächst dazu einen eigenen Artikel in meiner SEcKI-Kolumne veröffentlichen werde.
KI-Erfolg mit MLOps
Im KI herrscht Goldgräberstimmung! Doch wie im Goldrausch gehen auch hier viele Organisationen leer aus. Mehran Irdmousa behandelt dieses Thema in seinem Vortrag „Increasing the Success Rate of AI and ML Systems Deployment at the Enterprise Level“. Zunächst ein paar deprimierende Statistiken dazu:
Für diese Zahlen gibt es natürlich viele Gründe. Einer ist die Unfähigkeit, KI zu operationalisieren. Die Motivation und Effekte haben Ähnlichkeit mit DevOps.
I’ve seen waaaayyy too many AI projects that neglected this, and failed.
Philip Hallenbeck im Chat während des Vortrags
Der Autor stellte mögliche Prozesse vor, die sich an DevOps orientieren aber auch einige wichtige Unterschiede aufzeigen. Zum Beispiel muss „Data Drift“ berücksichtigt werden, ein KI-spezifisches Phänomen.
Eine neue Klasse von Systemen
In seinem Vortrag „Challenges to the Verification and Validation of Intelligent Systems“ argumentiert Alejandro Salado, dass traditionelle Ansätze nicht mehr für AI-Systeme zweckmäßig sind. Diese Frage stellte er im Kontext der V&V-Aktivitäten.
Wir brauchen „Adaptive V&V“ für intelligente Systeme
Alejandro Salado
Die derzeitigen V&V-Ansätze beruhen auf der Annahme, dass das Systemverhalten während der Lebensdauer eines Systems erhalten bleibt. Intelligente Systeme werden jedoch so entwickelt, dass sie während ihrer Lebensdauer ihr eigenes Verhalten entwickeln; dies ist der Zweck der KI. Aufgrund dieser Diskrepanz sind die bestehenden Ansätze zur Entwicklung und Durchführung von V&V-Strategien für Systeme, die KI enthalten, unwirksam.
INCOSE Arbeitsgruppen zu KI
Egal ob bei INCOSE oder auch in Deutschland bei der GfSE – KI wird unter Systems Engineers eifrig diskutiert, wenn nicht sogar gehypt. Aber Hype oder nicht: Wir müssen die Möglichkeiten und Gefahren kennen. Wer sich einbringen möchte, findet sowohl bei der INCOSE als auch GFSE die passende Arbeitsgruppe.
Bildquelle: FreePik
