RE4AI: Anforderungen für KI-lastige Produkte richtig erfassen (Teil 1)

KI ist in aller Munde: Aber was bedeutet es für das Anforderungsmanagement Künstliche Intelligenz zum Teil des Produkts zu machen? Dies nennt sich RE4AI, Requirements Engineering for Artificial Intelligence. Mit dieser hochaktuellen Frage haben sich Ahmad et.al. auseinandergesetzt.

Konkret untersuchten die Forscher, welche Ansätze für RE4AI in der Literatur zu finden sind. Dazu gehören Methoden und Werkzeuge, sowie deren Möglichkeiten und Grenzen. Im Folgenden die Ergebnisse der Auswertung von 27 Studien aus der Forschungsliteratur. Das Ergebnis: Es gibt noch viel zu tun, bewährte Ansätze stoßen bei KI-Systemen an ihre Grenzen.

Dies ist der erste Teil zu KI, welches auf die Einschränkungen und Herausforderungen von RE4AI eingeht, sowie auf die möglichen Domänen der Anwendung und die Notationen, die bei der Erfassung von Anforderungen helfen.

Die Forschungsarbeit

Das Paper mit dem Titel What’s up with Requirements Engineering for Artificial Intelligence Systems? wurde 2021 von Khlood Ahmad, Muneera Bano, Mohamed Abdelrazek und Chetan Arora (Deakin University, Geelong, Australia) sowie John Grundy (Monash University) veröffentlicht.

KI-Systeme sind anders

Anforderungsmanagement folgt einem etablierter Prozess, der die folgenden Phasen durchläuft: Erhebung, Analyse, Spezifikation und Dokumentation, Validierung und Management. Dieser Prozess stellt sicher, dass die Anforderungen korrekt erhoben, dokumentiert und verwaltet werden und mit den Bedürfnissen der Nutzer übereinstimmen.

Der Prozess der Softwareentwicklung unterscheidet sich für Systeme mit KI/ML-Komponenten. Solche Systeme werden nicht immer durch Spezifikationen spezifiziert, sondern lernen ein Verhalten anhand von Daten. Daher müssen die RE-Techniken an die durch dieses neue Paradigma der KI-Systeme eingeführten Änderungen angepasst werden.

Das Fehlen von Anforderungsspezifikationen in den derzeitigen ML-Systemen hat erhebliche Auswirkungen auf die Qualität des ML-Modells.

What’s up with Requirements Engineering for Artificial Intelligence Systems?

Insbesondere enthalten solche Systeme vergleichsweise wenig Softwarecode, zumindest im Verhältnis zu den Trainingsdaten. Dementsprechend ist auch das Verwalten von Trainingsdaten (MLOps) sehr wichtig. Die Autoren haben Hinweise in der Literatur gefunden, dass die fehlende Spezifikation von ML-Systemen sich negativ auf die Qualität der ML-Modelle auswirkt.

Nichfunktionale Anforderungen gewinnen an Bedeutung, wie Transparenz, Vertrauen, Privatsphäre, Sicherheit und Zuverlässigkeit.

RE4AI-Forschung

Bei diesem Paper handelt es sich um eine Systematische Literaturanalyse (SLR). Dabei stellte sich heraus, dass die meisten Arbeiten sich mit dem Einsatz von KI im Anforderungsmanagement auseinandersetzen. Für den Einsatz von KI im Produkt wurde vergleichsweise weniger veröffentlicht, wobei im Moment viel passiert. Die Autoren vermuten, dass wir in den nächsten Jahren viele neue, innovative Arbeiten zu RE4AI sehen werden.

Mit der Literaturrecherche haben die Autoren die folgenden Fragen beantwortet:

Welche Modellierungssprachen und Notationen für Anforderungen werden für RE4AI verwendet?

Die Autoren untersuchten zunächst, wie im Entwicklungsprozess die Anforderungen festgehalten wurden. Hiermit ist also nicht das ML-Modell gemeint. Die Autoren fanden insgesamt fünf Modellierungssprachen für das Erfassen von Anforderungen.

Mehr als drei Viertel der Papers nutzen entweder GORE oder UML/SysML für die Modellierung der Anforderungen. Beim Goal Oriented Requirements Engineering (GORE) werden harte und weiche Ziele festgehalten, was oft bei der Kommunikation mit Stakeholdern half. Da die Ziele Lösungsneutral sind, passte der Ansatz gut zu Machine Learning, wo es um das „was“ geht, nicht um das „wie“.

Auch wenn UML (und SysML) von vielen Forschern eingesetzt wurde, war der Einsatz nicht immer so effektiv wie GORE. Mehrere Forscher hatten Schwierigkeiten mit dem Festhalten von nichtfunktionalen Anforderungen.

In welchen Domänen wurde RE4AI bisher angewendet?

Die Autoren identifizierten insgesamt acht Domänen, wobei einige der untersuchten Papers keine bestimmte Domäne erwähnen. Die Liste ist nicht wirklich überraschend. Es dominieren autonomes Fahren, Datenverarbeitung sowie Ethik.

Wer die ganze Liste sehen möchte, kann das oben verlinkte Forschungspapier konsultieren. Doch grundsätzlich zeigt sich, dass RE4AI in allen Domänen denkbar ist.

Was sind die Einschränkungen und Herausforderungen von RE4AI?

Dies ist sicherlich die interessanteste Frage für diejenigen, die erwägen, KI in Produkten zu verbauen. Hier eine kurze Zusammenfassung:

• Überschätzung von KI — Da wir im Moment den Höhepunkt des Hype-Zyklus von KI erreicht haben, ist es kein Wunder, dass viele KI als Allheilmittel ansehen.
• Anforderungen definieren — Wie oben schon erwähnt, hat RE für KI-Systeme viele Herausforderungen. Konkret erwähnten die Autoren Beispiele für die Schwierigkeiten von Definnitionen: Was ist ein „Fußgänger“? Was bedeutet „fair“?
• Die Natur von ML-Systemen — Auch dies erwähnte ich bereits: Machine Learning-Systeme sind grundsätzlich anders, was zu Herausforderungen im RE4AI führt. Traditionelle Ansätze können schnell in Sackgassen führen.
• Kompromisse bewerten — Abwägen ist schon im „normalen“ Anforderungsmanagement eine Herausforderungen. Bei RE4AI ist dies noch schwieriger, da viele Abwägungen von einer Bewertung abhängen, die dann nachvollziehbar berechnet werden muss. Tauschen wir zum Beispiel Privatsphäre gegen Transparenz oder Fairness gegen Genauigkeit?
• Verantwortung des Requirements Engineers — Traditionell ist der Data Scientist für das die Daten von KI-Systemen zuständig. Diese Rolle hat gewisse Überlagerungen mit den Aufgaben des Requirements Engineers. Hier können schnell Lücken auftauchen. Ohne Data Scientist haben wir das Problem, dass Requirements Engineers nicht im Umgang mit großen Datenmengen geschult sind.
• Neue Anforderungen und Techniken entstehen — Neue Anforderungen bezüglich Daten, Ethik, Vertrauen oder Transparenz erzeugen neue Herausforderungen.
• Anforderungen an die Daten — Auch für die Daten haben wir Anforderungen bezüglich Qualität, Verfügbarkeit, Tests, etc.
• Nichtfunktionale Anforderungen — Auch wenn nichtfunktionale Anforderungen (NFR) schon immer ein Teil vom RE waren, so hat hier bei RE4AI eine deutliche Verschiebung stattgefunden. Traditionell wichtige NFR rücken in den Hintergrund (bspw. Kompatibilität, Modularität), während andere wesentlich wichtiger werden (bspw. Fairness, Transparenz).

Ausblick für nächste Woche

Nächste Woche folgt Teil 2 zu RE4AI, wo es um konkrete Empfehlungen geht, insbesondere auch ein Hinweis auf Google PAIR (People + AI Research).

Photo by Emmanuel Ikwuegbu on Unsplash