Policy-Texte mit KI in SysML modellieren

Eines der Ziele von modellbasiertem Systems Engineering (MBSE) ist es, Dokumente durch Modelle zu ersetzen. Doch neben technischen Dokumenten wie Spezifikationen gibt es noch viele andere Dokumente, die von einer Modellierung profitieren würden. Dazu gehören Verträge, Richtlinien, Handbücher, Datenblätter oder auch Gesetzestexte.

Im März 2022 veröffentlichten Max Chen und Shamsnaz Virani Bhada im Rahmen einer INCOSE-Konferenz ein Paper zu dem Thema mit dem Titel „Converting natural language policy article into MBSE model“. Dazu benutzten sie SysML.

Im Folgenden Inhalte und Einschätzung dieser Arbeit.

Wenig SysML zu sehen

Um es gleich vorweg zu nehmen: Das Paper (Download) enthält nur ein SysML-Diagram, und zwar ein Package-Diagram. Zwar haben sich die Autoren an SysML orientiert, aber die relevante Untermenge ist sehr klein. Dennoch, der Ansatz ist interessant und hat Ähnlichkeit mit Semiant, dem von mir mitentwickelten Qualitätsassistenten für Spezifikationen.

Die Autoren stellten Ihr Paper auf der Conference on Systems Engineering Research | CSER 2022 vor. Die Konferenz wird vom Systems Engineering Research Center (SERC) zusammen mit INCOSE ausgerichtet.

Zu Policy-Texten gehören komplexe und manchmal komplizierte Dokumente, die Strukturen, Definitionen, Rollen und Verantwortlichkeiten beschreiben. Doch auch wenn diese digital vorliegen, so sind sie fast immer unstrukturiert (PDF, Wiki, MS Office, etc.). Solche Dokumente können schnell Inkonsistenzen, Redundanzen, Lücken, Wiedersprüche und andere Probleme aufweisen. In der Praxis sollen üblicherweise Reviews diese Probleme finden. Die Qualität schwankt drastisch.

Die Gesamtqualität der Dokumente (Policy-Texte) in Bezug auf Struktur und Sprachverhalten ist sehr unterschiedlich

Max Chen und Shamsnaz Virani Bhada in „Converting natural language policy article into MBSE model“

Manche Unternehmen nutzen von Anfang an Sprachen wie BPMN, das ist aber eher die Ausnahme als die Regel. Daher ist der Einsatz von Natural Language Processing (NLP) für diese Aufgabe attraktiv.

Für diese Arbeiten haben die Forscher das Standard-NLP-Tool SpaCy eingesetzt. Es ist so konzipiert, dass es leicht integriert und angepassst werden kann. SpaCy ist in der Lage, allgemeine ML-Funktionen zu nutzen, einschließlich Part-of-Speech (POS) Tagging, Dependency Parsing, Named-Entity Recognition (NER), Entity Linking (EL), regelbasiertes Matching, und vieles mehr.

Vorgehen

Aufgaben wie diese durchlaufen typischerweise ein „Pipeline“, die aus mehreren Schritten besteht. Das System der Forscher bestand aus den folgenden Schritten:

1. Pre-NLP Textbereinigung: Extrahieren von Text und Abschnittsstruktur aus PDF-Dokumenten
2. Strukturelle Analyse: Überprüfung der Überschriften von Kapiteln und Unterabschnitten
3. NLP-Pipeline: Tokenisieren, Normalisieren, Parsen, Taggen, Zusammenführen von Interpunktion, Zusammenführen von Clustern
4. Named-Entity-Erkennung (NER): Untersuchen Sie die Textabsätze auf Personen, Organisationen, Gesetze usw.
5. Modellierungs-Aktionen: Durchsuchen der Textabsätze nach semantischen Regelübereinstimmungen (Aktionen) und deren verantwortlichen Akteuren
6. Kompilieren & Integration: Erstellen eines integrierten SysML-Modells auf der Grundlage des gescannten Dokuments

Besonders interessant sind die Schritte 4 und 5. Bei NER (Named Entity Recognition) geht es darum, die Entitäten des Systems zu identifizieren. Da es hier um Policy-Texte geht, sind die Aktoren die wichtigsten Entitäten.

Bei Schritt 5 (Modellierung) ist das Ziel, Beziehungen zwischen Aktor und Aktivität zu finden. Dazu werden die von spaCy identifizierten Relationen zwischen den Satzteilen untersucht, besonders in Hinblick auf Relationen, die auf eine Abhängigkeit zwischen Subjekt und Verb hindeuten.

Den letzten Schritt, die Erstellung des Modells, haben die Autoren händisch durchgeführt.

Ergebnis

Die Autoren haben das System mit zwei Versionen des „Veteran Health Affair Handbook“ getestet, für die es bereits händisch erstellte SysML-Modelle gab. Sie erstellten Richtlinien für den Vergleich der Modelle, wodurch ein objektiver Vergleich der Modelle möglich war.

Nicht verwunderlich war, dass gute Dokumentenstrukturen die Qualität des Ergebnisses erheblich verbessern können. So hatte eines der Handbücher explizite Überschriften, die vom System automatisch für die Package-Struktur herangezogen wurden. Das andere Handbuch hatte keine Überschriften, was zu einem wesentlich schlechterem Ergebnis führte.

Bestehende Strukturen nutzen! Im Systems Engineering haben wir in Anforderungsmanagementwerkzeugen fast immer gute Strukturen, die für Aktivitäten dieser Art genutzt werden können.

Named-Entity-Erkennung (NER)

Bei diesem wichtigen Schritt waren die Ergebnisse der Autoren eher enttäuschend. Im NLP werden oft zwei statistische Kennzahlen zitiert, Precision und Recall. Beide waren eher mäßig. Noch schlimmer: Die Autoren versuchten, die Qualität des Ergebnisses durch ein Anpassen der Extraktionsregeln zu verbessern. Das verbesserte zwar das Ergebnis für eines der Handbücher, verschlechterte es aber für das andere.

Modellierungs-Aktionen

Auch bei diesem Schritt hat sich das System nicht mir Ruhm bekleckert. Eine große Herausforderungen waren Pronomen. In Absätzen wurde nach dem ersten Satz die Rolle nur referenziert und nicht noch einmal ausgeschrieben. Gut für die Lesbarkeit, schlecht für die Automatisierung.

Fazit

Die gezeigte Arbeit ist ein schönes Beispiel von dem, was man „mal eben“ mit modernen NLP-Bibliotheken erreichen kann. Es zeigt die Möglichkeiten aber auch die Grenzen. Das Fatale: Es ist unklar, wie wir die Schwächen überwinden können. Insbesondere scheint eine „generische Feinabstimmung“ fast unmöglich, wie die Autoren bei NER erkennen mussten.

Für diese Herausforderungen gibt es zwei konkrete Lösungsansätze. Der erste wäre, ein firmen- oder teamspezifisches System zu entwickeln. Hier besteht die Gefahr, dass der Aufwand für Pflege und Weiterentwicklung drastisch unterschätzt wird. So ein Ansatz kann sich aber für größere Unternehmen lohnen, besonders dann, wenn die Iniative strategisch angesetzt und entsprechend Ressourcen bekommt.

Der zweite Ansatz ist Interaktivität. Nutzer haben eine Höhere Toleranz für falsche Ergebnisse, wenn sie diese einmal korrigieren können und sie dann nie wieder auftauchen. Die Autoren planen für die weitere Arbeit die Entwicklung von einer Benutzeroberfläche ein. Ich würde mir wünschen, dass diese auf Interaktivität ausgerichtet ist.

Photo by Russ Ward on Unsplash