Zurück zur Bibliothek

Kernfrage Neu

KI-aufbereitet · Von Autoren geprüft

Wie sollte ein KI-gestütztes System gestaltet sein, um regulatorische Änderungen zu erkennen, zu klassifizieren und verifizierbar zu erklären?

From Detection to Decision: A Human-Centered Artifact for Regulatory Change Review
Joe Yu, Kevin Chenhao Li, Theresa Treffers, et al. · International Conference on Information Systems (ICIS) · 2026
Illustration zu: Wie sollte ein KI-gestütztes System gestaltet sein, um regulatorische Änderungen zu erkennen, zu klassifizieren und verifizierbar zu erklären?

Lädt den Spotify-Player; Spotify kann Cookies setzen. Dieses Gerät merkt sich Ihre Auswahl.

Zentrale Ergebnisse

  • Das integrierte Artefakt erzielte eine Abgleichgenauigkeit von 0,96 und einen kombinierten Makro-F1-Wert von 0,69 auf einem regulatorischen Benchmark und übertraf damit alle evaluierten Baselines.
  • Das System erreichte eine Trefferquote (Recall) von 0,99 für semantische Änderungen und Ergänzungen sowie 0,97 für Streichungen und unveränderte Bestimmungen, was dem Ziel entspricht, kritische Modifikationen verlässlich zu erkennen und Fehlalarme zu minimieren.
  • In Evaluationssitzungen mit elf Regulierungsexperten gaben alle Teilnehmenden an, die volle Entscheidungshoheit zu behalten, und bewerteten das System als effektiven Assistenten, der den manuellen Prüfaufwand spürbar reduzieren könnte.
  • Die Teilnehmenden betonten, dass die direkte Rückbindung an den Quelltext und fortlaufende Erklärungen unverzichtbar sind, um Empfehlungen der Maschine zu prüfen; Vertrauen in das System wächst dabei durch wiederholte Nutzung.
  • Bei seltenen Änderungsklassen wie Referenzaktualisierungen (0,20 Recall) und rein syntaktischen Anpassungen (0,21 Recall) fiel die Leistung geringer aus, was die gezielte Priorisierung folgenreicher inhaltlicher Änderungen widerspiegelt.
  • Der Entwurf ist in fünf wiederverwendbaren Gestaltungsprinzipien formuliert, sodass der Ansatz auf weitere regulatorische Domänen übertragbar ist.

Bedeutung für die Praxis

CIO / IT-Leitung

Procure or sponsor the development of regulatory change systems that prioritize high recall on substantive changes and source-grounded explanations, ensuring human reviewers retain final override authority.

IT-Management

Audit current regulatory text-processing workflows to identify bottlenecks in manual diffing, and have your engineering team test structural and semantic matching at the level of individual provisions rather than whole documents.

Unternehmensstrategie

Incorporate automated regulatory tracking tools into compliance operations to reduce manual review overhead, while establishing protocols for expert verification of high-consequence semantic shifts.

Forschung

Extend explanation layers beyond verification toward implication-aware support, such as whether a change affects deadlines, obligations or related provisions, and study how reviewer attention holds up as systems anticipate more.

Politische Entscheidungsträger

Publish regulations in machine-readable form with each provision separately identified and with explicit version metadata, so that automated alignment across versions becomes reliable and compliance risk is reduced.

Zusammenfassung

Diese Studie entwickelt und evaluiert ein ganzheitliches Entscheidungsunterstützungssystem, das Compliance-Prüfende bei der Nachverfolgung und Analyse regulatorischer Änderungen unterstützt. Gemäß der Methodik der gestaltungsorientierten Wirtschaftsinformatik (Design Science Research) zerlegt das Artefakt Rechtstexte in atomare Einheiten, gleicht Fassungen strukturell und semantisch ab, klassifiziert Änderungen über eine Ontologie mit sechs Kategorien und liefert quellengestützte Erklärungen sowie Übersteuerungsmöglichkeiten. Das System wurde anhand eines Benchmarks aus EU-Rechtsakten sowie in einer naturalistischen Nutzerstudie mit elf Regulierungsexperten evaluiert.

Problemstellung

Organisationen sind erheblichen operativen und rechtlichen Risiken ausgesetzt, wenn sie regulatorische Neuerungen übersehen, doch die manuelle Durchsicht dynamischer Rechtskorpora ist zeitaufwendig und fehleranfällig. Bestehende automatisierte Ansätze beschränken sich häufig auf isolierte Aufgaben wie lexikalische Differenzanalysen oder das Wiederauffinden von Texten, trennen inhaltliche Rechtsänderungen nur unzureichend von rein redaktionellen Umformulierungen und bieten menschlichen Experten keine verifizierbaren Oberflächen zur Entscheidungsunterstützung.

Transkript
Host: Willkommen zu einer neuen Ausgabe von A.I.S. Insights — powered by Living Knowledge. Mein Name ist Anna Ivy Summers. In der heutigen Folge besprechen wir eine aktuelle Studie mit dem Titel: „Von der Erkennung zur Entscheidung: Ein menschenzentriertes Artefakt zur Überprüfung regulatorischer Änderungen“. Durchgeführt wurde die Untersuchung von Joe Yu, Kevin Chenhao Li, Theresa Treffers und Isabell Welpe und auf der International Conference on Information Systems 2026 vorgestellt. Die Studie befasst sich mit einem Entscheidungsunterstützungssystem, das Compliance-Verantwortliche bei der Analyse regulatorischer Anpassungen begleitet. Bei mir im Studio ist Alex Ian Sutherland. Alex, welcher Problemstellung widmet sich die Untersuchung konkret?

Expert: Hallo Anna. Organisationen stehen vor der Herausforderung, dass gesetzliche Rahmenbedingungen kontinuierlich aktualisiert werden. Werden relevante Änderungen übersehen, entstehen erhebliche rechtliche und operative Risiken. Bislang erfolgt der Abgleich alter und neuer Gesetzestexte meist manuell, was ressourcenintensiv und fehleranfällig ist. Existierende automatisierte Werkzeuge beschränken sich häufig auf reine Textvergleiche auf Zeichen- oder Wortebene. Sie können redaktionelle Umformulierungen kaum von echten inhaltlichen Rechtsänderungen unterscheiden. Zudem fehlt es den Prüfenden oft an nachvollziehbaren Schnittstellen, um automatische Vorschläge direkt am Originaltext zu überprüfen.

Host: Welchen methodischen Ansatz haben die Forschenden gewählt, um diese Lücke zu schließen?

Expert: Die Studie folgt der Methodik der gestaltungsorientierten Wirtschaftsinformatik, dem Design Science Research. Das entwickelte Artefakt zerlegt Rechtsdokumente zunächst in atomare Einheiten, beispielsweise einzelne Absätze. Danach führt das System einen strukturellen und semantischen Abgleich durch. Anhand einer vordefinierten Ontologie mit sechs Kategorien stuft das System jede Änderung ein. Ein wesentlicher Aspekt ist die menschzentrierte Gestaltung: Das System liefert quellengestützte Begründungen für jede Klassifikation und erlaubt den Fachleuten, maschinelle Entscheidungen jederzeit manuell zu korrigieren.

Host: Welche konkreten Ergebnisse lieferte die Evaluation dieses Systems?

Expert: Das System wurde an einem Benchmark aus EU-Rechtsakten getestet. Es erreichte eine Abgleichgenauigkeit von 0,96 sowie einen kombinierten Makro-F1-Wert von 0,69, womit es die verglichenen Baselines übertraf. Hinsichtlich der Trefferquote, also des Recalls, erzielte das System 0,99 bei semantischen Änderungen und Ergänzungen sowie 0,97 bei Streichungen und unveränderten Klauseln. Das bedeutet, dass materielle Modifikationen zuverlässig erfasst wurden.

Host: Gab es auch Bereiche, in denen die Erkennungsleistung schwächer ausfiel?

Expert: Ja, die Ergebnisse fielen je nach Kategorie unterschiedlich aus. Bei seltenen Klassen wie reinen Referenzaktualisierungen lag die Trefferquote bei 0,20 und bei syntaktischen Anpassungen bei 0,21. Das System priorisiert somit inhaltlich bedeutsame Änderungen gegenüber formalen Details. Zudem wurde eine qualitative Nutzerstudie mit elf Regulierungsexperten durchgeführt. Alle Teilnehmenden gaben an, dass sie die volle Entscheidungshoheit behielten. Sie sahen in dem Artefakt einen effektiven Assistenten zur Reduktion des Prüfaufwands. Als entscheidend nannten die Befragten die transparente Rückbindung an den Originaltext und fortlaufende Erklärungen, wobei das Vertrauen in das System mit der Nutzungshäufigkeit stieg.

Host: Welche praktischen Schlussfolgerungen ergeben sich daraus für Unternehmen?

Expert: Für die Unternehmenspraxis zeigt die Untersuchung, wie Automatisierung und menschliche Urteilskraft kombiniert werden können. Compliance-Teams müssen Texte nicht mehr vollständig manuell durchforsten, sondern können ihren Fokus auf inhaltlich relevante Abweichungen richten. Durch die transparente Nachvollziehbarkeit bleibt die Prüfbarkeit gegenüber Aufsichtsbehörden gewahrt. Da die Autorinnen und Autoren den Entwurf in fünf wiederverwendbaren Gestaltungsprinzipien zusammengefasst haben, lässt sich dieser Ansatz auch auf andere regulatorische Bereiche übertragen.

Host: Die Studie liefert damit eine sachliche und strukturierte Grundlage für die Weiterentwicklung von Compliance-Prozessen. Alex, vielen Dank für diese Erläuterungen. Und Ihnen vielen Dank fürs Zuhören bei A.I.S. Insights — powered by Living Knowledge. Bis zur nächsten Ausgabe.
Artificial Intelligence & Automation Information Systems & Management Human-Computer Interaction Data Analytics & Big Data Digital Transformation & Strategy Cybersecurity & Privacy Cloud & Infrastructure E-Commerce & Digital Platforms Operations & Supply Chain Sustainability & Green IS

Regulatory Change Analysis, Legal Natural Language Processing, Human-AI Collaboration, Explainable AI, Design Science Research, Regulatory Compliance