Die Beschaffungsakte ist das Governance-System

Von Heather Grizzle, Novara Consulting Group

Zusammenfassung

Governance im Bereich künstliche Intelligenz drückt sich zunehmend durch Richtlinien, Ausschüsse, Grundsätze, Inventare und Risikoklassifizierungen aus. Diese Strukturen sind wichtig. Doch wenn eine öffentliche Institution tatsächlich ein KI-System erwirbt und einsetzt, muss Governance schließlich zu etwas viel Konkreterem werden. Sie muss zu einer Akte werden.

Jemand muss beschreiben, was das System tun darf. Jemand muss entscheiden, welche Nachweise ausreichen, um die Behauptungen des Anbieters zu stützen. Jemand muss die Personen identifizieren, die geschädigt werden könnten, wenn das System versagt. Jemand muss festlegen, welche Fehler ein menschliches Eingreifen erfordern, welche Änderungen eine erneute Prüfung verlangen und unter welchen Bedingungen das System ausgesetzt werden muss. Wenn diese Entscheidungen nicht vor der Einführung dokumentiert werden, heilt eine KI-Governance-Richtlinie dieses Versäumnis nicht. Die Beschaffungsakte ist der Ort, an dem institutionelle Grundsätze zu operativen Verpflichtungen werden.

Governance muss irgendwann bei der Transaktion ankommen

Ein Rückfallmechanismus ist nur dann eine Absicherung, wenn die Person, die ihn benötigt, ihn tatsächlich nutzen kann.

Heather Grizzle

Organisationen bauen zunehmend anspruchsvolle Strukturen für die KI-Governance auf. Sie legen Grundsätze für verantwortungsvolle KI fest, richten Prüfungsausschüsse ein, führen Inventare und klassifizieren Systeme nach Risiko. Sie verabschieden Richtlinien, die Fairness, Transparenz, Rechenschaftspflicht, Datenschutz, Barrierefreiheit und menschliche Aufsicht verlangen. Dann beginnt die Beschaffung. Ein Anbieter reagiert auf eine Ausschreibung. Produktvorführungen werden angesetzt. Dokumentation zur Barrierefreiheit wird eingeholt. Sicherheitsfragebögen werden ausgefüllt. Rechtliche Bedingungen werden verhandelt. Fachverantwortliche beschreiben die erwarteten Effizienzgewinne. Die Technologie passiert die etablierten Kontrollpunkte der Institution und wird in Betrieb genommen.

Das Vorhandensein solcher Kontrollpunkte kann zu erheblichem institutionellem Vertrauen führen, doch Vertrauen ist nicht dasselbe wie eine vertretbare Entscheidung. Die entscheidende Governance-Frage lautet nicht nur, ob das System den vorgeschriebenen Prozess durchlaufen hat. Sie lautet, ob die daraus resultierende Akte die Nachweise enthält, die notwendig sind, um den konkret genehmigten Einsatz zu rechtfertigen.

Diese Unterscheidung wird besonders wichtig, wenn KI den Zugang für behinderte Menschen vermittelt. Ein System kann Informationen zusammenfassen, mit Patienten kommunizieren, Bewerber bewerten, Sprache übersetzen, Unterrichtsmaterial erstellen, Fälle priorisieren, Mitarbeitende unterstützen, Nutzer authentifizieren, Fragen beantworten oder zunehmend im Namen einer Institution handeln. In jedem Fall ist Barrierefreiheit nicht einfach ein Merkmal der Benutzeroberfläche. Sie ist Teil der Entscheidungsarchitektur. Eine behinderte Person kann ein System anders erleben als die Bevölkerungsgruppe, für die es primär entworfen, getestet oder validiert wurde, und ein Zugänglichkeitsfehler kann die Informationen verändern, die diese Person erhält, die ihr zur Verfügung stehenden Optionen, ihre Fähigkeit zu reagieren oder die Interpretation ihres Verhaltens durch die Institution. Die Beschaffungsakte muss daher mehr belegen als die bloße Berücksichtigung von Barrierefreiheit. Sie muss festhalten, was berücksichtigt wurde, was getestet wurde, was weiterhin unbekannt ist und wie die Institution mit dieser Unsicherheit umzugehen entschieden hat.

Die Beschaffungsakte als Rechenschaftsinstrument

Beschaffungsakten werden häufig in erster Linie als Verwaltungsunterlagen verstanden. Bei KI sollten sie zunehmend als Governance-Instrumente verstanden werden. Eine ausgereifte Beschaffungsakte für KI sollte es einem unabhängigen Prüfer ermöglichen, die Überlegungen der Institution zu rekonstruieren, ohne sich auf das institutionelle Gedächtnis der am Kauf beteiligten Personen verlassen zu müssen. Das bedeutet, dass die Akte mehrere Fragen beantworten sollte:

1. Wozu genau wurde das System gekauft?
2. Was war ihm ausdrücklich untersagt?
3. Welche Bevölkerungsgruppen sollten voraussichtlich mit ihm in Berührung kommen?
4. Welche Nachweise stützten die Behauptungen, auf die sich die Genehmigung stützte, und wer hat diese Nachweise erstellt?
5. Welche Einschränkungen waren bekannt, und welche blieben unbekannt?
6. Was geschah, wenn das System unsicher oder falsch lag?
7. Wer behielt die Befugnis, es außer Kraft zu setzen?
8. Wie konnte eine betroffene Person sein Ergebnis anfechten?
9. Was würde die Institution dazu veranlassen, den Einsatz zu überdenken?
10. Wer hatte die Befugnis, es zu stoppen?

Dies sind keine Fragen für die Untersuchung eines Vorfalls nach einem Versagen. Es sind Fragen der Beschaffung.

1. Bestimmungsgemäßer Gebrauch und untersagte Nutzung

Die erste Anforderung ist trügerisch einfach: Definieren Sie, was die Institution kauft. KI-Systeme werden häufig anhand breit gefasster Fähigkeitsbeschreibungen erworben. Ein System kann als Assistent, Übersetzer, Barrierefreiheitswerkzeug, Entscheidungsunterstützungssystem, Chatbot, Agent, Screening-Tool oder Produktivitätsplattform beschrieben werden. Diese Bezeichnungen sind als Governance-Spezifikationen unzureichend. Die Beschaffungsakte sollte die tatsächliche institutionelle Funktion benennen.

Ein Kommunikationswerkzeug, das jemandem hilft, sich auf einer Website zurechtzufinden, birgt ein anderes Risiko als dieselbe Technologie, die bei der medizinischen Aufnahme eingesetzt wird. Ein automatisiertes Transkriptionssystem, das zur Erstellung von Sitzungsprotokollen verwendet wird, birgt ein anderes Risiko als eines, das die offizielle Aufzeichnung eines Disziplinarverfahrens erstellt. Ein Gebärdensprach-Erkennungssystem, das experimentell von einer Einzelperson genutzt wird, ist nicht gleichzusetzen mit einem System, das eine Institution als Ersatz für ein anderes Mittel des Kommunikationszugangs darstellt. Dieselbe Technologie kann sich daher zwischen Risikokategorien bewegen, ohne dass sich ihr zugrunde liegendes Modell ändert, weil sich der Einsatzkontext verändert hat.

2. Analyse der betroffenen Bevölkerungsgruppen

Bei der herkömmlichen Beschaffung von Technologie wird gefragt, wer das System nutzen wird. Die KI-Governance muss auch fragen, wer davon betroffen sein wird, und diese Gruppen sind nicht notwendigerweise identisch. Ein Mitarbeiter kann ein KI-System bedienen, während ein Patient, Student, Bewerber, Bewohner, Kunde oder Leistungsempfänger dessen Folgen erlebt. Behinderte Menschen können durch herkömmliche Nutzeranalysen besonders schwer zu identifizieren sein, da Behinderung häufig den Weg durch ein System verändert, statt die nominelle Nutzerkategorie zu betreffen.

Die Beschaffungsakte sollte daher vorhersehbare Wechselwirkungen mit Barrierefreiheit identifizieren. Verarbeitet das System Sprache? Erzeugt oder interpretiert es Sprache? Hängt es von Sehvermögen, Hörvermögen, Feinmotorik, Kognition, Timing, biometrischen Merkmalen oder einer bestimmten Kommunikationsform ab? Schließt es auf Absicht oder Fähigkeit aus Verhalten, das durch Behinderung beeinflusst sein kann? Verändert eine nicht barrierefreie Ausgabe die Fähigkeit einer Person, an einer nachfolgenden Entscheidung teilzunehmen? Diese Fragen machen aus Barrierefreiheit nicht mehr nur ein Compliance-Artefakt, sondern eine Untersuchung des Systemrisikos.

3. Das Register der Anbieteraussagen

Jede wesentliche Behauptung eines Anbieters, auf die sich die Beschaffung stützt, sollte einen eindeutigen Nachweisstatus haben. Nicht jede Behauptung erfordert eine unabhängige Prüfung, aber Institutionen sollten mindestens drei Kategorien unterscheiden. Eine Fähigkeit gilt als behauptet, wenn der Anbieter erklärt, dass sie besteht. Sie gilt als nachgewiesen, wenn Belege zeigen, dass sie unter bestimmten Bedingungen beobachtet wurde. Sie gilt als für den Einsatz abgesichert, wenn Belege eine Verlässlichkeit im vorgesehenen institutionellen Kontext angemessen stützen. Diese Kategorien sind nicht austauschbar.

Eine Vorführung kann belegen, dass ein System in der Lage ist, ein bestimmtes Ergebnis zu erzeugen. Sie belegt nicht zwangsläufig, wie zuverlässig es dieses Ergebnis über verschiedene Bevölkerungsgruppen, Umgebungen oder folgenreiche Anwendungsfälle hinweg liefert. Ebenso kann Dokumentation belegen, was ein Anbieter über sein System behauptet. Sie kann nicht unabhängig belegen, dass diese Behauptung zutrifft. Die Beschaffungsakte sollte diese Unterscheidung bewahren. Andernfalls werden Behauptungen allmählich zu Feststellungen, nur weil sie in genügend vielen Dokumenten wiederholt wurden.

Für den Einsatz abgesichert

Eine Aussage zum Anbieternachweis bedeutet, dass die Nachweise angemessen belegen, dass man sich auf die Fähigkeit im tatsächlichen, vorgesehenen Kontext der Institution verlassen kann, und nicht lediglich, dass die Fähigkeit unter Demonstrationsbedingungen beobachtet wurde.

4. Unabhängige Qualitätssicherung

Anbieternachweise haben eine legitime Rolle in der Beschaffung. Anbieter kennen ihre Systeme besser als Käufer und sollten Tests, Architektur, Einschränkungen, bekannte Fehlerbedingungen und relevante Leistungsnachweise offenlegen. Doch die kommerzielle Beziehung ist von Bedeutung. Die Partei, die den Vertrag anstrebt, sollte nicht die einzige Partei sein, die entscheidet, ob die Nachweise für dessen Vergabe ausreichen.

Unabhängige Qualitätssicherung bedeutet nicht, das Entwicklungsprogramm des Anbieters nachzubilden. Sie bedeutet, die für die Kaufentscheidung relevanten Behauptungen unter Bedingungen zu testen, die geeignet sind, sie zu widerlegen. Bei KI mit Bezug zur Barrierefreiheit kann dies eine Bewertung unter Beteiligung von Menschen mit der betreffenden Behinderung erfordern und, sofern sprachlicher Zugang betroffen ist, qualifizierter Mitglieder der Sprachgemeinschaft. Ziel ist nicht eine symbolische Beteiligung. Ziel ist beweisrechtliche Autorität. Die Personen, die in der Lage sind, ein folgenschweres Versagen zu erkennen, müssen über einen Mechanismus verfügen, mit dem dieses Versagen die Beschaffungsentscheidung beeinflusst. Andernfalls existiert Beteiligung ohne Governance.

5. Versagens- und Rückfallarchitektur

Jede KI-Beschaffung sollte eine schriftliche Antwort auf eine einzige Frage enthalten: Was geschieht, wenn das System nicht funktioniert? „Mensch in der Schleife“ ist keine ausreichende Antwort. Der Nachweis sollte den Menschen, den Auslöser, die Befugnis, die Reaktionszeit und den alternativen Weg benennen, der der betroffenen Person zur Verfügung steht.

Für Menschen mit Behinderungen muss auch der Rückfallmechanismus selbst barrierefrei sein. Ein KI-Kommunikationssystem, das ausfällt und eine gehörlose Person anweist, einen Telefonanruf zu tätigen, hat keinen Rückfallmechanismus erzeugt. Ein automatisierter digitaler Prozess, der unzugänglich wird und von einer blinden Nutzerin verlangt, dieselbe unzugängliche Schnittstelle zu durchlaufen, hat die Person in keinem sinnvollen Sinne an menschliche Aufsicht übergeben.

Ein Rückfallmechanismus ist nur dann eine Absicherung, wenn die Person, die ihn benötigt, ihn tatsächlich nutzen kann.

Heather Grizzle

6. Leistungsgrenzen und bekannte Unbekannte

Beschaffungsdokumente neigen dazu, festzuhalten, was Produkte leisten können. Governance-Aufzeichnungen müssen auch festhalten, wo das Vertrauen endet. KI-Leistung ist bedingt. Sie kann je nach Sprache, Dialekt, Akzent, Gebärdenstil, Beleuchtung, Kameraposition, Behinderung, Gerät, Umgebung, Fachterminologie, Interaktionsdauer, demografischen Merkmalen oder unzähligen anderen Variablen variieren. Institutionen sollten von Anbietern verlangen, bekannte Leistungsgrenzen offenzulegen, und sollten gesondert Bereiche dokumentieren, die nicht bewertet wurden.

Diese Unterscheidung ist wichtig. „Nicht bewertet“ ist nicht dasselbe wie „fehlgeschlagen“, aber ebenso wenig dasselbe wie „sicher“. Unsicherheit ist kein Beschaffungsmangel, wenn sie erkannt und gesteuert wird. Undokumentierte Unsicherheit ist es jedoch.

7. Protokollierung, Rückverfolgbarkeit und Rekonstruktion

Wenn eine KI-vermittelte Interaktion Schaden verursacht, sollte die Institution in der Lage sein, den Vorgang zu rekonstruieren, und das erfordert Entscheidungen zur Protokollierung bereits vor der Bereitstellung. Welche Systemversion war im Einsatz? Welche Eingaben wurden empfangen? Welche Ausgabe wurde erzeugt? Wurde die Ausgabe verändert? Hat ein Mensch sie überprüft? Welche Informationen hat diese überprüfende Person gesehen? Welche Maßnahme folgte? Kann die Institution das Ereignis rekonstruieren, ohne Daten aufzubewahren, die von vornherein nicht hätten gespeichert werden dürfen?

Rückverfolgbarkeit und Datenschutz können legitime, miteinander konkurrierende Anforderungen erzeugen. Dieser Konflikt sollte durch Systemgestaltung und Governance gelöst werden und nicht erst während eines Rechtsstreits, einer Beschwerde wegen Barrierefreiheit oder einer internen Untersuchung entdeckt werden. Die Beschaffungsakte sollte die Lösung dokumentieren.

8. Beschwerde, Anfechtbarkeit und Abhilfe

Eine von KI betroffene Person benötigt mehr als einen Mechanismus zur Meldung eines technischen Problems. Sie muss möglicherweise anfechten, was die Institution aufgrund des Systems getan hat, und das ist eine andere Funktion. Wenn ein KI-System Kommunikation falsch übersetzt, Verhalten falsch charakterisiert, unzugängliche Informationen erzeugt, eine falsche Schlussfolgerung generiert oder zu einer nachteiligen institutionellen Maßnahme beiträgt, benötigt die betroffene Person einen Weg, die daraus resultierende Entscheidung anzufechten.

Die Institution sollte vor der Bereitstellung wissen, wer die Anfechtung entgegennimmt, wer sie untersucht, welche Nachweise aufbewahrt werden, ob die angefochtene KI-Ausgabe während der Überprüfung weiterhin wirksam bleibt, welche Abhilfemaßnahmen verfügbar sind und wie schnell die Institution reagieren muss.

9. Modelländerung und Neuvalidierung

KI-Beschaffung erzeugt ein Problem, für dessen Bewältigung traditionelle Softwareverträge nicht besonders gut geeignet sind: Das Produkt, das bewertet wurde, bleibt möglicherweise nicht das Produkt, das bereitgestellt wird. Modelle werden aktualisiert. Schutzmechanismen ändern sich. Trainingsdaten ändern sich. Schnittstellen ändern sich. Abhängigkeiten von Drittanbietern ändern sich. Anbieter ersetzen zugrunde liegende Modelle. Die Leistung kann sich in einem Bereich verbessern und in einem anderen verschlechtern, ohne dass die kaufende Institution selbst eine Änderung veranlasst hat.

Die Beschaffungsakte benötigt daher eine Regel zur Änderungskontrolle. Die relevante Frage ist nicht, ob der Anbieter sein Produkt aktualisieren darf. Es ist, welche Änderungen die Nachweise ungültig machen, auf die sich die Institution gestützt hat. Verträge sollten wesentliche Änderungen benennen, die eine Benachrichtigung, eine erneute Bewertung, erneute Abnahmetests oder eine Genehmigung vor der weiteren Nutzung in bestimmten Kontexten erfordern. Andernfalls kann eine Institution bei der Anschaffung eine strenge Qualitätssicherung durchführen und sich sechs Monate später dennoch in der Lage wiederfinden, ein wesentlich anderes System mit Nachweisen zu steuern, die für das vorherige System erstellt wurden.

10. Befugnis zur Aussetzung und Beendigung

Governance ohne Stoppbefugnis ist lediglich beratend. Jemand innerhalb der Institution muss die Befugnis haben, eine KI-Bereitstellung einzuschränken, auszusetzen oder zu beenden, wenn die Nachweise ihre Nutzung nicht mehr stützen, und die auslösenden Bedingungen sollten nicht erst während einer Krise erfunden werden müssen.

Die Beschaffungsakte sollte sowohl die Auslöser als auch die Entscheidungsbefugnis benennen.

Sie sollte auch die Beendigung behandeln. Wer besitzt oder erhält institutionelle Daten, wenn die Beziehung endet? Welche Aufzeichnungen müssen aufbewahrt werden? Was muss gelöscht werden? Wie stellt die Institution den vorherigen Dienstleistungsweg wieder her? Was geschieht mit Menschen, die von dem KI-vermittelten Prozess abhängig geworden sind? Die Ausstiegsplanung ist nicht bloß Anbietermanagement. Sie ist Planung zur Aufrechterhaltung des Zugangs.

Von der KI-Richtlinie zum institutionellen Nachweis

Die aufkommende Herausforderung für KI-Governance ist kein Mangel an Prinzipien. Es ist die Übersetzung. Fairness muss zu einem Bewertungskriterium werden. Transparenz muss zu einer Offenlegungspflicht werden. Menschliche Aufsicht muss zu einer zugewiesenen Befugnis werden. Barrierefreiheit muss zu einer Bereitstellungsbedingung werden. Rechenschaftspflicht muss zu einer benannten Stelle und einer dokumentierten Abhilfe werden. Überwachung muss zu einem Auslöser für Maßnahmen werden. Und verantwortungsvolle KI muss schließlich zu etwas werden, das ein Beschaffungsbeauftragter in eine Akte legen kann.

Dies ist in öffentlichen Institutionen besonders wichtig, weil die Beschaffung der Ort ist, an dem abstrakte institutionelle Verpflichtungen auf Geld, Verträge, Anbieter, gesetzliche Pflichten und Menschen treffen, die sich nicht einfach eine andere Regierung, Schule, ein anderes Krankenhaus, Gericht oder einen anderen öffentlichen Dienst aussuchen können, wenn die Technologie für sie nicht funktioniert. Die Beschaffungsakte erfüllt daher eine viel größere Funktion als bloße Aktenführung. Sie legt die Risikotheorie der Institution fest, welches Risiko als akzeptabel gilt.

NCG-Grundsatzposition

Novara Consulting Group vertritt die Auffassung, dass KI-Systeme, die Menschen mit Behinderungen betreffen, nicht allein deshalb genehmigt werden sollten, weil sie den allgemeinen KI-Governance-Prozess einer Organisation erfüllt haben. Die Beschaffungsakte sollte ausreichende Nachweise enthalten, um die spezifische Bereitstellungsentscheidung zu rekonstruieren und zu verteidigen.

Der Standard ist kein vollkommenes Wissen. Kein Beschaffungsprozess kann Unsicherheit beseitigen. Der Standard ist beherrschte Unsicherheit: zu wissen, was festgestellt wurde, was nicht, welche Beweise dennoch ein Vorgehen rechtfertigten und wer die Verantwortung für die Entscheidung trägt.

Abschließende Position

Nach einem Versagen eines KI-Systems fragen Institutionen oft, ob der Anbieter sie hätte warnen sollen. Manchmal lautet die Antwort ja. Doch öffentliche Rechenschaftspflicht erfordert eine weitere Frage: Welche Beweise hat die Institution verlangt, bevor sie dem Vorgehen zustimmte? Diese Frage kann nicht ausgelagert werden. Der Anbieter kann Beweise liefern. Ein Gutachter kann sie bewerten. Ein Ausschuss kann beraten. Menschen mit Behinderungen können Fehler erkennen, die andere nicht sehen. Anwälte können die Verteilung des vertraglichen Risikos aushandeln. Die Entscheidung trifft dennoch die Institution, und ihre Beschaffungsunterlagen sollten belegen, dass ihr bewusst war, welche Entscheidung sie traf.

Ein KI-System ist nicht allein deshalb kontrolliert, weil eine Organisation über eine KI-Richtlinie verfügt. Es ist kontrolliert, wenn die Institution darlegen kann, warum genau dieses System, für diesen Zweck, mit Auswirkungen auf diese Menschen, unter diesen Bedingungen zum Einsatz zugelassen wurde.

Heather Grizzle

Die Beschaffungsakte ist der Ausgangspunkt dieser Rechenschaftspflicht.