Von der Bürokratie befreit, für die Entscheidung haftbar: Governance für künstliche Intelligenz in kleinen Organisationen und Non-Profit-Organisationen

Die Asymmetrie

Die gängige Darstellung von Regulierung künstlicher Intelligenz und kleinen Organisationen lautet, dass Compliance-Lasten diejenigen am härtesten treffen, die sie am wenigsten tragen können, und dass Schwellenwerte und Ausnahmen existieren, um dieses Ungleichgewicht auszugleichen. Diese Darstellung ist halb richtig, und die Hälfte, die falsch ist, ist die Hälfte, die zählt.

Kleine Arbeitgeber und Non-Profit-Organisationen sind tatsächlich von einem guten Teil des entstehenden Regelwerks ausgenommen. Sie sind fast vollständig von dem falschen Teil ausgenommen. Die Ausnahmen betreffen die Offenlegungs-, Bewertungs- und Dokumentationsregime, also genau die Teile des Rahmenwerks, die eine Organisation gezwungen hätten, die automatisierten Werkzeuge, die sie bereits nutzt, genau zu prüfen. Sie gelten nicht für die zugrunde liegenden Antidiskriminierungsgesetze im Beschäftigungsbereich, die ab fünfzehn Beschäftigten greifen und ein privates Klagerecht, individuelle Haftungstheorien und keine Anforderung vorsehen, dass der Kläger die Kompetenz des Arbeitgebers nachweisen muss.

Eine Organisation, die von dem Prozess befreit ist, der das Problem gefunden hätte, und die den Konsequenzen des Nicht-Findens voll ausgesetzt ist.

Der Nettoeffekt ist eine Organisation, die von dem Prozess befreit ist, der das Problem gefunden hätte, und die den Konsequenzen des Nicht-Findens voll ausgesetzt ist. Die Position von Novara Consulting Group lautet, dass diese Asymmetrie, und nicht die Kosten, das entscheidende Governance-Risiko für Organisationen mit etwa zweihundert Beschäftigten oder weniger darstellt, und dass der Standardrat an kleine Arbeitgeber, nämlich zu warten, bis ein Schwellenwert überschritten wird, nahezu die schlechteste verfügbare Strategie ist.

Wovon kleine Organisationen tatsächlich ausgenommen sind

Die Schwellenwertstruktur ist real und es lohnt sich, sie zu kartieren, mit dem Vorbehalt, dass die meisten dieser Instrumente neu sind, mehrere noch nicht in Kraft getreten sind und eines sich noch im Rechtsetzungsverfahren befindet, sodass die Anwendbarkeit anhand des geltenden Textes und nicht anhand von Zusammenfassungen – einschließlich dieser hier – überprüft werden sollte.

Colorados Senate Bill 24-205, im Mai 2024 unterzeichnet und zum 1. Februar 2026 in Kraft tretend, legt Entwicklern und Betreibern von Hochrisikosystemen, die bei folgenreichen Entscheidungen einschließlich Beschäftigung eingesetzt werden, Pflichten auf und sieht eine bedingte Ausnahme für Betreiber mit weniger als fünfzig Vollzeitbeschäftigten vor. Der California Consumer Privacy Act erfasst Unternehmen, die seine Abdeckungskriterien erfüllen, vor allem einen jährlichen Bruttoumsatz von über fünfundzwanzig Millionen Dollar oder die Verarbeitung erheblicher Mengen an Verbraucherdaten, und seine Definition eines erfassten Unternehmens setzt Gewinnorientierung voraus, wodurch die meisten Non-Profit-Organisationen vollständig davon ausgenommen sind. Die California Privacy Protection Agency hat vorgeschlagene Vorschriften zu automatisierter Entscheidungstechnologie in das förmliche Rechtsetzungsverfahren eingebracht, und diese Vorschriften würden, sofern sie wie entworfen angenommen werden, dieselben Abdeckungsschwellen tragen. Auf Bundesebene sehen die Uniform Guidelines on Employee Selection Procedures eine vereinfachte Aufzeichnungspflicht für Nutzer mit weniger als hundert Beschäftigten vor.

Zusammengenommen ist eine Organisation mit dreißig Beschäftigten, die ein handelsübliches Bewerbermanagementsystem nutzt, in den meisten Rechtsordnungen zu nichts verpflichtet: weder zur Durchführung einer Folgenabschätzung noch zur Veröffentlichung einer Bias-Prüfung, weder zur Bereitstellung einer Vorab-Mitteilung noch zur Führung der komponentenbezogenen Auswirkungsaufzeichnungen, die ein größerer Arbeitgeber führen muss. Sie wird nicht geprüft werden. Niemand wird fragen.

Wovon sie nicht ausgenommen sind

Title VII des Civil Rights Act und der Americans with Disabilities Act gelten für Arbeitgeber mit fünfzehn oder mehr Beschäftigten. Der Age Discrimination in Employment Act gilt ab zwanzig. Diese Gesetze enthalten keine Kompetenzausnahme, keinen sicheren Hafen für kleine Arbeitgeber bei automatisierten Werkzeugen und keine Bestimmung, die die Pflichten eines Arbeitgebers verringert, nur weil er das System, das die Entscheidung hervorgebracht hat, gekauft statt selbst entwickelt hat.

Der Kauf überträgt die Haftung ebenfalls nicht. Der Arbeitgeber bleibt die Partei, die die Beschäftigungsentscheidung trifft, und die sich entwickelnde Rechtsprechung deutet darauf hin, dass der Anbieter als zusätzlicher Beklagter hinzugefügt werden kann, anstatt einen Beklagten zu ersetzen. Im Juli 2024 ließ der Northern District of California Klagen gegen einen Anbieter von Screening-Software mit der Begründung zu, dass der Anbieter als Vertreter der Arbeitgeber gehandelt habe, die seine Werkzeuge nutzten – was die Annahme erschüttert, dass die Verantwortung sauber derjenigen Partei zugeordnet werden kann, die den Code geschrieben hat. Dass das Werkzeug fertig verpackt kam und niemand in der Organisation es verstand, ist keine Verteidigung. Es ist ein Eingeständnis.

Die Behinderungstheorien verdienen besondere Beachtung, da sie diejenigen sind, mit denen eine kleine Organisation am wahrscheinlichsten konfrontiert wird und auf die sie am wenigsten vorbereitet ist. Ein Anspruch wegen unterlassener Vorkehrung entsteht, wenn ein Bewerber eine Anpassung einer Bewertung verlangt und diese nicht erhält. Ein Ausschlussanspruch entsteht, wenn ein Auswahlkriterium dazu neigt, eine Person mit Behinderung auszuschließen, und der Arbeitgeber nicht nachweisen kann, dass das Kriterium arbeitsbezogen und mit geschäftlicher Notwendigkeit vereinbar ist. Keiner der beiden erfordert vergleichende Statistiken über einen Bewerberpool. Keiner erfordert einen Sachverständigen, der ein Modell rekonstruiert. Beide werden anhand einer individuellen Aufzeichnung bewiesen, die aus einer Anfrage, einer Antwort und einem Ergebnis besteht – einer Aufzeichnung, die der Arbeitgeber selbst erstellt und aufbewahrt. Die im März 2025 bei der Colorado Civil Rights Division und der EEOC (Equal Employment Opportunity Commission) im Namen einer gehörlosen und indigenen Beschäftigten eingereichte Beschwerde, die ein automatisiertes Videointerview und eine abgelehnte Untertitelungsanfrage betrifft, folgt genau diesem Muster. Beide Unternehmen weisen die Vorwürfe zurück, und die Struktur des Anspruchs ist unabhängig vom Ausgang aufschlussreich.

Diese Ansprüche sind kostengünstig zu erheben, und ihre Verteidigungskosten sinken nicht proportional zur Größe des Beklagten. Der Vergleich der EEOC aus dem Jahr 2023 mit iTutorGroup, der Vorwürfe beilegte, wonach Software so konfiguriert war, dass sie Bewerber über einem bestimmten Alter ablehnte, belief sich auf 365.000 Dollar. Diese Summe ist für einen großen Arbeitgeber überlebbar. Für die meisten Non-Profit-Organisationen ist sie existenzbedrohend.

Warum die kleine Organisation strukturell stärker exponiert ist

Größe schützt nicht nur nicht – sie verschlechtert die Lage aktiv, aus vier Gründen, die sich verstärken.

Der erste ist die Konfiguration. Eine kleine Organisation betreibt die Standardeinstellungen des Anbieters. Sie hat die Screening-Kriterien nicht ausgewählt, keine Schwellenwerte festgelegt und weiß häufig nicht, welche Funktionen ihres Bewerbermanagementsystems Bewerber bewerten, da mehrere bei der Implementierung aktiviert und nie überprüft wurden. Wenn die Frage kommt, wer die Kriterien konfiguriert hat und auf welcher Grundlage, lautet die ehrliche Antwort, dass niemand in der Organisation dies getan hat.

Der zweite ist Verhandlungsmacht. Die Kontrollen, die einen Arbeitgeber tatsächlich schützen, sind vertraglicher Natur: Score-Aufbewahrung, Versionsidentifikation, Reproduktion einer historischen Entscheidung, Zugang zu Validierungsnachweisen, Mitwirkung bei einer Untersuchung. Diese werden beim Erwerb ausgehandelt, und eine Non-Profit-Organisation mit dreißig Mitarbeitenden, die ein Standardbestellformular unterschreibt, hat keine realistische Möglichkeit, sie zu verhandeln. Die einzig wirksamste Verteidigung ist diejenige, die kleine Organisationen am wenigsten erlangen können.

Der dritte ist die Aufzeichnung. Die bundesrechtlichen Aufbewahrungspflichten nach 29 C.F.R. Part 1602 verlangen die Aufbewahrung von Bewerbungsunterlagen und, sobald eine Beschwerde eingereicht wurde, die Aufbewahrung aller relevanten Unterlagen bis zur endgültigen Entscheidung. Um zu rekonstruieren, warum ein bestimmter Bewerber vor achtzehn Monaten abgelehnt wurde, müssen der Score, die Eingabedaten und die damals geltende Systemkonfiguration aufbewahrt worden sein. Kleine Organisationen verlassen sich auf die Datenpraktiken des Anbieters, die Scores nach dem Ranking typischerweise verwerfen, und sie erfahren dies genau in dem Moment, in dem sie die Daten benötigen.

Der vierte ist das Fehlen einer Person, deren Aufgabe dies ist. Größere Arbeitgeber haben Rechtsberater, eine Compliance-Funktion und einen Datenschutzbeauftragten, die zumindest nachfragen. Eine kleine Organisation hat eine Geschäftsführerin, eine Büroleitung, die das Bewerbermanagementsystem verwaltet, und einen Vorstand, der es nie besprochen hat.

Der Fall der Non-Profit-Organisationen ist schlimmer

Non-Profit-Organisationen tragen eine zusätzliche Exponierung, die kein Äquivalent im Unternehmensbereich hat, und sie ist nicht rechtlicher Natur.

Eine Organisation, deren Mission sich mit Behinderung, Barrierefreiheit, Gerechtigkeit oder Arbeitsmarktförderung befasst und die Bewerber durch eine automatisierte Bewertung filtert, die untypische Sprache, gedolmetschte Kommunikation oder nicht standardmäßigen Affekt benachteiligt, hat ein Problem der Integrität ihrer Mission, das jedes rechtliche Ergebnis überdauert. Es spielt keine Rolle, ob der Anspruch begründet ist. Der Vorwurf allein ist auf eine Weise schlüssig, wie er es gegen einen Hersteller nicht wäre, weil die öffentliche Position der Organisation den Widerspruch liefert. Geldgeber lesen diese Vorwürfe. Ebenso die Gemeinschaften, denen die Organisation dient, und ebenso die Mitarbeitenden, die wegen der Mission beigetreten sind.

Dies ist keine hypothetische Überlegung, die auf ein unwahrscheinliches Szenario angewendet wird. Organisationen für Behindertendienste, kommunale Gesundheitszentren, Rechtshilfeanbieter und Behörden nutzen dieselben kommerziellen Bewerbermanagementsysteme und dieselben automatisierten Videointerview-Produkte wie alle anderen, in der Regel auf der Einstiegsstufe, in der Regel mit Standardeinstellungen, und in der Regel ohne dass jemand untersucht hätte, was die Bewertung eigentlich misst. Der Sektor, der am wahrscheinlichsten Menschen mit Behinderung beschäftigt und am glaubwürdigsten darüber spricht, betreibt dieselbe ungeprüfte Screening-Infrastruktur wie der Sektor, den er kritisiert.

Die Hilfestellung, die geholfen hätte, ist einfach verschwunden

Es gibt eine weitere Schwierigkeit, die speziell diesen Moment betrifft. Kleine Organisationen lesen keine Verordnungen; sie lesen allgemeinverständliche Hinweise, und die allgemeinverständlichen Hinweise zu diesem Thema wurden im Januar 2025 entfernt.

Die EEOC entfernte ihre Materialien zu künstlicher Intelligenz, einschließlich der technischen Hilfestellung vom Mai 2022 zum Americans with Disabilities Act und zur Nutzung von Software, Algorithmen und künstlicher Intelligenz zur Bewertung von Bewerbern und Beschäftigten, zusammen mit der dazugehörigen, für Arbeitnehmer verfassten Zusammenfassung. Das Arbeitsministerium wies darauf hin, dass das im September 2024 veröffentlichte AI and Inclusive Hiring Framework, das speziell entwickelt wurde, um Arbeitgebern zu helfen, diese Werkzeuge einzusetzen, ohne Menschen mit Behinderung auszuschließen, möglicherweise nicht mehr die aktuelle Politik widerspiegelt. Diese Dokumente waren der zugängliche Einstiegspunkt für genau die hier beschriebenen Organisationen.

Die Gesetze haben sich nicht geändert. Geändert hat sich, dass die kostenlose, verständliche Erklärung dessen, was sie verlangen, verschwunden ist, und die Organisationen, die sich am meisten darauf verließen, sind diejenigen ohne Budget, um sie durch Rechtsberatung zu ersetzen.

Was auf dieser Größenordnung tatsächlich erreichbar ist

Die Empfehlung ist kein Compliance-Programm. Eine Organisation mit dreißig Mitarbeitenden kann keines betreiben und sollte es auch nicht versuchen. Das Folgende ist in wenigen Tagen Arbeitszeit einer vorhandenen Mitarbeiterin oder eines Mitarbeiters erreichbar und erfasst den größten Teil des verfügbaren Schutzes.

1. Erfassen Sie, was Sie tatsächlich betreiben. Listen Sie jeden Punkt im Einstellungsprozess auf, an dem Software einen Bewerber bewertet, einstuft, filtert oder punktet, einschließlich Lebenslaufanalyse, Ausschlussfragen, Bewertungsmodulen und chatbasierter Vorauswahl. Beziehen Sie Funktionen ein, die bei der Implementierung standardmäßig aktiviert wurden. Die meisten Organisationen, die dies zum ersten Mal tun, finden mindestens ein System, von dem niemand wusste, dass es bewertet.
2. Schalten Sie ab, was Sie nicht erklären können. Wenn niemand angeben kann, was eine Funktion misst und warum es für die Stelle relevant ist, ist die richtige Maßnahme, sie zu deaktivieren, nicht sie zu dokumentieren. Diese Option steht kleinen Organisationen offen und ist für große weitgehend nicht verfügbar, und sie ist der ertragreichste einzelne Schritt auf dieser Liste.
3. Stellen Sie dem Anbieter fünf Fragen schriftlich. Was bewertet diese Funktion. Bewahren Sie den Score und die Konfiguration auf, und wie lange. Können Sie eine bestimmte Entscheidung von vor achtzehn Monaten reproduzieren. Welche Validierungsnachweise gibt es für das, was sie misst. Welchen Weg zur Gewährung von Vorkehrungen unterstützt das Produkt. Bewahren Sie die Antworten auf. Eine Verweigerung ist ebenfalls eine Antwort und es lohnt sich, sie aufzubewahren.
4. Bauen Sie den Weg für Vorkehrungen auf, bevor Sie ihn brauchen. Benennen Sie die Person, die entscheidet, legen Sie eine Bearbeitungsfrist fest, stellen Sie sicher, dass eine alternative Bewertung existiert, die die Person, die sie nutzt, nicht benachteiligt, und geben Sie ihre Verfügbarkeit direkt bei der Bewertung an, nicht nur auf einer Karriereseite. Dies ist die kostengünstigste Kontrolle in diesem Dokument, und sie adressiert den Anspruch, mit dem Sie am wahrscheinlichsten konfrontiert werden.
5. Führen Sie die Akte zu den Vorkehrungen. Jede Anfrage, wer entschieden hat, was bereitgestellt wurde, was das Ergebnis war. Sie wird vorgelegt werden müssen, falls eine Beschwerde eingereicht wird, und sie sollte zuerst von Ihnen selbst überprüft werden.
6. Wenn der Vertrag verlängert wird, fragen Sie nach Aufbewahrungs- und Reproduktionsbedingungen. Sie werden sie möglicherweise nicht erhalten. Zu fragen und abgelehnt zu werden, ist wesentlich besser, als nicht zu fragen – sowohl im Hinblick auf Governance als auch im Hinblick darauf, was die Aufzeichnung darüber zeigt, was die Organisation wusste.

Fazit

Die These, dass kleine Organisationen Zugang zu den Werkzeugen verdienen, die größere haben, ist insoweit richtig, und die Technologie hat die Kosten für leistungsfähige Einstellungsinfrastruktur tatsächlich gesenkt. Nicht gesenkt wurde der Maßstab, an dem die daraus resultierenden Entscheidungen gemessen werden, und was kleine Organisationen erhalten haben, ist kein leichterer Maßstab, sondern eine leichtere Papierspur.

Die Ausnahmen sind real, und sie sind Ausnahmen davon, befragt zu werden. Sie sind keine Ausnahmen von der Antwort. Eine Organisation mit dreißig Mitarbeitenden, die nicht sagen kann, was ihr Screening-Werkzeug misst, befindet sich in derselben rechtlichen Position wie eine Organisation mit dreißigtausend Mitarbeitenden, die es nicht kann – mit weniger Ressourcen, um das Problem zu lösen, und, wenn es sich um eine missionsgetriebene Organisation handelt, erheblich mehr zu verlieren, wenn die Frage öffentlich gestellt wird.

Quellen

• American Civil Liberties Union, ACLU of Colorado, Public Justice und Eisenberg & Baum LLP. Beschwerde eingereicht bei der Colorado Civil Rights Division und der U.S. Equal Employment Opportunity Commission, 19. März 2025.
• Americans with Disabilities Act of 1990, Title I, 42 U.S.C. § 12112; Title VII of the Civil Rights Act of 1964, 42 U.S.C. § 2000e; Age Discrimination in Employment Act, 29 U.S.C. § 621.
• California Consumer Privacy Act, Cal. Civ. Code § 1798.140, Definition des erfassten Unternehmens; California Privacy Protection Agency, vorgeschlagene Verordnungen zu automatisierten Entscheidungstechnologien, im November 2024 in das förmliche Rechtsetzungsverfahren überführt.
• Colorado Senate Bill 24-205, unterzeichnet am 17. Mai 2024, geplantes Inkrafttreten am 1. Februar 2026.
• EEOC v. iTutorGroup, Inc., No. 1:22-cv-02565 (E.D.N.Y.), Vergleichsbeschluss (Consent Decree) August 2023.
• Mobley v. Workday, Inc., No. 3:23-cv-00770 (N.D. Cal.), Beschluss zum Antrag auf Abweisung, Juli 2024.
• New York City Local Law 144 von 2021, Automated Employment Decision Tools.
• U.S. Department of Labor und Partnership on Employment & Accessible Technology, AI and Inclusive Hiring Framework, September 2024.
• U.S. Equal Employment Opportunity Commission, The Americans with Disabilities Act and the Use of Software, Algorithms, and Artificial Intelligence to Assess Job Applicants and Employees, EEOC-NVTA-2022-2, 12. Mai 2022; am 27. Januar 2025 von der Website der Behörde entfernt.
• Uniform Guidelines on Employee Selection Procedures, 29 C.F.R. Part 1607, einschließlich § 1607.15A(1); Dokumentationspflichten der EEOC, 29 C.F.R. Part 1602.