Streszczenie
Instytucje nabywające systemy sztucznej inteligencji na potrzeby dostępu komunikacyjnego są coraz bardziej przekonane, że opanowały ryzyko, a przekonanie to jest coraz mniej uzasadnione. Opiera się ono na artefaktach: wypełnionych listach kontrolnych, dokumentacji dostawcy, scenariuszowych prezentacjach, wynegocjowanych zapisach gwarancyjnych, złożonych oświadczeniach o dostępności. Każdy z tych artefaktów jest autentyczny. Żaden z nich, ani osobno, ani łącznie, nie jest zaprojektowany, by odpowiedzieć na pytanie, na które instytucja faktycznie potrzebuje odpowiedzi — czy system będzie działał bezpiecznie, niezawodnie i odpowiednio w kontekście wdrożenia, dla którego jest nabywany.
Niniejsze wydanie nazywa ten stan teatrem zamówień publicznych i dowodzi, że ma on charakter strukturalny, a nie złośliwy. Specjaliści ds. zamówień są nagradzani za proceduralną kompletność. Dostawcy są nagradzani za przekonującą prezentację. Obie strony mogą w pełni wywiązać się ze swoich obowiązków, podczas gdy kluczowe pytanie o skuteczność pozostaje niezbadane. Rozwiązaniem nie jest więcej dokumentacji. Jest nim zmiana obowiązującego standardu z zapewnienia proceduralnego, które pyta, czy wymagane kroki zostały podjęte, na zapewnienie dowodowe, które pyta, czy zebrane dowody były w stanie odkryć prawdę.
Stanowisko Novara Consulting Group jest takie, że to rozróżnienie stanie się kluczową kompetencją w zarządzaniu sztuczną inteligencją w sektorze publicznym, oraz że instytucje powinny już teraz zacząć budować zdolność dowodową, by je stosować — przed wdrożeniem, a nie po niepowodzeniu.
Problem polityki
Zarządzanie nie jest mierzone aktywnością. Jest mierzone tym, czy podjęte działania są w stanie odkryć prawdę. Większość obecnych procesów zamówień na AI w zakresie dostępności nie przechodzi tego testu nie dlatego, że proces jest niedbały, lecz dlatego, że został zaprojektowany dla innej klasy produktu.
Tradycyjne instrumenty zamówień zakładają, że możliwości produktu są stabilne, obserwowalne i w dużej mierze ujawniane przez producenta. Przy takim założeniu zbieranie artefaktów jest rozsądnym substytutem weryfikacji skuteczności działania. Systemy sztucznej inteligencji pośredniczące w dostępie językowym naruszają każdą część tego założenia. Skuteczność działania różni się w zależności od osoby posługującej się językiem migowym, rejestru, odmiany regionalnej, oświetlenia, geometrii kamery, opóźnienia, tematu oraz obecności lub braku niemanualnych cech gramatycznych, od których ta publikacja wzięła swoją nazwę. System, który działa poprawnie w kontrolowanej demonstracji, może znacząco pogorszyć swoje działanie podczas wywiadu klinicznego, przesłuchania dyscyplinarnego lub komunikacji w sytuacji awaryjnej. Nic w standardowym pakiecie artefaktów nie jest skonstruowane tak, by ujawnić to pogorszenie.
Problem ten podtrzymują trzy pomyłki pojęciowe. Dokumentację traktuje się jako walidację, choć dokumentacja rejestruje to, co twierdzi dostawca, a nie to, co faktycznie robi system. Certyfikację traktuje się jako skuteczność działania, choć certyfikacja zazwyczaj poświadcza zgodność procesu, a nie jakość wyników. Zgodność traktuje się jako efektywność, choć zgodność mierzy dopasowanie do standardu technicznego, a nie to, czy osoba Głucha lub niedosłysząca uzyskała funkcjonalny dostęp komunikacyjny. Proces zamówień, który nie potrafi rozróżnić tych trzech pojęć, generuje ryzyko instytucjonalne wprost proporcjonalne do liczby wypełnionych formularzy, ponieważ każdy wypełniony formularz zwiększa pewność, nie zwiększając wiedzy.
Analiza instytucjonalna
Struktura bodźców wyjaśnia trwałość tego wzorca bardziej przekonująco niż jakakolwiek narracja o złej woli. Biura zamówień działają w ramach systemów audytowych, które sprawdzają, czy wymagane kroki zostały podjęte, a nie czy były one epistemicznie adekwatne. Teczka zawierająca raport zgodności dostawcy w zakresie dostępności, zapis demonstracji oraz wynegocjowane zapisy umowy przechodzi audyt. Teczka dokumentująca, że instytucja niezależnie przetestowała system na reprezentatywnej grupie użytkowników Głuchych w reprezentatywnych warunkach i uznała go za niewystarczający, tworzy ryzyko harmonogramowe i ekspozycję polityczną. System nagradza tę pierwszą teczkę.
Dostawcy stają przed symetrycznym bodźcem. Rynki AI w zakresie dostępności nagradzają jakość prezentacji, spójność narracji i szybkość zawarcia kontraktu. Dostawcy rzadko są proszeni o ujawnienie warunków awarii, a jednostronne ich ujawnienie wiąże się z kosztem konkurencyjnym. Dowody publiczne nie potwierdzają jeszcze twierdzenia, że obecne komercyjne systemy AI do języka migowego zostały ocenione w niezależnie skonstruowanych, reprezentatywnych dla wdrożenia warunkach testowych z opublikowanymi wynikami. W braku takich dowodów twierdzenia marketingowe i samodzielnie wytworzona dokumentacja stają się domyślnie zapisem instytucjonalnym.
Grupa dotknięta skutkami pochłania pozostałe ryzyko. Osoby Głuche i niedosłyszące zazwyczaj nie są stroną procesu zamówień, rzadko są reprezentowane w testach akceptacyjnych i stykają się z systemem dopiero po ustanowieniu zaufania instytucjonalnego i podpisaniu umowy. W tym momencie ciężar dowodu zostaje odwrócony. Użytkownik musi wykazać, że system zawiódł, w obliczu zapisu instytucjonalnego stwierdzającego, że przeprowadzono należytą staranność i uznano system za zgodny. Ta inwersja jest zasadniczą szkodą teatru zamówień publicznych i jest wytwarzana całkowicie przez legalnych aktorów postępujących zgodnie z legalnymi procedurami.
Decyzja o tym, by nie patrzeć, sama w sobie jest decyzją z zakresu zarządzania.
Rozumiane w kategoriach tradycji instrumentów rządzenia, zamówienia publiczne nie są formalnością administracyjną, lecz instrumentem działania publicznego, a wybór instrumentu determinuje, kto ma prawo głosu, co liczy się jako dowód i gdzie spoczywa odpowiedzialność. W zestawieniu z literaturą dotyczącą narracji przyczynowych, dominująca opowieść o niepowodzeniach AI w zakresie dostępności jest opowieścią o wypadku, w której nieprzewidywalna technologia okazjonalnie zawodzi i żaden aktor nie ponosi odpowiedzialności. Ramy dowodowe przedstawione tutaj wspierają inną narrację, przynajmniej narrację o nieumyślności: niepowodzenia są przewidywalne, warunki, w których występują, są możliwe do odkrycia z wyprzedzeniem, a decyzja o niezbadaniu ich sama w sobie jest decyzją w zakresie zarządzania.
Implikacje dla zarządzania
Przejście od zapewnienia proceduralnego do dowodowego wymaga od instytucji zadawania innego zestawu pytań i traktowania odpowiedzi jako kryteriów akceptacji, a nie informacji tła. Jakie dowody wspierają dane twierdzenie i czy są to dowody dotyczące skuteczności działania, czy dowody dotyczące procesu? Kto wygenerował dowody, w jakiej relacji handlowej do wyniku i z jaką przejrzystością metodologiczną? Czy wynik może zostać niezależnie odtworzony przez stronę niezainteresowaną powodzeniem zamówienia? W jakich konkretnych warunkach system zawodzi, z jaką częstotliwością i z jakim rozkładem dotkliwości w różnych populacjach użytkowników? A gdy takie awarie wystąpią podczas wdrożenia, która strona ponosi odpowiedzialność, jakim mechanizmem, w jakim terminie i z jakim środkiem zaradczym dostępnym dla dotkniętej osoby?
Pytania te robią więcej niż tylko podnoszą poprzeczkę dowodową. Przenoszą odpowiedzialność. Teczka zamówienia, która na nie odpowiada, ustala, co instytucja wiedziała, kiedy to wiedziała i co zaakceptowała. Teczka zamówienia, która na nie nie odpowiada, ustala jedynie, że instytucja zakończyła proces. W świetle kształtujących się oczekiwań w zakresie zarządzania, w tym ram opartych na ryzyku wymagających od organizacji scharakteryzowania kontekstu użycia i udokumentowania ryzyka rezydualnego, drugi rodzaj teczki staje się coraz trudniejszy do obrony.
Kompetencją, o którą tu chodzi, jest instytucjonalna zdolność odróżnienia pewności od dowodu. Zdolność ta nie tkwi w listach kontrolnych. Tkwi w narzędziach ewaluacyjnych, w umiejętności określenia reprezentatywnych warunków testowych oraz w gotowości do traktowania twierdzenia dostawcy jako hipotezy, a nie ustalenia.
Stanowisko polityczne NCG
Novara Consulting Group stoi na stanowisku, że nabywanie AI w zakresie dostępności powinno być regulowane przez zapewnienie dowodowe, oraz że z tej zasady wynikają następujące pozycje.
Dokumentację sporządzoną przez dostawcę należy traktować jako twierdzenie wymagające weryfikacji, a nigdy jako samą weryfikację. Jej funkcja w dokumentacji procesu zakupowego polega na ustaleniu, co dostawca zadeklarował, co jest kwestią odpowiedzialności, a nie dowodu
Niezależna ewaluacja powinna być przeprowadzana w warunkach reprezentatywnych dla rzeczywistego kontekstu wdrożenia, obejmujących populacje użytkowników, rejestry językowe, tematykę oraz warunki środowiskowe, z jakimi system zetknie się w trakcie użytkowania. Ewaluacja przeprowadzona w innych warunkach odpowiada na pytanie, którego instytucja nie zadała.
Warunki awarii powinny być twierdząco ujawniane i uregulowane kontraktowo przed przyznaniem zamówienia. System, którego tryby awarii nie są udokumentowane, nie został oceniony, niezależnie od ilości towarzyszącej mu dokumentacji.
Interesariusze Głusi i niedosłyszący powinni uczestniczyć w ustalaniu kryteriów akceptacji i projektowaniu ewaluacji, a nie wyłącznie w informacji zwrotnej po wdrożeniu. Udział po ukształtowaniu się zaufania instytucjonalnego jest konsultacją jedynie z nazwy.
Odpowiedzialność za awarię powinna być jednoznacznie przypisana w momencie nabycia, z określonym środkiem zaradczym i ścieżką eskalacji dostępną dla dotkniętej osoby, a nie wyłącznie dla instytucji zamawiającej.
Kwestie wdrożeniowe
Instytucje przyjmujące postawę dowodową powinny spodziewać się trzech praktycznych tarć. Pierwszym jest harmonogram. Niezależna ewaluacja wydłuża cykle nabycia, a wydłużenie to musi być uzasadnione kierownictwu z wyprzedzeniem, a nie po cichu wchłonięte przez biuro zamówień. Najtrwalszą obroną jest porównanie: koszt ewaluacji przed wdrożeniem w zestawieniu z kosztem naprawy, rozwiązania umowy lub sporu sądowego wynikającego z awarii wykrytych w trakcie użytkowania.
Drugim jest zdolność. Większość instytucji nie posiada obecnie wewnętrznej wiedzy specjalistycznej, by projektować reprezentatywne warunki ewaluacji dla AI w zakresie języka migowego, a brak tej wiedzy jest często błędnie odczytywany jako powód do polegania na dokumentacji dostawcy. Dokładniej należy go odczytywać jako specyfikację zapotrzebowania na zewnętrzną zdolność ewaluacyjną.
Trzecim jest reakcja rynku. Dostawcy przyzwyczajeni do zamówień opartych na artefaktach mogą sprzeciwiać się wymogom ewaluacji, a niektórzy odmówią udziału. Instytucje powinny uznać, że niechęć dostawcy do poddania się ewaluacji w warunkach reprezentatywnych dla wdrożenia jest sama w sobie dowodem i należy do bardziej informatywnych sygnałów dostępnych podczas nabycia.
Wdrożenie nie musi być całościowe, by było znaczące. Instytucje mogą zacząć od dodania pytań dowodowych do istniejących instrumentów przetargowych, wymagania ujawnienia warunków awarii jako kryterium reagowania, lub uzależnienia przyznania zamówienia od pomyślnej niezależnej ewaluacji. Każdy krok przesuwa zapis instytucjonalny od pewności w stronę dowodu.
Stanowisko końcowe
Przyszłość zarządzania AI nie zostanie określona przez to, która organizacja zbierze największą liczbę dokumentów zgodności. Zostanie określona przez to, które organizacje zbudują systemy zamówień zdolne do odróżnienia pewności od dowodu.
Bibliografia
- Salamon, L. M. (red.). (2002). Narzędzia rządzenia: Przewodnik po nowym zarządzaniu publicznym. Oxford University Press.
- Stone, D. (2012). Paradoks polityki: Sztuka podejmowania decyzji politycznych (wyd. 3). W. W. Norton.
- National Institute of Standards and Technology. (2023). Ramy zarządzania ryzykiem związanym ze sztuczną inteligencją (AI RMF 1.0). NIST AI 100-1.
- International Organization for Standardization. (2023). ISO/IEC 42001:2023, Technologia informacyjna – Sztuczna inteligencja – System zarządzania.
- Information Technology Industry Council. Dobrowolny szablon dostępności produktu (VPAT). Narzędzie raportowania zgodności z wymogami dostępności, o którym mowa w Sekcji 508 ustawy Rehabilitation Act.
- Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2024/1689 ustanawiające zharmonizowane przepisy dotyczące sztucznej inteligencji.
- Novara Consulting Group. The Fifth Parameter, wydanie 002, „Pułapka zakupowa”.
- Novara Consulting Group. The Fifth Parameter, wydanie 011 / Polityka nr 2, „Luka w odpowiedzialności”.
Nota autorska
Heather M. Grizzle-Odland jest założycielką i dyrektor generalną (CEO) Novara Consulting Group LLC, gdzie koncentruje się na zarządzaniu dostępnością sztucznej inteligencji, zamówieniach na rozwiązania AI dla języka migowego, odpowiedzialności instytucjonalnej oraz nadzorze nad technologią w sektorze publicznym. Jest twórczynią Sign Language Access Trust Framework™ oraz autorką The Fifth Parameter, publikacji analizującej kwestie zarządzania, które instytucje często pomijają przy ocenie nowych technologii.
Jej praca koncentruje się na dowodach, odpowiedzialności, zarządzaniu prowadzonym przez osoby Głuche oraz luce między zgodnością techniczną a rzeczywistą dostępnością.