Przedmiot zapewnienia

Co mierzy nowy rynek zapewniania jakości SI, a czego wciąż nie rozstrzyga za kupującego

Heather M. Grizzle Novara Consulting Group wrzesień 2026

Zapewnianie jakości sztucznej inteligencji staje się branżą. To zdanie dwa lata temu brzmiałoby jak spekulacja, dziś jest po prostu stwierdzeniem faktu. Brytyjski Departament Nauki, Innowacji i Technologii naliczył ponad pięćset firm i mniej więcej miliard funtów wartości dodanej brutto na krajowym rynku zapewniania jakości na rok 2024, przewidział, że rynek ten zbliży się do dziewiętnastu miliardów funtów do 2035 roku, a we wrześniu 2025 roku opublikował mapę drogową Trusted Third-Party AI Assurance Roadmap, przedstawiającą, w jaki sposób państwo zamierza wspierać dojrzewanie tego rynku. W czerwcu 2026 roku mapa drogowa zaowocowała powstaniem instytucji: konsorcjum pod przewodnictwem BCS, w którym techUK zwołuje grupę doradczą branży, z mandatem na pierwszy rok obejmującym opracowanie dobrowolnego kodeksu etyki dla praktyków zapewniania jakości, zbudowanie ram umiejętności i kompetencji oraz zmapowanie, jakie informacje twórcy systemów muszą udostępniać osobom, które ich audytują. Równolegle postępuje konsolidacja ścieżki certyfikacji. Norma ISO/IEC 42001 ustanawia standard systemu zarządzania sztuczną inteligencją, ISO/IEC 42006:2025 określa wymogi dla jednostek przeprowadzających audyt zgodności z nią, a krajowe jednostki akredytujące, w tym UKAS w Wielkiej Brytanii i ANAB w Stanach Zjednoczonych, przyznają akredytację jednostkom certyfikującym w latach 2025 i 2026.

Tak właśnie wygląda początek nowego zawodu. Ma już normy, akredytację, raczkujące ramy kompetencji, kształtujący się kodeks etyki i uzasadnione roszczenie do publicznego zaufania. Instytucje, które czekały na uznaną odpowiedź na pytanie, jak stwierdzić, czy systemowi sztucznej inteligencji można zaufać, mają teraz coś, na co mogą wskazać.

Powinny jednak dokładnie przyjrzeć się, na co to coś właściwie wskazuje.

System zarządzania to nie to samo co system

ISO/IEC 42001 jest strukturalnie równoległa do ISO/IEC 27001. Jest to norma systemu zarządzania, co oznacza, że certyfikuje ona fakt, iż organizacja ustanowiła, udokumentowała i utrzymuje zestaw procesów zarządzania sztuczną inteligencją oraz że procesy te podlegają audytowi wewnętrznemu i ciągłemu doskonaleniu. Nie certyfikuje natomiast tego, że jakikolwiek konkretny system zbudowany w ramach tego systemu zarządzania generuje odpowiednie wyniki. Nie jest to wada samej normy – taka jest po prostu natura normy systemu zarządzania. Nieporozumienie pojawia się dalej, na etapie zamówień publicznych, gdzie certyfikat odczytywany jest jako stwierdzenie dotyczące produktu, a nie producenta.

Rozróżnienie to ma największe znaczenie tam, gdzie wynik działania systemu stanowi cały sens zakupu. Dostawca sprzedający zautomatyzowane tłumaczenie na język migowy może legitymować się właściwie akredytowanym certyfikatem poświadczającym dobrze prowadzony system zarządzania sztuczną inteligencją, a jednocześnie dostarczać wyniki, których biegła osoba Głucha nie jest w stanie zrozumieć. Nic w takim certyfikacie nie jest fałszywe. Nic w nim nie odpowiada na pytanie, na które instytucja kupująca faktycznie potrzebuje odpowiedzi – czy osoba stojąca przy okienku, na sali egzaminacyjnej czy przed komisją dyscyplinarną otrzymuje informacje, które jest w stanie zrozumieć.

Skala potwierdza tę tezę, a nie jej przeczy. Branżowe zestawienia wskazują na około trzysta pięćdziesiąt organizacji posiadających certyfikat ISO/IEC 42001 na całym świecie w połowie 2026 roku. Dla porównania, certyfikat ISO 9001 posiada ponad milion organizacji. Norma jest młoda, a jej wdrażanie znajduje się na wczesnym etapie, co samo w sobie nie jest niczym niezwykłym. Niezwykłe jest natomiast to, jak wielki ciężar interpretacyjny już teraz przypisuje się niewielkiej liczbie certyfikatów w rozmowach o zamówieniach publicznych, i jak rzadko kupujący pyta, czym właściwie jest to, co certyfikat poświadcza.

Odroczenie przesunęło termin, nie trudność

Harmonogram Unii Europejskiej uległ obecnie zmianie, która będzie kształtować zachowania instytucjonalne przez najbliższe osiemnaście miesięcy. Omnibus cyfrowy dotyczący sztucznej inteligencji został przyjęty jako rozporządzenie (UE) 2026/1744, opublikowane 24 lipca 2026 roku i obowiązujące od 27 lipca. Odracza ono obowiązki dotyczące systemów wysokiego ryzyka wynikające z AI Act dla samodzielnych systemów objętych załącznikiem III do 2 grudnia 2027 roku, a dla sztucznej inteligencji wbudowanej w produkty regulowane na mocy załącznika I do 2 sierpnia 2028 roku. Obowiązki przejrzystości wynikające z artykułu 50 nie zostały odroczone i obowiązują od 2 sierpnia 2026 roku, z krótkim okresem przejściowym trwającym do 2 grudnia 2026 roku dla systemów generatywnych, które były już obecne na rynku przed wcześniejszą datą.

Powód odroczenia stanowi istotę sprawy. Pierwotny harmonogram zakładał istnienie działającego ekosystemu zharmonizowanych norm technicznych opracowanych przez CEN-CENELEC, wyznaczonych i wyposażonych w odpowiednie zasoby krajowych organów nadzoru rynku oraz jednostek notyfikowanych zdolnych do przeprowadzania oceny zgodności. Pod koniec 2025 roku ekosystem ten w sposób oczywisty nie istniał. Ustawodawcy zdecydowali się na ustalenie nowych, stałych terminów zamiast mechanizmu warunkowego powiązanego z dostępnością norm, kierując się rozumowaniem, że przewidywalność lepiej służy przestrzeganiu przepisów niż ruchomy wyzwalacz.

Czytając wprost, jest to przyznanie, że mechanizm tworzenia dowodów dotyczących systemów wysokiego ryzyka wciąż nie został zbudowany. Zegar regulacyjny przesunięto, ponieważ infrastruktura dowodowa się spóźniła. To zupełnie inna sytuacja niż taka, w której dowody istnieją, a termin był jedynie niedogodny.

Zamówienia publiczne jednak nie czekają. Instytucje kupują zgodnie z cyklami budżetowymi, harmonogramami dotacji, terminarzem wyznaczonym przez lukę w usługach, którą ktoś musi zamknąć w tym roku budżetowym. Między teraz a grudniem 2027 roku podmiotowi publicznemu nabywającemu system sztucznej inteligencji wspierający dostępność zaoferowane zostaną trzy rzeczy: certyfikat systemu zarządzania, jeśli dostawca go posiada, samodzielna deklaracja zgodności oraz raport zgodności z wymogami dostępności. Pierwszy z nich mówi o producencie. Drugi mówi sam za siebie, i w tym tkwi problem. Trzeci, w postaci, jaką rynek uznał za standardową, jest dokumentem sporządzonym przez dostawcę, zestawiającym produkt z listą kryteriów technicznych, które nie zostały napisane z myślą o generowanym języku migowym. Żaden z tych trzech dokumentów nie stanowi dowodu na to, że wynik działania systemu faktycznie działa.

Czego rynek horyzontalny nie widzi

Diagnoza zawarta w samej mapie drogowej jest tu pouczająca. Wskazuje ona cztery ograniczenia wiarygodnego rynku niezależnej oceny zgodności: jakość samej działalności oceniającej, w tym obserwację, że znaczna część dostępnych narzędzi zarządzania sztuczną inteligencją opiera się na metrykach, które mogą być aktywnie mylące; niedobór specjalistów łączących kompetencje techniczne, prawne, etyczne i branżowe; słaby dostęp dostawców usług oceny zgodności do danych treningowych, szczegółów modelu i dokumentacji wewnętrznej, których potrzebują; oraz słabe zachęty do wspólnego rozwijania nowych metod oceny zgodności.

Trzy z tych czterech ograniczeń dotykają najmocniej na poziomie domenowym. Horyzontalne ramy oceny zgodności mogą powiedzieć instytucji, czy dostawca prowadzi rejestr ryzyka. Nie mogą powiedzieć instytucji, czy system odtwarza niemanualne cechy gramatyczne niosące przeczenie, tworzenie pytań, topikalizację i oznaczanie warunkowości w języku migowym, ponieważ ocena horyzontalna nie dysponuje słownictwem dla tego zagadnienia ani kompetentnym oceniającym przypisanym do niego. Nie może ocenić, czy korpus treningowy został zebrany za zgodą osób migających w nim występujących, na podstawie licencji zezwalającej na komercyjne wdrożenie, od osób migających o zweryfikowanej biegłości. Nie może odróżnić wyselekcjonowanej prezentacji od rzeczywistego wdrożenia. Nie może stwierdzić, czy zautomatyzowana metryka przywoływana przez dostawcę jako dowód jakości migania mierzy cokolwiek istotnego, a w przypadku generowanego języka migowego obecnie nie istnieje żadna zwalidowana zautomatyzowana metryka jakości, co sprawia, że wyniki zbliżone do metryk tłumaczeniowych oferowane jako dowód zrozumiałości są błędem kategorialnym, a nie słabym dowodem.

Opracowywane obecnie ramy kompetencji mogą z czasem objąć część tych zagadnień. Na razie tego nie uczyniły, a harmonogram samej mapy drogowej pozostawia certyfikację specjalistów bez daty. W międzyczasie luka znajduje się dokładnie tam, gdzie konsekwencje są najpoważniejsze. Systemy wdrażane w procesach przyjęć w opiece zdrowotnej, powiadomień alarmowych, komunikatów transportowych i procesów zatrudnienia to te, których błędy są najmniej odwracalne, i to one są najsłabiej zbadane przez ogólny rynek oceny zgodności.

Stanowisko zajmowane przez Novara Consulting Group

Ocena zgodności wymaga przedmiotu. Pytanie nie brzmi, czy dostawca jest dobrze zarządzany w sensie abstrakcyjnym, lecz czy określony system, w określonej wersji, wytwarza wynik adekwatny do określonego zastosowania, oceniany przez osoby, które muszą na nim polegać. Wszystko inne jest zastępnikiem, a zastępniki gromadzą się po cichu, aż instytucja zacznie wierzyć, że kupiła dowód, podczas gdy kupiła dokumentację.

Zastępniki gromadzą się po cichu, aż instytucja zacznie wierzyć, że kupiła dowód, podczas gdy kupiła dokumentację.

Heather M. Grizzle

Sign Language Access Trust Index został zbudowany na tym założeniu. Jest to narzędzie oceny oparte na kryteriach, zorganizowane wokół pięciu domen zaufania i czterdziestu punktowanych wskaźników, stosujące odrębne skale dla adekwatności dowodów i dla zaufania do systemu, tak aby dobrze udokumentowany słaby system i słabo udokumentowany nieznany system nie zlewały się w tę samą ocenę. Jego klasyfikacja stawki wdrożenia przypisana jest do wdrożeń, a nie do systemów, w oparciu o rozumowanie, że ten sam silnik tłumaczeniowy niesie zupełnie inne ryzyko w podpisie muzealnym niż w instrukcji wypisu ze szpitala. Standard Oceny jest opublikowany i cytowalny, zdeponowany z cyfrowym identyfikatorem obiektu na licencji Creative Commons uznanie autorstwa, tak aby kupujący, dostawca lub krytyk mogli zapoznać się z metodą i z nią polemizować.

Trzy zobowiązania odróżniają to narzędzie od ćwiczenia zgodności. Wyniki nie są wydawane bez zgody recenzenta Głuchego, w oparciu o stanowisko, że społeczność ponosząca konsekwencje niedostatecznego systemu posiada kompetencje do oceny jego adekwatności, oraz że konsultacja oferowana po podjęciu decyzji projektowej nie jest formą zarządzania. Firma nie posiada żadnego interesu finansowego w żadnym dostawcy sztucznej inteligencji dla języka migowego, nie przyjmuje żadnej płatności warunkowej, prowizyjnej ani udziałowej od ocenianej strony, i nie zmienia swojej opłaty w zależności od niekorzystnego wyniku, co bezpośrednio odnosi się do problemu konfliktu interesów, który dręczył rynki zapewnienia jakości w każdej wcześniejszej branży, która taki rynek zbudowała. A metoda określa własne ograniczenia: przegląd dowodów publicznych raportuje, co zostało znalezione, a czego nie, odnotowuje przeszukane źródła niezależnie od tego, czy znaleziono w nich materiał, oraz wskazuje wskaźniki, które prawdopodobnie w ogóle nie zostaną udokumentowane publicznie, tak aby czytelnik mógł odróżnić niedociągnięcie dostawcy od ograniczenia samej metody.

Dwie kwestie dotyczące obecnej sytuacji należy wyraźnie wypowiedzieć, a nie jedynie zasugerować. Novara Consulting Group nie jest akredytowaną jednostką certyfikującą, a Index nie jest systemem certyfikacji; obecnie nie istnieje żaden system akredytacji dla domenowej oceny sztucznej inteligencji języka migowego, i sugerowanie inaczej byłoby wprowadzeniem w błąd. To, co Index tworzy, to udokumentowane, odtwarzalne stanowisko dowodowe, na którym instytucja zamawiająca może polegać, które może bronić w dokumentacji postępowania i przekazać prawnikom. Po drugie, zastosowanie tego narzędzia do dotychczas ocenionych dostawców dało spójny wynik: żaden nie osiągnął najwyższego poziomu zaufania, a przyczyna jest jednolita, a nie przypadkowa. Niezależna walidacja wyników, przeprowadzana przez strony niemające interesu komercyjnego w rezultacie, jest nieobecna na całym rynku. To jest wniosek dotyczący całej dziedziny, a nie pojedynczej firmy w jej obrębie.

Czego powinien wymagać nabywca między teraz a grudniem 2027 roku

Odroczenie stworzyło okno czasowe, a okna można wykorzystać dobrze lub źle. Wykorzystane źle, stanie się osiemnastoma miesiącami zakupów opartych na niezweryfikowanych twierdzeniach dostawców, z rozliczeniem zgodności przychodzącym już wtedy, gdy systemy pełnią kluczową rolę. Wykorzystane dobrze, jest to okres, w którym instytucje budują nawyki dowodowe, które późniejsze obowiązki będą zakładać jako już istniejące.

Praktyczny wymóg jest wystarczająco wąski, by zapisać go w dokumentacji postępowania przetargowego. Należy zapytać, co certyfikuje dany certyfikat, i wymagać od dostawcy pisemnego oświadczenia, czy obejmuje on system zarządzania, czy wydajność sprzedawanego systemu. Należy wymagać dowodów wygenerowanych w proponowanym środowisku eksploatacyjnym, a nie w środowisku demonstracyjnym, z określonymi warunkami działania. Należy wymagać pochodzenia korpusu treningowego, licencji, na podstawie której jest on przechowywany, oraz podstawy, na jakiej osoby w nim nagrane wyraziły zgodę na takie wykorzystanie. Należy wymagać dowodów zrozumiałości od biegłych użytkowników danego języka, przedstawionych wraz z metodą, a zautomatyzowany wskaźnik jakości oferowany w ich miejsce traktować jako pytanie bez odpowiedzi, a nie jako odpowiedź. Należy wymagać od dostawcy wskazania roli odpowiedzialnej za błąd danych wyjściowych. Tam, gdzie wdrożenie niesie ze sobą ciężar prawny lub nieodwracalne konsekwencje, należy wymagać, by wykwalifikowany człowiek pozostawał w łańcuchu decyzyjnym, ponieważ według obecnych dowodów żaden system w tej kategorii nie jest gotowy, by stanowić ostatnią linię obrony.

Żadne z powyższych nie czeka na zharmonizowaną normę, jednostkę notyfikowaną ani system certyfikacji zawodowej, który jeszcze nie istnieje. Czeka jedynie na decyzję instytucji, że zapewnienie jakości powinno dotyczyć rzeczy, którą kupuje.

Bibliografia

Department for Science, Innovation and Technology, Trusted Third-Party AI Assurance Roadmap (wrzesień 2025).

BCS i techUK, materiały z uruchomienia AI Assurance Consortium (czerwiec 2026).

Rozporządzenie (UE) 2026/1744 (Cyfrowy Omnibus w sprawie sztucznej inteligencji), opublikowane 24 lipca 2026 r., obowiązujące od 27 lipca 2026 r., zmieniające rozporządzenie (UE) 2024/1689.

ISO/IEC 42001:2023, Technologia informacyjna, Sztuczna inteligencja, System zarządzania.

ISO/IEC 42006:2025, Wymagania dla jednostek prowadzących audyt i certyfikację systemów zarządzania sztuczną inteligencją.

Grizzle, H. M., SLAT Index Evaluation Standard, wersja 2.0, Novara Press, 24 lipca 2026. DOI 10.5281/zenodo.21537271.