Twierdzenia i pomiar, który byłby potrzebny, aby je potwierdzić
Standardowe uzasadnienie biznesowe dla sztucznej inteligencji w zarządzaniu zasobami ludzkimi ustabilizowało się wokół pięciu twierdzeń: szybszej i lepszej rekrutacji, niższych kosztów administracyjnych, przewidywalnego planowania zatrudnienia, poprawy retencji i zautomatyzowanej zgodności z przepisami. Twierdzenia te powtarzane są z taką konsekwencją w materiałach dostawców, programach konferencji i komentarzach branżowych, że funkcjonują obecnie jako założenie wyjściowe, a nie jako tezy wymagające dowodów.
Wymagają one dowodów, a przeszkodą w ich dostarczeniu nie jest technologia. Zarządzanie zasobami ludzkimi weszło w ten okres z najsłabszą infrastrukturą pomiarową ze wszystkich głównych funkcji w przedsiębiorstwie. Finanse mają audytowane sprawozdania. Operacje mają wskaźniki przepustowości i odsetka wad. Zasoby ludzkie dysponują zestawem wskaźników, które są definiowane w różny sposób, rzadko walidowane, rzadko mierzone jako punkt odniesienia przed wdrożeniem interwencji i często dostarczane przez tego samego dostawcę, którego produkt jest oceniany. Organizacja, która nie była w stanie zmierzyć wydajności swojego procesu rekrutacji przed wdrożeniem zautomatyzowanego narzędzia, nie jest w stanie zmierzyć poprawy po jego wdrożeniu, a to, co raportuje jako zwrot, jest zazwyczaj różnicą między dwiema liczbami, które nigdy nie były porównywalne.
Stanowisko Novara Consulting Group jest takie, że główny problem z uzasadnieniami biznesowymi dla sztucznej inteligencji w zasobach ludzkich nie polega na braku zwrotów. Niektóre z nich są realne i zostały opisane poniżej. Problem polega na tym, że zwroty są deklarowane z precyzją, której leżący u ich podstaw pomiar nie jest w stanie uzasadnić, podczas gdy koszty, które mogłyby je zrównoważyć, są całkowicie wyłączone z modelu. Kalkulacja skonstruowana w ten sposób nie jest analizą inwestycyjną. Jest dokumentem rzeczniczym z symbolem waluty.
Jest dokumentem rzeczniczym z symbolem waluty.
Co jest faktycznie mierzalne i ile to jest warte
Pięć standardowych twierdzeń dzieli się wyraźnie na dwie klasy, a sam ten podział jest bardziej pouczający niż same twierdzenia.
Pierwsza klasa obejmuje efekty, które są rzeczywiście mierzalne i stosunkowo skromne. Czas cyklu w rekrutacji jest mierzalny, ma ustalony punkt odniesienia w większości systemów śledzenia kandydatów i rzeczywiście reaguje na automatyzację planowania, selekcji i korespondencji. Koszt administracyjny na transakcję w administrowaniu płacami i świadczeniami jest mierzalny, podobnie jak wskaźniki błędów w tych procesach. Organizacje, które automatyzują te funkcje, zazwyczaj rzeczywiście osiągają oszczędności, a oszczędności te można udokumentować.
Istotne są dwa zastrzeżenia. Pierwsze polega na tym, że większość udokumentowanych oszczędności w administrowaniu płacami i świadczeniami wynika z automatyzacji przepływu pracy i przetwarzania opartego na regułach — technologii, które poprzedzają obecną generację sztucznej inteligencji o dziesięciolecia i które są często przeklasyfikowywane jako AI w pozycjonowaniu dostawców oraz w uzasadnieniach biznesowych na nich opartych. Przypisywanie dawno ustalonych oszczędności z automatyzacji procesów do niedawnego zakupu AI zawyża zmierzony zwrot z tego zakupu, a co bardziej istotne, błędnie przypisuje mechanizm przyczynowy, co oznacza, że organizacja wyciąga błędny wniosek na temat tego, co wygenerowało korzyść. Drugie zastrzeżenie polega na tym, że te oszczędności są, w wartościach bezwzględnych, niespektakularne. Same w sobie nie uzasadniają obecnie podejmowanych zobowiązań na poziomie przedsiębiorstwa.
Druga klasa obejmuje efekty, które byłyby znaczące, gdyby były rzeczywiste, a których obecnie nie da się zmierzyć: poprawę jakości zatrudnienia, poprawę retencji oraz lepsze planowanie zatrudnienia. To właśnie te twierdzenia dźwigają uzasadnienie biznesowe, i dźwigają je dokładnie dlatego, że ich skala nie jest ograniczona pomiarem.
Jakość zatrudnienia nie jest wskaźnikiem
Jakość zatrudnienia jest kluczowym twierdzeniem niemal w każdym uzasadnieniu biznesowym dotyczącym technologii rekrutacyjnych i nie ma zwalidowanej, powszechnej definicji. W zależności od organizacji operacjonalizuje się ją jako ocenę wyników w pierwszym roku, retencję po dziewięćdziesięciu dniach, retencję po dwunastu miesiącach, satysfakcję kierownika zatrudniającego, czas do osiągnięcia produktywności lub złożenie kilku z tych elementów, z których każdy ma inne właściwości pomiarowe i żaden nie posiada ustalonej trafności konstruktowej jako miara skuteczności zatrudniania.
Konsekwencją tego jest to, że każda deklarowana poprawa jakości zatrudnienia jest w znacznym stopniu artefaktem wyboru definicji. Organizacja, która definiuje jakość zatrudnienia jako retencję po dziewięćdziesięciu dniach i wdraża narzędzie, które selekcjonuje kandydatów przypominających wcześniejszych pracowników o długim stażu, zaobserwuje poprawę. Nie dowiedziała się jednak, że zatrudnianie się poprawiło. Dowiedziała się, że system zoptymalizowany pod kątem zastępczego wskaźnika poruszył ten zastępczy wskaźnik. Tam, gdzie dostawca dostarcza zarówno narzędzie, jak i ramy pomiarowe, co jest powszechne, wynik bliższy jest tautologii niż dowodowi.
To ma znaczenie wykraczające daleko poza higienę metodologiczną. Zgodnie z Uniform Guidelines on Employee Selection Procedures na mocy 29 C.F.R. Part 1607, pracodawca, którego proces selekcji wykazuje niekorzystny wpływ, powinien przedstawić dowody, że procedura jest trafna dla danego stanowiska. Walidacja oparta na kryterium wymaga wiarygodnej miary wyników pracy. Organizacja, która nie potrafi precyzyjnie określić, co oznacza jakość zatrudnienia dla jej własnych stanowisk, i nie potrafi wykazać, że jej miara kryterialna sama w sobie jest nieobciążona, nie dysponuje dowodami przewidzianymi przez te ramy. Słabość pomiaru, która zawyża uzasadnienie biznesowe, jest tą samą słabością, która podważa obronę prawną — co jest nietypowym przypadkiem, w którym problem metodologiczny i problem odpowiedzialności prawnej są tym samym problemem.
Przewidywanie odejść a luka dokładności
Przewidywalne planowanie zatrudnienia zasługuje na osobne omówienie, ponieważ to tutaj różnica między opublikowaną wydajnością a wydajnością wdrożoną jest największa, a ryzyko prawne jest najmniej rozumiane.
Literatura naukowa dotycząca przewidywania odejść pracowników regularnie podaje wskaźniki dokładności w wysokich dziewięćdziesięciu procentach. Liczby te generowane są w przeważającej mierze na niewielkiej liczbie zbiorów danych referencyjnych, przede wszystkim na zbiorze IBM HR Analytics liczącym około 1470 rekordów oraz szeroko rozpowszechnionym zbiorze danych Kaggle dotyczącym zasobów ludzkich, liczącym około 15 000 rekordów, i zazwyczaj po sztucznym wyrównaniu klas za pomocą technik nadpróbkowania, takich jak SMOTE (Synthetic Minority Over-sampling Technique). Są to uzasadnione wybory metodologiczne do porównywania algorytmów między sobą. Nie są to jednak oszacowania wydajności w praktyce na własnej kadrze pracowników danego pracodawcy i nigdy nie powinny pojawiać się w uzasadnieniu biznesowym tak, jakby nimi były. Ocena praktyków dotycząca realistycznej dokładności modeli ryzyka odejścia w warunkach rzeczywistych jest znacznie niższa, w przedziale od siedemdziesięciu do osiemdziesięciu procent, a analitycy w tej dziedzinie wyrażają utrzymujący się sceptycyzm wobec twierdzeń dostawców powyżej dziewięćdziesięciu procent.
Różnica między osiemdziesięcioma procentami a wysokimi dziewięćdziesięcioma procentami nie jest w tym zastosowaniu różnicą zaokrąglenia, ponieważ wskaźnik bazowy jest niski. Dobrowolna rotacja pracowników w większości organizacji wynosi znacznie poniżej dwudziestu procent rocznie, co oznacza, że model o pozornie wysokiej dokładności nagłówkowej może nadal generować fałszywie pozytywne wyniki znacznie liczniejsze niż wyniki prawdziwie pozytywne. W modelu odejść fałszywie pozytywny wynik to pracownik błędnie zidentyfikowany jako prawdopodobnie odchodzący.
Pytanie dotyczące nadzoru pojawia się natychmiast, a ujęcie w kategoriach zwrotu z inwestycji je przesłania. Co organizacja robi z tym nazwiskiem. Jeśli odpowiedź brzmi „nic”, model nie wygenerował żadnego zwrotu. Jeśli odpowiedź brzmi cokolwiek — czy to zróżnicowane oferty retencyjne, zmieniona inwestycja w rozwój, wykluczenie z zadań o długim horyzoncie czasowym, czy zmienione rozważania sukcesyjne — to organizacja podjęła zróżnicowaną decyzję zatrudnieniową wobec danej osoby na podstawie przewidywania. To jest działanie w zakresie zatrudnienia, a jego zgodność z prawem zależy od tego, co napędzało wynik. Wytyczne dotyczące budowania takich modeli regularnie zalecają uwzględnienie danych demograficznych pracowników, przy czym wiek i staż pracy są wymieniane wśród danych wejściowych nadających modelowi kontekst. Pracodawca, który wprowadza wiek do modelu, wykorzystuje wynik do alokacji inwestycji w rozwój i nie jest w stanie odtworzyć, dlaczego dany pracownik otrzymał taki, a nie inny wynik, stworzył ryzyko naruszenia Age Discrimination in Employment Act i zaksięgował je jako korzyść.
Zautomatyzowana zgodność nie zwalnia z obowiązku przestrzegania przepisów
Twierdzenie, że sztuczna inteligencja zapewnia przestrzeganie prawa pracy i polityki wewnętrznej, powinno zostać całkowicie usunięte z uzasadnień biznesowych, i to nie dlatego, że narzędzia są bezużyteczne. Systemy monitorujące, które oznaczają pominięte przerwy, przekroczenia progów nadgodzin, anomalie w klasyfikacji czy błędy w administrowaniu urlopami, mogą być rzeczywiście wartościowe, a uzasadnienie operacyjne dla ich stosowania jest rozsądne.
Słowem, które zawodzi, jest „zapewnia”. System monitorujący nie zwalnia z obowiązku prawnego; generuje wyniki, które następnie stają się własnością pracodawcy. Jeśli system oznaczy potencjalne naruszenie, a nikt nie podejmie działania, organizacja stworzyła datowany wewnętrzny zapis ustalający fakt powiadomienia, co jest zasadniczo gorsze niż brak monitorowania. Jeśli system nie oznaczy naruszenia, które miało miejsce, pracodawca nie zyskał żadnej obrony, ponieważ poleganie na narzędziu dostawcy nie jest uznanym usprawiedliwieniem braku zgodności w rozumieniu Fair Labor Standards Act ani ustaw egzekwowanych przez Equal Employment Opportunity Commission (EEOC). Jeśli ustalenia systemu są błędne w sposób systematyczny, pracodawca zautomatyzował błąd i przeskalował go.
Wydarzenia ze stycznia 2025 roku pogarszają tę sytuację, zamiast ją łagodzić. Kiedy EEOC usunęła ze swojej strony internetowej wytyczne dotyczące sztucznej inteligencji, w tym wskazówki techniczne z maja 2022 roku dotyczące Americans with Disabilities Act oraz wskazówki techniczne z maja 2023 roku dotyczące Title VII, pracodawcy stracili materiał interpretacyjny, który informował ich, które praktyki agencja uważała za problematyczne. Ustawy się nie zmieniły. Narzędzie do zapewniania zgodności skonfigurowane na podstawie wytycznych, które zostały od tamtej pory wycofane, działa teraz bez określonego punktu odniesienia, a tę lukę ponosi pracodawca, nie dostawca.
Automatyzacja zgodności z przepisami dodaje zatem obowiązek dokumentacji i reagowania, zamiast go eliminować. Ten obowiązek ma swój koszt, koszt ten jest rzeczywisty i należy do strony kosztowej modelu.
Koszty, które model pomija
Większość uzasadnień biznesowych dotyczących AI w zasobach ludzkich zawiera stronę kosztową składającą się z opłat licencyjnych, usług wdrożeniowych i pewnej rezerwy na szkolenia. To jest koszt nabycia oprogramowania. Nie jest to koszt obsługi zautomatyzowanego systemu decyzji zatrudnieniowych, który dodatkowo obejmuje co najmniej następujące elementy.
Prace walidacyjne, czyli analizę ustalającą, że to, co ocenia każdy system, odpowiada udokumentowanemu wymogowi danego stanowiska, wraz z ponowną walidacją wymaganą przy zmianie systemu lub roli. Obsługę ścieżki dostosowań, czyli stałą zdolność zapewnienia alternatywnej oceny na żądanie, z wyznaczonymi osobami decyzyjnymi, określonym czasem realizacji i funkcjonującym procesem interaktywnym, a nie formularzem. Zdolność przechowywania i odtwarzania zapisów, czyli zdolność do przedstawienia wyniku, danych wejściowych i konfiguracji systemu obowiązującej dla każdej indywidualnej decyzji przez cały okres przechowywania przewidziany przez 29 C.F.R. Part 1602. Monitorowanie, czyli okresowe testowanie wyników zamiast polegania na podsumowaniu dostawcy. Współpracę dostawcy w zakresie postępowania dowodowego i dochodzenia administracyjnego, która jest kosztowna, nie jest objęta standardowymi warunkami handlowymi, jeśli nie została wynegocjowana, i jest naliczana pracodawcy w razie potrzeby. Oraz samą wewnętrzną funkcję nadzorczą, czyli wyznaczoną osobę odpowiedzialną za powyższe, która w większości organizacji obecnie nie istnieje i musi zostać utworzona lub zakontraktowana.
Obok tych kosztów operacyjnych istnieje zobowiązanie warunkowe, którego praktycznie żadne uzasadnienie biznesowe nie wycenia, i które nie jest już hipotetyczne. W sierpniu 2023 roku EEOC zawarła ugodę z iTutorGroup na kwotę 365 000 USD w związku z oprogramowaniem skonfigurowanym do odrzucania kandydatów powyżej określonego wieku — co stanowi konkretną liczbę za prostą decyzję konfiguracyjną. W lipcu 2024 roku Sąd Okręgowy dla Północnego Dystryktu Kalifornii dopuścił roszczenia wobec dostawcy oprogramowania przesiewowego do dalszego postępowania na podstawie tezy, że dostawca działał jako agent pracodawców korzystających z jego narzędzi, co podważa powszechne założenie, że odpowiedzialność spoczywa wyłącznie na pracodawcy lub wyłącznie na dostawcy i może zostać jednoznacznie przypisana umową. W marcu 2025 roku American Civil Liberties Union (ACLU), ACLU of Colorado, Public Justice oraz Eisenberg and Baum złożyły skargę do Colorado Civil Rights Division oraz EEOC w imieniu Głuchego pracownika pochodzenia rdzennego, dotyczącą zautomatyzowanej rozmowy kwalifikacyjnej nagrywanej na wideo oraz odmówionego dostosowania w postaci napisów — sprawę, której obie firmy zaprzeczają. Roszczenie to ma charakter indywidualny, nie wymaga statystyk porównawczych i jest tanie do wniesienia.
Właściwym podejściem nie jest zgadywanie kwoty ugody. Jest nim jawne stwierdzenie ekspozycji na ryzyko, odnotowanie, że roszczenia dotyczące praktyk systemowych często wykraczają poza zakres standardowych polis ubezpieczeniowych od odpowiedzialności za praktyki zatrudnienia, oraz wymóg, aby mechanizmy nadzoru zmniejszające tę ekspozycję były finansowane jako część wdrożenia, a nie odraczane.
Organizacja, która doda te pozycje, często stwierdzi, że inwestycja nadal ma sens. To dobry wynik i nie o to chodzi. Chodzi o to, że wynikająca z tego liczba może zostać obroniona przed zarządem, audytorem, a ostatecznie przed sądem — czego obecna liczba nie może.
Obronna struktura
Poniższe elementy tworzą uzasadnienie biznesowe, które wytrzymuje kontrolę i może zostać zbudowane przez istniejącą funkcję zasobów ludzkich i finansów.
- Ustal punkt odniesienia przed wdrożeniem, nie po nim: czas cyklu, koszt zatrudnienia, koszt administracyjny na transakcję, wskaźniki błędów oraz rotację według segmentów, każdy mierzony przez co najmniej cztery poprzedzające kwartały.
- Oddziel oszczędności z automatyzacji od oszczędności z AI. Wskaż, które deklarowane korzyści wynikają z przetwarzania przepływu pracy opartego na regułach, które byłoby dostępne bez zakupu AI, i wyceń je osobno.
- Zdefiniuj jawnie jakość zatrudnienia dla własnych stanowisk przed zmierzeniem jakiejkolwiek jej zmiany, podaj miarę kryterialną oraz jej ograniczenia. Jeśli nie można jej zdefiniować, nie twierdź, że nastąpiła poprawa.
- Odrzuć wskaźniki dokładności wywiedzione ze zbiorów referencyjnych dla każdego modelu predykcyjnego. Wymagaj wydajności w warunkach rzeczywistych na własnych danych organizacji, z podanym wskaźnikiem bazowym i liczbą fałszywie pozytywnych wyników wyrażoną w liczbie osób, a nie w procentach.
- Dla każdego modelu generującego wyniki na poziomie indywidualnym udokumentuj, jakie działanie wynika z wyniku, przed wdrożeniem, i poddaj to działanie przeglądowi jako decyzję zatrudnieniową, a nie jako wynik analityczny.
- Wyceń wymienione powyżej obowiązki operacyjne jako koszt powtarzalny, a nie jednorazowe wdrożenie.
- Przedstaw zobowiązanie warunkowe jako ujawnioną pozycję wraz z mechanizmami kontrolnymi, które je ograniczają, niezależnie od tego, czy przypisano mu wartość pieniężną.
- Wymagaj dowodów walidacyjnych, danych o skuteczności działania w warunkach rzeczywistych oraz możliwości reprodukcji jako warunków umownych przy nabyciu. Zachowuj każdą odmowę, ponieważ ona sama stanowi informację o tym, co wie organizacja.
Podsumowanie
Istnieje realne uzasadnienie biznesowe dla zastosowania sztucznej inteligencji w zarządzaniu zasobami ludzkimi, bardziej skromne i łatwiejsze do obrony niż to, które obecnie funkcjonuje w obiegu. Opiera się ono na czasie cyklu, koszcie transakcyjnym i ograniczeniu liczby błędów w procesach administracyjnych – wszystko to można udokumentować. Nie opiera się natomiast na jakości rekrutacji, retencji ani na twierdzeniach o trafności predykcyjnej, których praktyka pomiarowa tej funkcji nie jest w stanie uzasadnić i które niosą odpowiedzialność, jakiej model nie wycenia.
Organizacjami, które odnotują trwały zwrot z tych systemów, nie będą te, które wdrożyły je najwcześniej ani zakupiły najwięcej. Będą to te, które dokonały pomiaru przed wdrożeniem, które potrafią wskazać, co dokładnie ocenia dany system i dlaczego ma to znaczenie dla stanowiska pracy, oraz które potraktowały aparat zarządzania zgodnością jako część kosztu posiadania, a nie jako wydatek, którego należy unikać. Zwrot, który zależy od niezmierzonej korzyści i niewycenionego ryzyka, nie jest zwrotem. Jest prognozą, a różnica staje się widoczna w momencie, gdy ktoś poprosi o przedstawienie obliczeń.
Bibliografia
- American Civil Liberties Union, ACLU of Colorado, Public Justice oraz Eisenberg & Baum LLP. Skarga złożona do Colorado Civil Rights Division oraz U.S. Equal Employment Opportunity Commission, 19 marca 2025 r.
- EEOC v. iTutorGroup, Inc., nr 1:22-cv-02565 (E.D.N.Y.), ugoda sądowa (consent decree), sierpień 2023.
- Mobley v. Workday, Inc., nr 3:23-cv-00770 (N.D. Cal.), postanowienie w sprawie wniosku o oddalenie powództwa, lipiec 2024.
- Society for Human Resource Management. „The Dangers of Using Predictive Analytics to Gauge Employee Flight Risk”. 2023.
- U.S. Equal Employment Opportunity Commission. The Americans with Disabilities Act and the Use of Software, Algorithms, and Artificial Intelligence to Assess Job Applicants and Employees, EEOC-NVTA-2022-2, 12 maja 2022 r., oraz Select Issues: Assessing Adverse Impact in Software, Algorithms, and Artificial Intelligence Used in Employment Selection Procedures Under Title VII, 18 maja 2023 r. Oba dokumenty usunięto ze strony internetowej agencji 27 stycznia 2025 r.
- Jednolite wytyczne dotyczące procedur selekcji pracowników, 29 C.F.R. część 1607; wymogi dotyczące prowadzenia dokumentacji, 29 C.F.R. część 1602.