İnsan kaynaklarındaki yapay zeka vaka çalışması istikrarlı bir biçime oturmuş durumda.
Tür
İnsan kaynaklarındaki yapay zeka vaka çalışması istikrarlı bir biçime oturmuş durumda. Bir kuruluş bir uygulamayı tanımlar, üç veya dört puanlık iyileştirmeler bildirir, önyargının azaltılmasına dair bir iddia ekler ve yetenek yönetiminin rekabet avantajı kaynağı haline geldiği sonucuna varır. Rakamlar kesindir. Metodoloji yoktur. Sonuç bir görüşmeye davet niteliğindedir.
Bu biçim varlığını sürdürüyor çünkü ikna aracı olarak işe yarıyor ve kimse bunu denetleyecek konumda değil. Satıcılar bunu yayınlıyor çünkü satış sağlıyor. Uygulayıcılar bunu yayınlıyor çünkü itibar kazandırıyor. Alıcılar bunu kabul ediyor çünkü aksi halde vermek üzere oldukları kararın hiçbir dayanağı olmadığını itiraf etmiş olurlar. Zincirdeki herkesin sayıyla ilgisi var, ama kimsenin paydayla ilgisi yok.
Zincirdeki herkesin sayıyla ilgisi var, ama kimsenin paydayla ilgisi yok.
Novara Consulting Group’un görüşü şudur: bu belgeler kanıt olarak değil, reklam iddiaları olarak okunmalıdır; en sık zikredilen belirli rakamlar, altında yatan hiçbir iyileştirme olmadan da en kolay üretilebilen rakamlardır; ve dört soru sorabilen bir alıcı, gerçek bir sonuçla raporlanmış bir sonucu on dakika içinde ayırt edebilir. Aşağıda, en sık karşılaşılan dört iddiaya uygulanan bu yöntem yer almaktadır.
Birinci iddia: işe alım süresinde azalma
İşe alım süresi en yaygın bildirilen ölçüttür ve işe alım süreciyle ilgili hiçbir şeyi değiştirmeden en kolay oynanabilen ölçüttür.
Bu ölçüm, karşılaştırma dönemleri boyunca sabit tutulan tanımlı bir başlangıç noktası ve tanımlı bir bitiş noktası gerektirir. Uygulamada başlangıç noktası kuruluşa ve çoğu zaman talep formuna (requisition) göre değişir: bu, talebin onaylandığı tarih, ilanın yayınlandığı tarih, kaynak bulma sürecinin başladığı tarih veya işe alım yöneticisinin ihtiyacı ilk kez dile getirdiği tarih olabilir. Bu başlangıç noktasını daha ileri bir tarihe çekmek, kimsenin yaşadığı hiçbir şeyi kısaltmadan ölçülen aralığı kısaltır. İptal edilen veya geri çekilen talepleri hariç tutmak, en uzun süren rolleri hariç tutmak veya paydadaki rol karışımını değiştirmek de aynı etkiyi yaratır.
Karıştırıcı etken, etkiden daha büyüktür. İşe alım süresi işgücü piyasası koşullarına güçlü biçimde tepki verir ve günümüzdeki çoğu vaka çalışması için ilgili karşılaştırma dönemleri, akut işgücü kıtlığından oldukça gevşemiş koşullara geçişi kapsar. Hiçbir şeyi değiştirmemiş bir kuruluş bile bu pencere boyunca iyileşme gösterirdi. Bu hareketi o dönemde uygulanan bir sisteme atfetmek bir karşı olgusal analiz gerektirir ve bu türden hiçbir vaka çalışması böyle bir analiz içermez.
Niteleyici ifadeler de dikkat gerektirir. Tüm roller yerine kilit roller için bildirilen iyileşme, bir alt kümeyi işaret eder; ve bu alt küme, sonuçlar bilindikten sonra seçildiyse, bu rakam sistemi değil seçimi tarif eder.
İkinci iddia: manuel işlemsel faaliyette azalma
Bu iddia, manuel faaliyete ilişkin bir temel ölçüm gerektirir ve neredeyse hiçbir insan kaynakları fonksiyonu buna sahip değildir.
Bu tür bir rakam varsa, genellikle üç yoldan biriyle elde edilmiştir: bir satıcının uygulama modelinden, personelin kendi zaman dağılımını tahmin ettiği bir anketten veya yeni sistem devreye girdiğinde tanımı değişen bilet ya da işlem sayımından. Bunların hiçbiri zaman içinde yüzdesel bir karşılaştırmayı desteklemez, çünkü ölçüm aracı müdahaleyle tam olarak aynı anda değişmiştir.
Ayrıca ölçütün gizlediği bir kapsam sorunu da vardır. İnsan kaynakları fonksiyonundan kaybolan işlemsel iş, çoğunlukla self-servis yoluyla çalışanlarda ve hat yöneticilerinde başka bir yerde yeniden ortaya çıkar. Fonksiyon tarafından ele alınan işlemlerdeki yüzde altmışlık bir azalma, gerçek bir verimlilik kazanımını, aynı işin zamanı sayılmayan kişilere devredilmesini veya bunların bir kombinasyonunu temsil ediyor olabilir. Bunları ayırt etmek toplam örgütsel çabanın ölçülmesini gerektirir ki bunu kimse yapmaz, çünkü bu ölçüt kuruluşun maliyetini tarif etmek için değil, fonksiyonun yatırımını haklı çıkarmak için var olur.
Üçüncü iddia: yüksek potansiyelli çalışanların elde tutulmasında artış
Bu dördü arasında en ilgi çekici olanıdır, çünkü rakamı üreten mekanizma genellikle uygulamanın kendisidir.
Yüksek potansiyel gözlemlenen bir özellik değildir. Kuruluşun atadığı bir tanımlamadır ve bir yapay zeka yetenek sistemi, tipik olarak bu atamanın nasıl yapıldığını değiştirir. Belirtilen amaç da zaten budur. Sistem hangi çalışanların yüksek potansiyelli olarak tanımlandığını değiştiriyorsa, uygulamadan sonra ölçülen kohort, öncekiyle aynı nüfus değildir ve ikisi arasındaki elde tutma karşılaştırması aynı şeyin karşılaştırması değildir.
Ortaya çıkan önyargının yönü tahmin edilebilirdir. Performans geçmişinden, bağlılık sinyallerinden ve kariyer ivmesinden yüksek potansiyeli belirleyen bir model, bağlı, yakın zamanda terfi etmiş ve ilerleme kaydeden çalışanları tercihen seçecektir; bunların hepsi kalıcılığın mevcut en güçlü göstergeleri arasındadır. Sistem zaten kalacak olan kişileri seçer ve kuruluş onların kalmasını sistemin bir etkisi olarak kaydeder.
Kohort büyüklüğü bunu daha da katmerlendirir. Çoğu kuruluşta yüksek potansiyelli nüfus, yüzde on sekizlik bir değişimin bir avuç kişiyi temsil ettiği, herhangi bir küçük kohortun yıldan yıla üreteceği varyasyonun tamamen içinde kaldığı kadar küçüktür. Bu türden bir rakamın yanında kohort büyüklüğü ve tanımın değişip değişmediği belirtilmelidir. Neredeyse hiçbir zaman belirtilmez.
Dördüncü iddia: önyargının azaltılması
Dördüncü iddia türü bakımından diğerlerinden farklıdır, çünkü sadece dayanaksız değildir. Bu bir hukuki beyandır.
Bunu doğrulamak, tanımlı gruplar üzerinde, karşılaştırmayı destekleyecek yeterli hücre büyüklükleriyle, öncesi ve sonrası önyargının ölçülmesini gerektirir. Ayrıca grupların bilinmesini de gerektirir ki iddia genellikle burada çöker. Engellilik bu şekilde hiç ölçülemez: işverenler, koşullu bir teklif öncesinde hangi başvuru sahiplerinin engelli olduğunu bilmez ve yasal olarak soramaz, dolayısıyla hiçbir etki-oranı aracı engellilik ayrımcılığını tespit edemez. Ardıllık planlamasında önyargının azaltıldığını iddia eden bir kuruluş, genellikle ırk ve cinsiyeti ölçmüştür (eğer bir şey ölçmüşse) ve performans verisi güdümlü modellerden en çok etkilenen nüfus hakkında hiçbir şey söylememiştir.
Ardıllık planlamasının ayrıca bir zorluğu daha vardır. Kıdemden, kariyer aşamasından, görevde geçirilen süreden, yeterlilik güncelliğinden ve önceki ilerleme hızından hazırlık veya potansiyeli belirleyen bir model, yaşla ağır biçimde ilişkili sinyallere dayanmaktadır. Böyle bir sistem için yaş dağılımını incelemeden önyargının azaltıldığını bildirmek, girdilerin öngördüğünün tam tersini iddia etmek demektir.
Ve iddianın kendisi bir hukuki risk yaratır. 1991’de değiştirildiği haliyle Title VII, istihdam veya terfi için aday seçimi veya yönlendirmesiyle bağlantılı olarak, ırk, renk, din, cinsiyet veya ulusal köken temelinde puanları ayarlamayı, farklı kesme puanları kullanmayı veya istihdamla ilgili testlerin sonuçlarını başka şekilde değiştirmeyi yasa dışı kılar. Burada hiçbir şey bu sistemlerin bunu yaptığını göstermiyor. Önemli olan nokta şudur: otomatik bir terfi aracını demografik sonuçlarla ilişkilendiren kamuya açık bir beyan, kuruluşun kendisinin yazdığı, geri çekemeyeceği ve açıklaması istenebilecek bir belgedir.
Dördünde de eksik olan şey
Yukarıdaki başarısızlıkların her biri aynı eksikliğin bir versiyonudur. Bu vaka çalışmalarının hiçbiri bir karşı olgusal analiz içermez; yani müdahale olmasaydı ne olacağının bir tarifini içermez.
Kuruluş, işgücü piyasasının değiştiği, kadro sayısının değiştiği, yöneticilerin devir yaşadığı, ücretlerin ayarlandığı ve başka girişimlerin eşzamanlı yürütüldüğü bir dönemde bir sistem devreye almıştır. Ardından dört ölçütteki hareketi bu değişikliklerden birine atfetmiştir. Bu küçük bir metodolojik itiraz değildir. Bu meselenin bütünüdür ve bu eksiklik, bu türü çürütülemez kılan şeydir.
Bitişik iddialara ilişkin yayınlanmış kanıtlar, herhangi bir alıcıyı düşündürmelidir. Harvard Business School ve Burning Glass Institute, beceri temelli işe almayı kamuya açık biçimde benimseyen firmalarda gerçekte ne olduğunu incelediğinde, diploma şartının kaldırılmasının diplomasız adayların işe alımını yaklaşık üç buçuk yüzde puanı hareket ettirdiğini, bunun her yedi yüz işe almadan birinden azına denk geldiğini ve firmaların neredeyse yarısının açıklamalarına rağmen hiçbir davranış değişikliği göstermediğini tespit etti. Açıklamalar samimiydi. Uygulama tamamen farklılaştı ve bunu yapan kuruluşlar bunu bilmiyordu.
Buradaki ilgili çıkarım insanların yalan söylediği değildir. Kuruluşların kendi girişimlerinin işe yarayıp yaramadığını güvenilir biçimde bilmediği ve bir vaka çalışmasının bunu öğrenmeye en az konumlu tarafça yazıldığıdır.
İddia sahibi bunu genellikle neden inanılır bulur
Bunu doğrudan ifade etmekte fayda var, çünkü aksi okuma iyi niyetten uzak ve genellikle yanlıştır.
Bu rakamlar nadiren uydurulur. Bunlar, hiçbir temel ölçümün oluşturulmadığı, tanımların değiştiği, analitik çerçeveyi satıcının sağladığı ve sonuçları derleyen kişinin satın almayı savunan kişi olduğu bir ölçüm ortamında üretilir. Bu koşulların her biri çıktıyı aynı yöne doğru eğer ve hiçbiri kimsenin kötü niyetle hareket etmesini gerektirmez. Sayı, birinin onu hesapladığı anlamında gerçektir. Sadece etrafındaki cümlenin söylediği şeyi ifade etmez.
Düzenleyici ortamın harekete geçmeye başlamasının nedeni de budur. Federal Ticaret Komisyonu, desteklenmeyen yapay zeka yetenek iddialarına karşı aktif olmuştur; bunlar arasında, Ocak 2025’te bir erişilebilirlik yazılımı sağlayıcısının, otomatik ürününün herhangi bir web sitesini erişilebilirlik standartlarına uygun hale getirebileceği yönündeki beyanları nedeniyle bir milyon dolar ödemesini gerektiren bir karar da bulunmaktadır. İlgili ilke o ürün kategorisiyle sınırlı değildir. Yapay zeka hakkında performans iddiaları doğrulama gerektirir ve bir pazarlama belgesinde sonuç yüzdeleri yayınlayan bir kuruluş tam da bu türden bir iddiada bulunmaktadır.
Alıcının sorması gereken sorular
Yaklaşık on dakika süren ve vaka çalışmalarının büyük çoğunluğunun karşısında ayakta kalamayacağı dört soru.
Temel ölçüm neydi, ne zaman ölçüldü ve kim tarafından ölçüldü. Temel ölçüm uygulamadan sonra oluşturulduysa veya satıcı tarafından sağlandıysa, karşılaştırma bir karşılaştırma değildir.
Tanım değişti mi. Yüksek potansiyelli veya kilit roller gibi belirlenmiş bir nüfusu içeren herhangi bir ölçüt için, atama kriterlerinin öncesinde ve sonrasında aynı olup olmadığını sorun. Sistem bunları değiştirdiyse, nüfuslar farklıdır ve karşılaştırma geçersizdir.
Bu dönemde başka ne değişti. İşgücü piyasası, kadro sayısı, ücretlendirme, yönetim, eşzamanlı girişimler. Dürüst bir yanıtlayanın bir listesi olacaktır. Listesi olmayan bir yanıtlayan bakmamıştır demektir.
Payda nedir ve kaç kişi. Kohort büyüklükleri olmadan yüzdeler yorumlanamaz ve küçük kohortlar küçük hareketlerden büyük yüzdeler üretir.
What a credible case study would contain
The genre is not beyond repair, and an organization willing to publish the following would immediately distinguish itself in a field where nobody does.
State the baseline and its date. State the definitions and note any that changed. Report cohort sizes alongside percentages. Name the concurrent changes that could account for movement, and say which ones you cannot rule out. Describe what did not work, because a deployment in which everything improved is a deployment in which nothing was measured. And where a bias claim is made, state the groups, the method, the cell sizes, and what remains unmeasured.
That document is less impressive than the current form and considerably more useful. It is also the only version that survives being read by someone with an interest in whether it is true.
Conclusion
The case study is the primary evidentiary artifact in enterprise human resources technology purchasing, and it is the weakest form of evidence in routine professional use. It is single-organization, uncontrolled, self-reported, retrospectively defined, and published by a party with an interest in the finding.
None of that makes it worthless. It makes it a hypothesis. The organizations that will actually realize returns from these systems are the ones that treat other people’s numbers as a reason to investigate rather than a reason to buy, and that hold their own numbers to the standard they would want applied to a vendor’s. The discipline is not difficult and it is not expensive. It is a baseline, a stable definition, a cohort size, and an honest account of what else was happening at the time.
References
- Federal Trade Commission, In the Matter of accessiBe, Inc., File No. 2223156, complaint and proposed order announced January 3, 2025.
- Fuller, Joseph, et al. Skills-Based Hiring: The Long Road from Pronouncements to Practice. Harvard Business School Project on Managing the Future of Work and The Burning Glass Institute, February 2024.
- Title VII of the Civil Rights Act of 1964, as amended, 42 U.S.C. § 2000e-2, including § 2000e-2(l).
- Uniform Guidelines on Employee Selection Procedures, 29 C.F.R. Part 1607, applicable to selection procedures affecting hiring, promotion, and other employment opportunities.