Herkesin verdiği tavsiye mekanizma konusunda yanlış
Yapay zeka konusunda yüksek lisans öğrencilerine verilen standart öğüt aşağı yukarı şöyledir: onu bir yerine koyma aracı değil bir araç olarak kullanın, kendi düşüncenizi kullanın ve öğretim üyelerinin keskin gözlemciler olduğunu, derinlikten yoksun çalışmaları er ya da geç fark edeceklerini bilin. İlk iki önerme sağlamdır. Üçüncüsü yanlıştır ve bu yanlışlık önemlidir, çünkü büyük ölçüde yerini başka bir şeye bırakmış olan bir insan muhakemesi sürecini tarif etmektedir.
Çoğu kurum yapay zeka kullanımını deneyimli okuyucuların ayırt etme yeteneğiyle tespit etmiyor. Bunu, ya da tespit ettiğine inanıyor, teslim platformlarına gömülü otomatik sınıflandırıcılar aracılığıyla yapıyor; bu sınıflandırıcılar bir belgeye olasılık puanı atayıp onu bir akademik dürüstlük sürecine aktarıyor. Dolayısıyla bir yüksek lisans öğrencisinin karşı karşıya olduğu soru, bir profesörün sığ düşünceyi fark edip etmeyeceği değildir. Soru, istatistiksel bir sınıflandırıcının yazısını işaretleyip işaretlemeyeceği ve işaretlerse başına ne geleceğidir.
Novara Consulting Group'un görüşü şudur: yükseköğretimde yapay zeka tespiti, bireyler hakkında sonuç doğuran kararlar üreten otomatik bir karar sistemidir; öğrenci statüsünü etkileyen hemen hemen başka hiçbir araçtan kurumların talep ettiğinden daha az doğrulama ile devreye sokulmuştur; ve hata dağılımı en ağır biçimde çok dilli ve engelli yazarların üzerine düşmektedir. Yönetişim sorunu kurumsaldır. Sonuçlar ise bireyseldir.
Tespit aracının ölçtüğü şey
Bir yapay zeka yazı tespit aracı yazarlığı belirlemez. Her kelimenin önceki metne göre ne kadar öngörülebilir olduğunu ölçen şaşkınlık (perplexity) ve bir belge boyunca cümle yapısı ile uzunluğundaki değişimi ölçen patlayıcılık (burstiness) aracılığıyla, bir metnin istatistiksel olarak ne kadar olağandışı olduğunu tahmin eder. Yüksek derecede öngörülebilir ve yapısal olarak tekdüze olan metin, makine tarafından üretilme olasılığı daha yüksek olarak puanlanır.
Mekanizmanın tamamı budur ve bunu açıkça ifade etmek sorunu görünür kılar. Tespit aracı bir kişinin bir şey yazıp yazmadığını ölçmemektedir. Yazının olağandışı olup olmadığını ölçmekte ve olağandışılığı insanlık kanıtı olarak değerlendirmektedir. Dikkatli, sade, yapısal olarak tutarlı ve sözcük seçiminde muhafazakâr olan yazı, makine benzeri olarak puanlanır, çünkü modelin makine benzerliği için vekil ölçütü tam da budur.
Bu durum, belirli ve öngörülebilir bir haksız suçlama nüfusu üretir ve bu rastgele bir nüfus değildir.
Hata oranları ve bunları kimlerin taşıdığı
Stanford'dan Liang ve meslektaşları tarafından Patterns dergisinde Temmuz 2023'te yayımlanan araştırma, test edilen yedi tespit aracı genelinde, anadili İngilizce olmayan kişilerin yazdığı TOEFL denemelerinin yaklaşık yüzde altmış birinin yapay zeka tarafından üretilmiş olarak işaretlendiğini, buna karşılık anadili İngilizce olan kişilerin benzer yazılarında yanlış pozitif oranının neredeyse sıfır olduğunu ortaya koydu. Bunlar, İngilizce yeterliliğini kanıtlamak için standart bir sınava giren insanlar tarafından yazılmış denemelerdi. Yazarlar mekanizmayı doğrudan tespit etti: tespit araçları metin şaşkınlığına (perplexity) dayanıyordu ve ikinci bir dilde yazmak daha düşük şaşkınlık değeri üretiyordu.
Bağımsız testler, satıcı doğruluk iddialarını desteklemekte tekrar tekrar başarısız oldu. Weber-Wulff ve meslektaşları, Aralık 2023'te International Journal for Educational Integrity dergisinde yayımladıkları çalışmada, çeşitli belge türleri genelinde bir dizi tespit aracını değerlendirdi ve bunların ne doğru ne de güvenilir olduğu sonucuna vardı. Satıcılar ise genellikle ürünleri için bir yanlış pozitif oranı yayımlamayı reddediyor; bu da bir aracı benimseyen kurumun, disiplin işlemlerinde kullandığı bir aracın hata oranını belirleyemeyeceği anlamına geliyor.
Kurumlar buna karşı harekete geçmeye başladı. Vanderbilt Üniversitesi, Ağustos 2023'te Turnitin'in yapay zeka tespit özelliğini devre dışı bıraktı ve kararı basit kılan hesaplamayı yayımladı: yetmiş beş bin teslim edilen kağıda uygulanan yüzde bir yanlış pozitif oranı, yılda yaklaşık yedi yüz elli haksız suçlama üretiyor. Başka kurumlar da bunu izledi ve o zamandan beri yayımlanan üniversite kılavuzlarının yönü, tespit aracı puanını bir bulgu değil, bir inceleme vesilesi olarak ele almaya doğru oldu.
Herhangi bir kurumsal değerlendirmede yer alması gereken bir piyasa gerçeği daha var. Tespit araçları pazarlayan bazı sağlayıcılar, kendi araçları da dahil olmak üzere tespiti atlatmak üzere tasarlanmış "insanlaştırıcı" ürünler de pazarlıyor. Başka herhangi bir güvence bağlamında, hem testi hem de onu geçmenin yolunu satan bir tedarikçi, ikisinden birini sağlamaktan men edilirdi.
Başka herhangi bir güvence bağlamında, hem testi hem de onu geçmenin yolunu satan bir tedarikçi, ikisinden birini sağlamaktan men edilirdi.
Bu durumun ulaştığı kesim ve bunun neden yanlış kesim olduğu
Belgelenen eşitsizlik, anadili İngilizce olmayan yazarları ilgilendiriyor ve bunun açıklaması esrarengiz değil, mekaniktir. Şaşkınlık temelli tespit, daha basit kelime dağarcığını ve daha düzenli dilbilgisi yapısını cezalandırır. İkinci bir dilde çalışan bir yazar tam olarak bu profili üretir; yazı makine tarafından üretildiği için değil, ikinci bir dilde olağandışı ifade kurmak doğru ifade kurmaktan daha zor olduğu için.
Aynı mekanizma, neredeyse hiç dikkat çekmemiş bir kesime de ulaşır ve bu şirketin var olma nedeni de tam olarak bu kesimi ele almaktır.
İlk dili Amerikan İşaret Dili olan bir Deaf yazar, İngilizceyi ikinci dil olarak yazmaktadır ve bundan kaynaklanan sözdizimsel muhafazakârlık, tam da tespit aracının makine benzeri olarak puanladığı şeydir. Metin tahmini, dilbilgisi yardımı veya yapılandırılmış yazma desteği kullanan disleksili bir öğrenci -ki bunların hepsi sıradan ve genellikle resmi olarak onaylanmış uyarlamalardır- yardımcı araç tarafından düzenlenmiş bir metin üretir. Konuşmadan metne dönüştürerek yazan motor bozukluğu olan bir öğrenci, dikte yazılımının kendi dil modeli tarafından şekillendirilmiş bir metin üretir. Çeviri yardımı kullanan bir öğrenci, çeviri sisteminin istatistiksel imzasını taşıyan bir çıktı üretir.
Her durumda, uyarlama işaretlemeye yol açar. Kurumunun onayladığı desteği kullanan öğrenci, buna ihtiyaç duymayan öğrenciye kıyasla suçlanma olasılığı daha yüksektir ve suçlama, neyi ölçtüğüne dair hiçbir açıklama içermeyen bir sayıyla birlikte gelir. Ardından öğrencinin kendi çalışmasını kendisinin yazdığını kanıtlaması istenir ki bu, bunu karşılamaya en az yetkin olan kişiden bir olumsuzluğu kanıtlamasını talep etmek demektir.
Bir yardımcı teknoloji uyarlamasını onaylamış ve aynı zamanda onun çıktısını cezalandıran bir tespit aracı çalıştıran bir kurum, kendi disiplin sürecine bir çelişki yerleştirmiştir. Bunun farkında olma olasılığı düşüktür, çünkü engelli öğrenci hizmetleri ofisi ile akademik dürüstlük ofisi genellikle birbirlerinin araçlarını gözden geçirmez. Yükseköğretim kurumları, Engelli Amerikalılar Yasası (Americans with Disabilities Act) ve Rehabilitasyon Yasası'nın 504. Bölümü uyarınca akademik uyarlamalar sağlama ve engelli öğrencileri dışlayan uygulamalardan kaçınma yükümlülüğü taşır. Onaylanmış uyarlamaların ürünlerini sistematik olarak işaretleyen bir tespit uygulaması, her ikisiyle de rahatsız edici biçimde çelişmektedir.
Kanıt standardı, karşılaştırılabilir herhangi bir şeyden daha düşüktür
Bir kurumun, bir öğrencinin statüsünü etkileyen başka herhangi bir otomatik araca dayanarak hareket etmeden önce ne talep edeceğini düşünün.
Bir kabul sınavı, yayımlanmış geçerlilik kanıtları, kanıtlanmış güvenilirlik, demografik gruplar genelinde belgelenmiş performans ve savunulabilir bir kesme puanı gerektirir. Bir dürüstlük ihbarını tetikleyen bir gözetim aracı, en azından kaydın incelenebilir olmasını gerektirir. Bir engellilik belirlemesi, belgeleme ve adı belirtilen bir karar vericiyi gerektirir. Satıcısının hata oranını açıklamayacağı bir araç tarafından üretilen, açıklanmamış sayısal bir puana dayanarak sonuç doğuran bir karar veren bir kurum, normalde keyfi hareket etmiş olarak anlaşılırdı.
Yapay zeka tespit puanları farklı ele alınmaktadır ve bunun nedeni ilke değil, tür gibi görünmektedir. Bu puanlar, kurumların zaten güvendiği bir intihal aracının içinde gelirler, yanında bulundukları benzerlik endeksine benzerler ve akademik yönetişim yoluyla değil, satın alma süreci yoluyla benimsenmişlerdir. Benzerlik endeksi en azından bir öğrencinin inceleyip itiraz edebileceği bir kaynak belgeye işaret eder. Yapay zeka puanı hiçbir şeye işaret etmez. Kaynak yoktur, pasaj yoktur, karşılaştırma yoktur ve öğrencinin iddianın temelini inceleyebileceği hiçbir mekanizma yoktur.
Daha iyi kurumsal uygulama, bir tespit aracı çıktısını kanıt değil, önceliklendirme olarak ele alır: öğrencinin argümanını açıkladığı, taslak sürecini anlattığı ve kaynaklarını tartıştığı bir görüşmeyi başlatma vesilesi. Bu doğru tutumdur ve neyi kabul ettiğine dikkat etmekte fayda vardır. Eğer tespit aracının çıktısı yalnızca daha yakından bakmak için bir neden ise ve asıl sonucu belirleyen bu bakma süreciyse, o halde tespit aracı hangi öğrencilerin soruşturulacağına karar veren bir mekanizmadır. Yukarıdaki hata dağılımı göz önüne alındığında, bu, çok dilli ve engelli öğrencilerin daha sık soruşturulmasına karar veren bir mekanizmadır.
Bir yüksek lisans öğrencisinin gerçekte yapması gereken şey
Yararlı tavsiye, insan gibi görünmek için daha çok çalışmak değildir; bu hem onur kırıcı hem de ulaşılamaz bir hedeftir. Yararlı tavsiye, açıklanmamış bir otomatik karar ile karşı karşıya kalan herhangi bir kurumun kayıt tutması gereken aynı nedenle, kaydı tutmaktır: suçlama süreç kanıtı olmadan çürütülemez ve süreç kanıtının ihtiyaç duyulmadan önce oluşturulmuş olması gerekir.
Sürüm geçmişini koruyan bir ortamda taslak hazırlayın ve bunu devre dışı bırakmayın. İki aylık bir revizyon izi barındıran bir belge, yazı stiline dair hiçbir argümanın asla sağlayamayacağı şekilde belirleyicidir. Araştırma notlarını, açıklamalı kaynakları ve taslakları saklayın ve bunları tarihlendirin. Yardımcı veya dil desteği aracı kullanıldığında, bunu bir işaretlemeden sonra değil, dersin belirtilen politikası kapsamında önceden açıklayın, çünkü önceden yapılan açıklama bir savunmayı bir kayda dönüştürür. Bir uyarlama yazma desteği içeriyorsa, engelli hizmetleri ofisinin bunu belgelediğinden emin olun ve bu belgelemenin artık aynı zamanda dürüstlük belgesi de olduğunu anlayın. Ve argümanı sözlü olarak açıklayabilin, bunun nedeni bir profesörün algısının güvence olması değil, bu konuların gerçekte çözüldüğü yerin yapılandırılmış görüşme olmasıdır.
Bunların hiçbiri aldatmakla ilgili değildir. Bu, incelenemeyen bir sistemin kendisi hakkında kendisinin çürütmesi istenecek bir iddiada bulunabileceği herhangi bir kişinin yapması gereken şeydir.
Bir kurumun belirlemesi gereken şey
Bir tespit aracı çıktısı bir öğrenciye ulaşmadan önce, bir akademik dürüstlük ofisinin yanıtlayabilmesi gereken dört soru.
- Aracın yanlış pozitif oranı nedir, hangi nüfus üzerinde, kim tarafından belirlenmiştir. Satıcı bunu belirtmiyorsa, bu zaten bulgudur ve bilgi eksikliği olarak değil, bir bulgu olarak kaydedilmelidir.
- Çok dilli öğrenciler, uluslararası öğrenciler ve onaylı yardımcı teknoloji kullanan öğrenciler dahil olmak üzere, kurumun hizmet verdiği nüfuslar genelinde ayrıştırılmış performans nedir. Bu nüfuslara hizmet veren ve yanıt veremeyen bir kurum, aracı kendi bağlamı için değerlendirmemiş demektir.
- Çıktıya yazılı olarak hangi kanıt ağırlığı atanmaktadır ve herhangi bir olumsuz bulgu buna mı dayanmaktadır. Yalnızca bir puan bir süreci başlatabiliyorsa, kurum doğrulanmamış bir aracı disiplin tetikleyicisi olarak benimsemiş demektir.
- Onaylanmış uyarlamalar ile tespit çıktıları arasındaki etkileşimi kim gözden geçiriyor. Eğer kimse geçirmiyorsa, kurum bu etkileşimin olumsuz olduğunu varsaymalıdır, çünkü mekanizma bunu garanti eder.
Sonuç
Yüksek lisans öğrencilerinin kendi başlarına düşünmesi, kendi fikirlerini savunması ve kestirme yollar yerine uzmanlık geliştirmesi gerektiği tavsiyesi doğrudur ve her çağda doğru olurdu. Ancak bu, öğrencilerin gerçekte karşı karşıya olduğu riske yanıt vermemektedir; bu risk, sığ bulunacakları değil, istatistiksel olağandışılığı ölçen bir sınıflandırıcı tarafından işaretlenip bir olumsuzluğu kanıtlamalarının istenmesidir.
Bu risk eşit olmayan biçimde dağılmıştır ve dağılımı, dürüstlük politikasının üretmesi gereken dağılımın tam tersidir. Haksız yere suçlanma olasılığı en yüksek olan öğrenciler, ikinci bir dilde yazanlar, ilk dilde işaret edenler ve kurumlarının resmi olarak onayladığı uyarlamaları kullananlardır. Bunlar daha sık soruşturulmaktadır, çünkü kopya çekme olasılıkları daha yüksek olduğu için değil, makine yazısı için bir vekil ölçütün aslında kısıtlama altında yazmanın bir vekil ölçütü olduğu ortaya çıktığı için.
Kurumlar bu sonucu seçmediler. Bunu, doğrulama kanıtı olmadan alınan bir satın alma kararıyla edindiler ve devreye sokulmadan önce sorulması gereken soruları birisi sorana kadar bunu üretmeye devam edecekler.
Kaynakça
Liang, Weixin, Mert Yuksekgonul, Yining Mao, Eric Wu ve James Zou. "GPT Detectors Are Biased Against Non-Native English Writers." Patterns 4, no. 7 (Temmuz 2023).
Weber-Wulff, Debora, ve ark. "Testing of Detection Tools for AI-Generated Text." International Journal for Educational Integrity 19 (Aralık 2023).
Vanderbilt Üniversitesi Öğretim Merkezi'nin, Turnitin'in Yapay Zeka Tespit Özelliğinin Devre Dışı Bırakılmasına İlişkin Açıklaması, Ağustos 2023.
1990 tarihli Engelli Amerikalılar Yasası ve 1973 tarihli Rehabilitasyon Yasası'nın 504. Bölümü'nün, yükseköğretim kurumlarına ve akademik düzenlemelere uygulanışı.