2 Eylül 2026'da arXiv'e yüklenen ve EMNLP ana konferansına kabul edilen bir makale, İngilizce metni daha önce söylenenleri takip ederek Amerikan İşaret Dili glosuna çeviren bir çerçeve olan DiscoSign'ı anlatıyor. Yazarları Apple ve Gallaudet University'de araştırmacılar ve toplayıcı siteler bunun 11 Eylül'de Apple'ın makine öğrenmesi araştırma sitesinde yer aldığını bildirdi; alan dışındaki çoğu okuyucu makaleyle büyük olasılıkla burada karşılaştı. Teknik iddia dar kapsamlı ve iyi ifade edilmiş. Çoğu metinden işarete çeviri sistemi tek seferde bir cümle çevirir ve cümleler arasında hafızası yoktur, bu yüzden bir yerde konumlandırılan bir gönderge bir sonraki cümlede sessizce yeniden atanabilir, aynı kavram art arda gelen üç cümlede üç farklı işaretle gösterilebilir ve işaretlenmiş söylemi düzenleyen retorik yapılar seçilemez çünkü sistem söylemi göremez. DiscoSign, cümleler arasında kalıcı olan açık kayıtlar ekler, bunları modelde kısıtlama olarak uygular, ardından çıktıyı bunlara karşı doğrular ve düzeltir.
Bu, gerçek bir kusura yönelik gerçek bir ilerleme ve makale neyi yapmadığı konusunda samimi. Yönetişim açısından önem bir adım daha ileride yatıyor. Bir sistem bir belge boyunca durum taşıdığında, başarısız olabilecek birim artık cümle değildir. Hatalar bağımsız olaylar olmaktan çıkıp metnin tamamının özellikleri haline gelir ve alanın geliştirdiği, cümleleri puanlayıp ortalamasını alan değerlendirme uygulamaları bunu göremez. Risk, araştırmanın kendini abartması değildir. Risk, "söyleme duyarlı" sözcüklerinin, söylemin gerçekten ele alınıp alınmadığının nasıl test edileceği konusunda henüz bir fikir birliğine varılmadan çok önce tedarik belgelerine girecek olmasıdır.
Makalenin iddia ettikleri ve kendisi hakkında söyledikleri
DiscoSign üç olguyu ele alıyor. Birincisi uzamsal eşgönderim: ASL'de varlıklara işaret uzayında konumlar atanır ve daha sonra onlara geri işaret ederek gönderme yapılır, bu yüzden bir sistem Alice'in sola, Bob'un sağa yerleştirildiğini hatırlamak zorundadır. İkincisi, bir işaretleyicinin retorik bir soru sorup hemen cevapladığı konu-yorum yapıları olan Soru-Cevap Yan Tümceleri'dir; bunlar bazı söylem konumlarında uygun, bazılarında ise beceriksizdir. Üçüncüsü kavram-gloss tutarlılığıdır, yani bir belgede beş kez geçen bir kavram, yakın eşanlamlılar arasında değişmek yerine her seferinde aynı işaretle gösterilmelidir. Her biri bir kayıt tutan, bunu dil modeline katı bir kısıtlama olarak belirten ve ardından döndürülen çıktıyı kontrol edip ihlalleri yerinde düzelten bir modül tarafından ele alınır.
Makale, bunun cümle düzeyindeki temel çizgilere kıyasla uzamsal tutarlılığı ve varlık takibini önemli ölçüde iyileştirdiğini, tek cümle kalitesini sabit tutarken bunu yaptığını bildiriyor ve standart makine çevirisi ölçütleri, kendi ifadesiyle, "söylem düzeyinde kaliteyi yakalayamadığı" için kendi ölçütlerini tanıtıyor. Sınırlamalar bölümü alışılmadık derecede dürüst. Çerçeve, "gloslar aracılığıyla elle işaret üretimini ele alıyor ancak işaret dillerinde kritik dilbilgisel ve duygusal bilgi taşıyan yüz ifadeleri ve prozodi gibi el dışı işaretleyicileri (NMM'ler) içermiyor." Üç veri kümesinden biri "gerçek ASL ek açıklamalarından yoksun," bu yüzden söylem düzeyindeki değerlendirmenin bir kısmı otomatik ölçütlere ve geri çeviriye dayanıyor. Bir Soru-Cevap Yan Tümcesinin ne zaman uygun olduğuna karar veren kural, "bazen bir üslup meselesi olan bir yapının isteğe bağlılığını temsil edemiyor." Yazarlar ayrıca "işaret topluluğu üyeleriyle işbirliği yaptıklarını" belirtiyor ve Gallaudet ortak yazarları içeriyor; bu, bu literatürde norm değildir ve açıkça söylenmelidir.
Tutarlılık doğruluk değildir
DiscoSign'ı işler kılan mekanizma aynı zamanda onu bir yönetişim sorunu haline getiren şeydir ve özeti okumaktan çıkarılamayacak kısım da budur. Bir kayıt, erken verilen bir kararın tüm metin boyunca uygulanmasını zorunlu kılar. Karar doğruysa, metnin tamamı tutarlıdır. Karar yanlışsa, metnin tamamı aynı şekilde yanlıştır. İkinci cümlede yanlış konuma atanan bir gönderge tek bir kötü cümle üretmez; sonraki her göndermenin kendinden emin bir şekilde yanlış kişiyi işaret ettiği bir belge üretir. Kesin olmayan bir işarete eşlenen bir kavram izole bir hata değildir; sistemin tutarlılık mekanizması, aksi takdirde değişkenliğin getirebileceği düzeltmeyi aktif olarak engellerken tekrarlanan o işarettir. Makalenin kendi işlem hattı tanımı, "gloss aşamasında ortaya çıkan söylem düzeyindeki hataların tüm işlem hattı boyunca yayıldığını" söylüyor.
Cümle düzeyindeki sistemler gürültülü bir şekilde başarısız olur ve gürültülü başarısızlığın hafife alınan bir özelliği vardır: okuyucu bunu fark eder. Tutarsızlık bir kusur olarak okunabilir. Tutarlı bir şekilde yanlış olan bir sistem, kastedildiği gibi görünür. Çıktıyı kaynakla karşılaştırmak yerine alan Sağır bir okuyucu için, sabit bir yanlış gönderge açıkça bir hata bile değildir; basitçe belgenin söylediği şeydir. Bu, daha iyi iç tutarlılığın daha güvenli olduğu yönündeki olağan varsayımı tersine çevirir. Tutarlılık, bir hatanın görünürlüğünü azalttığı anda maliyetini artırır ve cümle başına puanların hiçbir ortalaması bunu göstermez.
Yeni ölçütler neyi ölçüyor ve bunları ne doğruladı
Makale burada dikkatli ve bu dikkat, aşağı akışta sorumlu bir şekilde ne iddia edilebileceğinin tavanını belirlediği için yakından okunmaya değer. Yeni ölçütler uzamsal indeks tutarlılığını, kavram-gloss eşleme kararlılığını ve Soru-Cevap Yan Tümcesi kullanımının uygunluğunu ölçüyor. Üçünden ikisi, sistemin baştan sona aynı şeyi yapıp yapmadığını ölçer; bu, çıktının kendi başına değerlendirilen bir özelliğidir ve bir Sağır okuyucunun metni anlayıp anlamadığının bir ölçüsü değildir. Ölçütleri doğrulamak için, ASL'ye akıcı iki değerlendirici, otuz iki hikayeyi, yüz elli iki cümleyi beş puanlık bir ölçekte derecelendirdi. Uzamsal tutarlılık, yargılarıyla orta düzeyde ilişkiliydi. Kavram-gloss tutarlılığı ilişkiliydi. Soru-Cevap Yan Tümceleri için uygunluk ölçütü anlamlılığa ulaşmadı ve makale bunu, değerlendiricilerin böyle bir yan tümcenin ne sayıldığı konusunda anlaşamamasına bağlıyor; aralarındaki ağırlıklı uyum orta düzeyde olarak tanımlanıyor.
Yeni bir ölçütü doğrulayan bir araştırma katkısı için, iki uzman değerlendirici makul bir tasarımdır ve olumsuz sonuç konusundaki dürüstlük takdire şayandır. Kurumsal dağıtım için bir temel olarak hiçbir şekilde yeterli değildir ve makale de aksini iddia etmiyor. Bu çalışma tedarik alanına taşınırsa üç ayrım önemlidir. Birincisi, bir otomatik ölçütü aynı özelliğin uzman derecelendirmeleriyle ilişkilendirmek, Sağır okuyucuların belgeyi anlayıp anlamadığını ölçmekle aynı şey değildir; bunu henüz söylem düzeyinde kimse yapmamıştır. İkincisi, "ASL'ye akıcı" Sağır'ın eş anlamlısı değildir ve makale değerlendiricilerin sağırlığını, sertifikasyonunu veya geçmişini bildirmiyor. Üçüncüsü, nitelikli değerlendiriciler bir dilbilgisel yapının var olup olmadığı konusunda bile anlaşamadığında, kullanımının uygun olduğunu iddia eden otomatik bir puan, hangi sayıyı üretirse üretsin henüz bir güvence aracı değildir.
Gloss hâlâ dil değildir
Bunu, işaret dili yapay zekasının cümle cümle çevirinin ötesine geçtiği şeklinde çerçeveleyen haberler, inşa edilenin ötesine uzanıyor. DiscoSign, el işaretlerinin yerini tutan yazılı bir etiket dizisi olan gloss üretir ve yazarlar el dışı işaretleyicilerin dahil edilmediğini açıkça belirtir. ASL'de, makalenin korumaya çalıştığı söylem yapısının büyük bir kısmı tam olarak bu kanallarda yaşar. Konu işaretleme, çerçevenin modellediği aynı yapıların soru ve cevap yarıları arasındaki sınır, kimin bakış açısının ifade edildiğini belirten rol değişimleri, bir göndergeyi uzaydaki bir konuma bağlayan göz bakışı: bunlar yüz, baş ve vücut tarafından taşınır. Bir gloss dizesi bir göndergenin indeks-j olduğunu kaydedebilir; göndermeyi yerine oturtan bakışı kaydedemez.
Yazarlar bunu görüyor ve bu konuda yararlı bir şey söylüyorlar: kayıtlarının tuttuğu durum, aşağı akıştaki bir görsel sistemin el dışı işaretleyiciler üretmek için ihtiyaç duyacağı bilgiye yakındır ve bu ek açıklamaları kayıttan türetmek doğal bir sonraki adımdır. Bu, tamamlanmamış bir çalışmanın ayık bir tanımıdır. Tutarlı işaretlenmiş söylem üreten bir sistemle aynı şey değildir ve ikisi arasındaki mesafe, bir basın özetini okuyan bir tedarik görevlisinin yanıltılacağı yerdir. Bir satıcının işlem hattının söyleme duyarlı olduğu söylenen bir alıcı, bunun hangi aşamayı tanımladığını ve gloss'un aşağı akışında herhangi bir şeyin bunu koruyup korumadığını sorma hakkına sahiptir.
Adı verilmeyen veri kümesi
Makale üç veri kaynağı listeliyor: ASL STEM Wiki, Project Gutenberg'den Aesop'un Masalları ve kendi ifadesiyle "lisanslı bir veri kümesi." İlk ikisi tanımlanmış ve doğrulanabilir durumda. Üçüncüsü adlandırılmamış. Bu olağan bir uygulamadır ve büyük olasılıkla uygunsuz bir şeyden çok ticari bir lisansı yansıtmaktadır, ancak işaretlenmiş dil çalışmalarında bir derlemin kökeni insanlarla ilgili bir soru olduğundan, bunu göz ardı etmek yerine sürekli bir soru olarak kaydetmeye değer. İşaretlenmiş veri, yüzleri ve vücutları veri olan işaretleyicilerden kaydedilir. Bu işaretleyicilerin makine çevirisi araştırması için onam verip vermediği, tazminat alıp almadığı ve lisansın aşağı akışta neye izin verdiği, kaynak adlandırılmadığında cevaplanamaz. Giderek derlemlerinin kalitesine ve kökenine dayanan bir alan, bu soruları sonunda düzenleyicilerden ve Sağır kuruluşlarından alacaktır ve kaynağı adlandırmak buna hazır olmanın en ucuz yoludur.
Sistem hatırladığında değerlendirme için değişen şey
Söyleme duyarlı sistemler norm haline gelirse ve gidişat bunu gösteriyorsa, onları değerlendiren herkesin artık sistemin çalıştığı düzeyde çalışan araçlara ihtiyacı vardır. Bu makalenin gösterdiklerinden altı gereksinim çıkıyor. Birincisi uzunluk altında kalıcılık: üç cümle boyunca ölçülen tutarlılık, bir sistemin bir düzyazı sayfası boyunca düzinelerce göndergeyi tutması hakkında hiçbir şey söylemez, bu yüzden testler bir ortalama bildirmek yerine belge uzunluğunu ve gönderge yoğunluğunu belirtmelidir. İkincisi yayılma: bir değerlendirme, tek bir erken hatanın ne kadar uzağa gittiğini, bir kesirli puan olarak bir belge boyunca sulandırılmadan, etkilenen aşağı akış cümleleri olarak bildirmelidir. Üçüncüsü ortalama ile birlikte en kötü durum, çünkü bir kurumun maruziyeti ortalama metin değil, başarısız olan metin tarafından belirlenir.
Dördüncüsü kurtarma: durum tutan bir sistem, sonraki metin önceki bir çıkarımla çeliştiğinde bir atamayı revize edip edemediği ve bir belge meşru bir şekilde bir göndergeyi yeniden atadığında ne olduğu konusunda test edilmelidir. Beşincisi doğru düzeyde insan düzeltmesi, çünkü cümle cümle kontrol eden bir incelemeci, hatası bütünün bir özelliği olan bir metni onaylayacaktır; bu da cümle düzeyindeki çıktı için yazılmış inceleme prosedürlerinin aktarılamayacağı anlamına gelir. Altıncısı Sağır okuyucuların anlayışı, insan işaretli bir karşılaştırmaya karşı bütün belgeler üzerinde ölçülen; bu, ölçülen herhangi bir iç tutarlılığın gerçekten amaçlanan kişiye ulaştığına dair tek kanıt olmaya devam ediyor. NCG'nin, bu makalenin çelişmediği konumu, iç ölçütlerin güvence için bir girdi olduğu ve asla doğrulanmış çıktının yerini tutmadığı; gereken kanıtın, çıktının kullanıldığı ortamın riskleriyle birlikte arttığıdır.
Bu analizin sınırları
Bu okuma, yayınlandığı haliyle arXiv versiyonuna ve bağımsız olarak doğrulanmamış olan, Apple'ın araştırma sitesinde görünmesine ilişkin kamuya açık haberlere dayanmaktadır. DiscoSign bir araştırmadır, bir ürün değildir: burada hiçbir şey dağıtılmış bir sistemi tanımlamıyor, hiçbir satıcı bununla ilgili iddialarda bulunmuyor ve hiçbir NCG aracı buna uygulanmadı. Yukarıdaki eleştiriler, bu sınırlamaların çoğunu kendileri belirten ve söylem başarısızlığını ölçülebilir kılan ölçütleri yayınlayarak alana hizmet eden yazarlara yönelik eleştiriler değildir. Tartışma, gerçek bir araştırma ilerlemesi sınırlamalar bölümünü okumamış kişiler tarafından bir yetenek iddiasına sıkıştırıldığında ne olacağıyla ilgilidir.
Bu makalenin yararlı yanı, gizli bir sorunu görünür kılmasıdır. Cümle düzeyindeki sistemler zaten söylem konusunda başarısız oluyordu; bunu görebilecek bir araç yoktu, hepsi bu. Şimdi bunun bir başlangıcı var ve bir sonuç kadar bir uyarı olarak okunması gereken bir bulguyla geliyor. Bir sistemi tutarlı kılmak onu doğru kılmaz. Onu baştan sona doğru ya da yanlış kılar ve çıktının bir kelimesi bile okunmadan önce, hangisinin olacağına karar verir.
Kaynaklar
1. Vasileios Baltatzis, Mert Inan, Connor Gillis, Raja Kushalnagar, Lorna Quandt, Leah Findlater ve Colin Lea, "DiscoSign: Discourse-Aware Text to Sign Language Gloss Translation," arXiv:2609.02796, 2 Eylül 2026, EMNLP 2026 Ana Konferansına kabul edildi. https://arxiv.org/abs/2609.02796
2. DiscoSign, tam metin (HTML). https://arxiv.org/html/2609.02796
3. AI Global Wire, makalenin Apple Machine Learning Research'te görünmesine ilişkin rapor, 11 Eylül 2026. https://aiglobalwire.com/article/discosign-discourse-aware-text-to-sign-language-gloss-translation-dbf89917-bb51-4793-be6d-29ed6727d3e0