Yapay zeka yönetişimi şu anda, analiz edilmesi en önemli olan şey yerine, görselleştirilmesi en kolay olan şey üzerinden anlatılıyor ve pazarlanıyor.
Bu konuşmaya hâkim olan şey, göz önünde duran unsurlardır: politika panoları, katmanlı kontrol diyagramları, etiketlenmiş koruma mekanizmaları ve herhangi bir eylem gerçekleşmeden önce talebin titizlikle değerlendirildiğini ima eden adım adım yürütme akışları. Bu temsiller, geleneksel sistem denetimine benzedikleri için bir kontrol izlenimi yaratır. Ancak bu katmanların içinde değerlendirmeyi gerçekte hangi tür mekanizmanın yaptığı gibi çok daha önemli bir soruyu gölgede bırakırlar.
Günümüzdeki mimarilerin çoğunda, bir yapay zeka sistemi önerilen bir eylem üretir ve bu öneri, nihayetinde başka bir modelin eylemin devam edip etmeyeceğine karar vermesiyle sonuçlanan bir dizi kontrolden geçirilir. Bu değerlendirme katmanı, satıcıya veya çerçeveye bağlı olarak farklı şekillerde tanımlanabilir. Bir politika motoru, bir risk puanlama mekanizması veya kurallarla desteklenmiş bir güven sıralama sistemi olarak konumlandırılabilir. Terminolojideki bu farklılıklara rağmen, altta yatan yapı tutarlı kalır. Olasılıksal bir modele, başka bir olasılıksal model tarafından üretilen bir çıktının uygunluğunu değerlendirme görevi verilir.
Bu tasarım tercihi, risk ve güvenilirlik açısından incelendiğinde önemli sonuçlar doğurur. Olasılıksal sistemler, tanım gereği, özdeş koşullar altında dahi belirlenimci, tekrarlanabilir sonuçlar üretmez. Çıktıları, eğitim verilerinden türetilen istatistiksel örüntüler tarafından şekillendirilir ve değerlendirmeleri de sabit kriterler yerine benzer şekilde olasılıksal çıkarımdan etkilenir. Böyle bir sistem, aynı türden başka bir sistemi yönetmek için kullanıldığında, yönetim işlevi temelde farklı bir güvenilirlik biçimi getirmez. Bunun yerine, aynı belirsizlik profilini daha yüksek bir soyutlama katmanında yeniden üretir.
Yönetişim açısından bakıldığında, bu durum döngüsel bir yapı yaratır. Kontrolü uygulaması amaçlanan sistem, denetlediği sistemle aynı değişkenliğe, uç durum istikrarsızlığına ve bağlam duyarlılığına tabidir. Sonuç olarak, ek katmanların, kontrollerin veya sarmalayıcıların varlığı, mutlaka anlamlı bir risk azaltımına dönüşmez. Karmaşıklığı artırabilir ve özen gösterildiği izlenimini yaratabilir, ancak sistemin altında yatan davranışı belirgin bir kontrol sınırı oluşturacak şekilde değiştirmez.
Kontrol yerine özyineleme (rekürsiyon) getirir.
Bu ayrım, yönetişimin diğer yüksek riskli alanlarda nasıl işlediğiyle karşılaştırıldığında daha belirgin hale gelir. Örneğin finansal sistemlerde, işlem onay süreçleri, izlenebilen ve yeniden oluşturulabilen önceden tanımlanmış kurallara, denetim kayıtlarına ve insan eliyle yazılmış kriterlere dayanır. Güvenlik açısından kritik mühendislik bağlamlarında, kontrol sistemleri izledikleri sistemlerden farklı güvenilirlik özellikleriyle çalışacak şekilde tasarlanır. Yönetim mekanizması, belirsizlik veya arıza durumunda istikrarlı bir referans noktası sağlayabilmesi için hem işlev hem de davranış açısından bilinçli olarak ayrıştırılır.
Mevcut yapay zeka yönetişim örüntüleri çoğu zaman bu ayrışmayı sağlamaz. Bunun yerine, olasılıksal yargıyı olasılıksal üretimin üzerine katmanlar ve ortaya çıkan yapıyı bir kontrol sistemi olarak ele alır. Bu yaklaşım, aynı güvenilirlik sınıfı içinde daha fazla değerlendirme adımı eklemenin yönetişim sonuçları üreteceğini varsayar. Uygulamada ise kontrol yerine özyineleme getirir, çünkü her katman aynı türde akıl yürütme sürecine bağımlıdır ve aynı tür arızalara karşı savunmasızdır.
Bunun sonucu yalnızca teorik değildir. Bir sistem zarara yol açan bir sonuç ürettiğinde, ardından gelen soru, karara dahil olan birden çok katman olup olmadığı değildir. Soru, bu katmanlardan herhangi birinin gerçek bir kontrol olarak işlev görüp görmediğidir; yani, yönettiği sistemden farklı bir belirlenimcilik, izlenebilirlik ve hesap verebilirlik düzeyiyle çalışıp çalışmadığıdır. Her katman aynı olasılıksal temeli paylaşıyorsa, sistemde sorumluluğun dayandırılabileceği veya kararların güvenilir şekilde yeniden oluşturulabileceği net bir nokta bulunmaz.
Bu analizden çıkan tutum nettir. Yönetişim, bir sistemde bulunan kontrol sayısıyla ya da mimarisinin görsel karmaşıklığıyla tanımlanmaz. Yönetişim, yönetilen sistemden farklı bir güvenilirlik profiliyle çalışan bir mekanizmanın devreye sokulmasıyla tanımlanır. Bu ayrım olmadan, ek katmanlar bir kontrol oluşturmaz. Aynı belirsizliği daha fazla bileşene yayarlar.
Bir kontrol katmanı, düzenlemesi amaçlanan sistemle aynı şekilde davrandığında, mimari anlamlı bir yönetişim sağlamaz. Belirsizliğin belirsizliği değerlendirdiği özyinelemeli bir yapı ortaya çıkar ve eylem ile denetim arasındaki sınır çöker. Sistem yüzeyde ne kadar yapılandırılmış görünürse görünsün, gerçek risk tam da bu çöküşte yatar.