15. Daha İyi Bir Gelecek Tasarlamak için Güvenilir Yapay Zekâ - Öğrenci Sunumları, Tartışma ve Sonuç

10 Haziran 2022, Dersin Kıymetli Öğrencileri ve Dr. Merve Ayyüce KIZRAK anlatımı ve yazımıyla

Etik olmayan bir adam, bu dünyaya salıverilmiş vahşi bir canavardır. — Albert Camus

2022 Bahar döneminin son dersinde öğrencileri A ve B olmak üzere rastgele olarak iki gruba ayrıldı.

• Grup A’nın konusu: İngiltere’de yapay zekâ destekli not sistemi

• Grup B’nin konusu: Yapay zekâ destekli tutuklama kararları

Her iki konuya da daha önce derste değinilmişti. Bu iki konuyu 1 saat boyunca grup olarak araştırıp, aşağıdaki kontrol listesi üzerinden bu gerçek hayatta karşılaştığımız vakayı değerlendirdiler.

Kontrol Listesi: Güvenilir Yapay Zekânın Gereksinimleri

• İnsan failliği ve gözetimi: Temel haklar, insan failliği ve insan gözetimi dahil

• Teknik sağlamlık ve güvenlik: Saldırıya ve güvenliğe karşı dayanıklılık, geri dönüş planı ve genel güvenlik, doğruluk, güvenilirlik ve tekrarlanabilirlik dahil

• Gizlilik ve veri yönetişimi: Verilerin gizliliğine, kalitesine ve bütünlüğüne saygı ve verilere erişim dahil

• Şeffaflık: İzlenebilirlik, açıklanabilirlik ve iletişim dahil

• Açıklanabilirlik: bir modelin iç mekaniği bilgisine atıfta bulunur: modeldeki bir “düğüm” neyi temsil eder ve bunun sonuçlarla özel ilgisi (örneğin, “yaş” değişkeni sonucun %15'ini belirler).

• Çeşitlilik, ayrımcılık yapmama ve adalet: Haksız önyargılardan kaçınma, erişilebilirlik ve evrensel tasarım ve paydaş katılımı dahil

• Toplumsal ve çevresel refah: Sürdürülebilirlik ve çevre dostu olma, sosyal etki, toplum ve demokrasi dahil

• Hesap Verebilirlik: Denetlenebilirlik, en aza indirgeme ve olumsuz etkinin, değiş tokuşların ve telafinin raporlanması dahil.

Grup A: Birleşik Krallık’ta yapay zekâ destekli not sistemi

Vaka: İngiltere hükümetinin Ofqual tarafından geliştirilen A-LEVEL derecelendirmeli YZ, pandeminin başlangıcında kullanıldı.

Haber Kaynağı: The Guardian

Kontrol Listesine Göre Etik Değerlendirme

Öğrencilerin önyargısız bir eğitim alma ve geleceklerini şekillendirme hakkı vardır. İngiltere hükümeti, derecelendirme sistemiyle bunu görmezden geldi.

Arizona Eyalet Üniversitesi’nde doçent ve “What Algorithms Want” kitabının yazarı Ed Finn, gelecekte bu tür felaketlerden kaçınmak için yetkililerin “bu tür modeller ve algoritmalar oluşturma sürecinde daha kapsayıcı ve çeşitli olması” gerektiğini söylüyor.

What Algorithms WantThe MIT Press

• Sağlam bir YZ, normal kullanım veya yanlış kullanım koşullarında makul olmayan güvenlik riskleri oluşturmamalıdır. Tüm yaşam döngüsü boyunca uygun ve güvenli bir şekilde çalışıyor olmalıdır.

Bunu yapmak için mühendislerin izlenebilirliği, süreçleri ve alınan kararları takip etmeleri çok önemlidir.

Daha az avantajlı okullardan gelen öğrencilerin çoğunun puanları düşerken, daha zengin okullardan gelen öğrencilerin puanlarının artması daha olasıydı. Oxford Üniversitesi Eğitim Departmanı müdürü Profesör Jo-Anne Baird şunları söyledi:

“Matematiksel modeller, özellikle insan öğrenimi alanında asla mükemmel bir şekilde tahminde bulunmaz. Ancak Dışişleri Bakanı’nın Ofqual’a görevi, geçmiştekilerle geniş ölçüde karşılaştırılabilir sonuçlar getiren bir sistem üretmekti. Dolayısıyla notları karşılaştırmak için sadece öğretmenleri kullanmak mümkün değildi. Bu, parametreler kümesi içinde en iyi sonucu veren bir model üretmek için bazı istatistiksel denetimlerin gerekli olduğu anlamına geliyordu”. *

Buradan, sistemin dağılmaya başladığı sonucuna varabiliriz.

• Her vatandaşın kendi kişisel bilgilerini yönetme ve bu konuda karar verme hakkı mahremiyet olarak bilinir.

Ancak, bu YZ’nin veri toplaması şüphelidir. Burada eksik olan şey şeffaflık ve algoritmanın niyetlerinin analiziydi ve bunu yapmak için bolca zaman vardı.

“Uygun risk ve etki azaltmayı göstermek açısından yapılabilecek daha çok şey var.”

Sonunda, şeffaflığın olmamasına ilişkin endişeler, topluma fayda sağlayabilecek algoritmik sistemlere olan inancı azaltabilir. Bunun anlamı, olaylar meydana gelene veya söylentiler su yüzüne çıkana kadar kamuoyunda herhangi bir tartışma veya olaylar hakkında farkındalık olmamasıdır.

Araştırma yoluyla, geçmişte büyük sorunlara neden olan algoritmaların çoğunun açıklanabilirliğinin hiçbirine yakın olmadığı sonucuna vardık. Ancak daha yeni algoritmalarla daha fazla açıklanabilirlik görüyoruz.

Stanford AI Lab tarafından geliştirilen ve oyun tasarımlarını derecelendiren bir program gibi çalıştığı söylendi. Oyun tasarım programı, önce eğitmenin oyununu oynayarak öğrenir, ardından öğrencilerin çalışmalarına geçer ve onu da oynar. Ama bu öğrenci değerlendirmenin nasıl derecelendirildiğini açıklamadılar.

YZ uzmanlarınızın sisteminizi oluşturma şekli, algoritmalarınızın tüm kültürlerden, cinsiyetlerden, cinselliklerden, ırklardan vb. insanlarla nasıl etkileşime girdiğini belirleyecektir. YZ’yi notlandırma için kullanmak zor, çünkü kullandıkları son 3 yılın verileriyle eğitilen algoritma zaten ayırt edici olabilir, ancak YZ’nin her öğrenciye mesafesi vardır. Özellikle not verme durumu oldukça hassas bir konudur, önyargı nedeniyle YZ tarafından yapılan bir hata öğrencinin geleceğini mahvetmeye kadar gidebilir, bu nedenle uzman bir çeşitlilik ekibine çok ihtiyaç duyulur ve gereklidir.

Ayrıca, belirli bir okulda belirli bir konuda 15'ten az öğrenci varsa, algoritma CAG’lere daha fazla ağırlık verir. Sonuç olarak, küçük okullardaki öğrencilerin, büyük okullardaki öğrencilere göre not enflasyonundan kâr etme olasılıkları daha yüksekti. Bir araştırmaya göre, “bağımsız (ücret ödeyen) okullara verilen A* ve A notları oranı yüzde 4,7 arttı — bu oran devlet okulların oranının iki katından fazladır.”

YZ notlandırma sistemi ve önyargısı büyük bir toplumsal tepki yarattı, öğrenciler beklediklerinden orantısal olarak daha düşük notlar aldıklarını görünce şok oldular. Dışarıda toplanırken hayal kırıklıklarını yüzlerce protesto şeklinde sergilemeye devam ettiler. Eğitim Bakanlığı binasının önünde slogan attılar ve sistem ve algoritmasıyla ilgili hayal kırıklıklarını dile getirdiler.

Belgeleri sisteme giren çocukların velileri de durumdan rahatsız olduklarını, kendilerine önceden haber verilmediğini, test sonuçlarının sıkı bir şekilde gizli tutulduğunu ifade ettiler. Bazı sınıflarda, öğrencilere çalışmalarının bir insan yerine YZ tarafından değerlendirildiği bilgisi bile verilmedi.

Ada Lovelace Enstitüsü’nde YZ ve teknolojinin toplum üzerindeki etkisi araştırmacısı Jenny Brennan’a göre,

“Temel olarak kötü siyasi kararlar ve verilerin basit yanlış anlaşılması söz konusudur. Oysa yeterli ve inceleme ve düzenlemeden sorumlu olunmalıydı. Algoritma kendi içinde mutlaka yanlış değildi, ancak özellikle büyük ölçeği ve nüfus üzerindeki muazzam etkisi ile bu tür bir problem için kullanmak yanlıştı.”

Adalet, sorumluluk, işitilebilirlik, izlenebilirlik

• Her yaz binlerce öğrenci, geleceklerini etkileyen bir sınav olan A-level’e girer.

• Bu sınava girip kendi geleceklerini belirlemek yerine, onlar için bunu yapacak bir algoritma kullanıldı.

• Eğer düzgün çalışırsa, AI sistemi sonuçları tahmin etmenin adil bir yolunu sağlayabilir. (sınav günü koşulları ve öğrencilerin geleceklerinin sadece birkaç saate bağlı olması) Ancak algoritma, puanları öğrencilerin beklediğinden çok daha düşük “tahmin etti”.

• Algoritma yanlıydı.

• Öğrencilerin sosyoekonomik durumları açıkça algoritma için bir kriterdi. (Daha az avantajlı okullardaki öğrencilerin puanları düşürülürken, daha zengin okullardaki öğrencilerin puanlarının yükseltilmesi daha olasıydı.)

• Bu tür bir algoritma daha kapsayıcı ve çeşitli olmalıdır.

Grup B: Yapay zekâ destekli tutuklama kararları

Vaka: ABD’deki mahkeme salonları, sanıkları yasal sistem aracılığıyla mümkün olduğunca verimli ve güvenli bir şekilde karıştırmaya yönelik girişimlerde otomatik araçlara yöneldi.

Argüman: YZ, haksız yere insanları hapse gönderiyor.

1. Örnek: George Floyd’un Öldürülmesi

2. Örnek: YZ Destekli Yanlış Tutuklamalar 3 Adamın Hayatını Nasıl Raydan Çıkardı?

3. Örnek: YZ-Destekli teknoloji, Yetersiz Kanıt ile Adamı Nasıl Hapse Attı

Williams, yüz tanıma yazılımı tarafından yanlışlıkla kimliği belirlendikten sonra Detroit’teki bir Shinola mağazasından beş saat çaldığı iddiasıyla Ocak 2020'de tutuklandı. Polis için giderek daha yaygın bir araç olan yazılım nedeniyle haksız yere suçlandığı bilinen ilk kişilerden biriydi. Michael Oliver ve Nijeer Parks, yüz tanıma teknolojisi tarafından da yanlış tanımlandıktan sonra 2019'da yanlışlıkla tutuklandı.

Photo by Matthew Henry on Unsplash

Kontrol Listesine Göre Etik Değerlendirme

Otoriter hükümetlerde suçla mücadele adına YZ gözetiminden yararlanan etik kaygılar da ortaya çıkıyor. Böyle bir ülke Çin’dir; “Yeni Nesil Yapay Zekâ Geliştirme Planı” (AIDP) aracılığıyla ülke, Çin’i YZ’de dünya lideri yapmak için kapsayıcı bir hedef belirledi. Anderson, Çin’in her şeyi gören dijital bir sosyal kontrol sistemi oluşturmak için yapay zekâyı kullanmak istediğine inanıyor ve bu da Çin’i gözetimin en ileri noktasına taşıyacak. YZ destekli gözetim tarafından desteklenen her şeyi bilen bir sistem olasılığı, hükümetlere sivil özgürlükler pahasına mutlak kontrol sağladığı için etik kaygılar sunuyor.

Afrikan-Amerikalılar, uyuşturucuyla ilgili suçlamalardan beyaz Amerikalıların dört katı oranında tutuklandı. Mühendisler bu verileri sadık bir şekilde toplayıp onunla bir makine öğrenimi modelini eğitseler bile, YZ yine de modelin bir parçası olarak gömülü önyargıyı alacaktır.

Crawford ve Schultz,

“Birçok eyalet hükümeti, meydan okunduğunda, üçüncü taraflardan temin ettikleri YZ sistemleri tarafından oluşturulan sorunları anlama, açıklama veya çözme konusundaki herhangi bir bilgi veya yeteneği reddetti.” Genel kanı, “anlamadığımız bir şeyden sorumlu olamayız” olmuştur.

Yüz tanıma ürünlerini eyalet ve yerel kolluk kuvvetlerine pazarlayan birçok özel şirket var.

Bir diğer şirket olan ODIN Intelligence, evsizlik yaşayan bireylerin bir veri tabanını tutmak, onları tanımlamak için yüz tanıma özelliğini kullanmak ve yaş, tutuklama geçmişi, geçici konut geçmişi ve bilinen ortaklar gibi hassas kişisel bilgileri aramak için polis departmanları ve yerel hükümet kurumlarıyla ortaklık yapıyor.

2020'de federal kolluk kuvvetleri, analitik şirketlerden bir emir veya bağlayıcı bir mahkeme emri olmadan coğrafi konum verilerini satın aldı. ICE ve CBP bu verileri olası sınır dışı etme veya tutuklamaları sağlamak için kullandı. Bu, coğrafi konumun göçmen toplulukları için, özellikle de farklı renklerdeki nüfuslar arasında nasıl tekil sonuçlar doğurabileceğini gösteriyor.

• YZ sistemleri, operasyonlarında potansiyel zararı en aza indirecek, doğruluğu optimize edecek ve güvenilirliklerine olan güveni artıracak şekilde güvenli ve esnek olmalıdır.

Yüz tanıma sistemleri, polis güçleri tarafından yirmi yılı aşkın bir süredir kullanılmaktadır. MIT’nin son çalışmaları ve NIST, teknolojinin beyaz erkekler üzerinde nispeten iyi çalışmasına rağmen, kısmen temel veritabanlarını geliştirmek için kullanılan görüntülerde çeşitlilik eksikliği nedeniyle, sonuçların diğer demografiler için daha az doğru olduğunu buldu.

Study finds gender and skin-type bias in commercial artificial-intelligence systemsMIT News | Massachusetts Institute of Technology

• Bu durumda, bir daha olmasını önlemek için halkı veya hükümeti sorumlu tutmamız gerekiyor.

• İnsanlardan hesap sorulursa daha fazla farkındalık oluşacak, insanlar bu konuda daha anlayışlı olacak ve sürece güvenebilecektir.

• Sürdürülebilirlik ve çevre dostu olma, sosyal etki, toplum ve demokrasi dahil edilmelidir.

• Yanlış bir şekilde mahkum edilmek, toplum ve genel olarak çevre üzerinde olumsuz bir etkiye sahip olabilir.

Sonuç: Bu nedenlerle, YZ henüz adalet sisteminde yer almaya hazır değil, çok fazla düzenleme yapılması gerekiyor. Çünkü özgürlük henüz anlamadığımız bir şeyin eline verebileceğimiz bir olgu değildir.

Global Data Governance Mapping

Özet

YZ Sistemlerinin Sınıflandırılması için OECD Çerçevesi önemli örneklerden biridir.

YZ sistemlerini ve uygulamalarını şu boyutlarda karakterize eder:

• İnsanlar ve Gezegen, Ekonomik Bağlam, Veri ve Girdi, YZ Modeli ve Görev ve Çıktı.

• Her boyutun, belirli YZ sistemlerinin politika değerlendirmelerini değerlendirmekle ilgili kendi özellikleri ve nitelikleri veya alt boyutları vardır.

YZ sistem yaşam döngüsünün aşamaları, YZ Sistemlerinin Sınıflandırılması için OECD Çerçevesinin boyutları ile ilişkilendirilebilir.

• Bu haritalama, hesap verebilirlik ve risk yönetimi etkileri olan her boyuttaki bazı kilit AI aktörlerini belirlemek için kullanışlıdır.

YZ sisteminin yaşam döngüsünü bir YZ sisteminin temel boyutlarıyla eşleştirme-Kaynak: OECD, 2022a.

Not: Görselleştirmeye dahil edilen aktörler açıklayıcıdır, ayrıntılı değildir ve YZ sistem yaşam döngüsüne ilişkin önceki OECD çalışmalarına dayanmaktadır.

OECD Framework for the Classification of AI systems | en | OECD

Kaynaklar:

Grup A

1. GCSE and A-level students to receive centre assessment grades
2. F**k the algorithm”?: What the world can learn from the UK’s A-level grading fiasco
3. A-level results: almost 40% of teacher assessments in England downgraded
4. We put a stop to the A Level grading algorithm!
5. Lessons in ‘Ethics by Design’ from Britain’s A Level algorithm
6. Differences between CAGs and final grades by socio-economic group
7. The lessons we all must learn from the A-levels algorithm debacle
8. How an AI grading system ignited a national controversy in the U.K.
9. UK A-level algorithm fiasco a global example of what not to do — what went wrong and why
10. Robustness, security and safety (Principle 1.4)
11. Stanford AI Lab builds an algorithm to help teachers grade coding homework

Grup B

1. Police surveillance and facial recognition: Why data privacy is imperative for communities of color
2. How Wrongful Arrests Based on AI Derailed 3 Men’s Lives
3. Trading off accuracy and explainability in AI decision-making: findings from 2 citizens’ juries