MIT tarafından yapılan bir araştırma, diğer uzmanların şüphelendiği bir durumu ortaya koydu: Yüz tanıma teknolojisi, sunulan veri setlerine göre önyargılı davranabiliyor.
MIT Media Lab'den araştırmacı Joy Buolamwini'nin oluşturduğu 1.270 yüzden oluşan veri seti, politikacıların yüzlerinden oluşuyordu. Buolamwini, Microsoft, IBM ve Çin'in Megvii'si tarafından geliştirilen üç yüz tanıma sistemini test etti. Testten algoritmaların cinsiyet tanımlama konusunda kişinin ten rengine bağlı olarak hata yapabildiği sonucu çıktı.
Cinsiyet tanımlama açık tenli erkeklerde yüzde 1'in altında, açık tenli kadınlarda yüzde 7'nin altında, koyu tenli erkeklerde yüzde 12'nin altında, koyu tenli kadınlarda ise yüzde 35'in altındaydı.
Buolamwini, bulgularıyla ilgili yazısında erkek deneklerin kadınlara göre daha isabetli tanımlandığını, açık tenli deneklerin koyu tenli deneklere göre daha isabetli tanımlandığını yazdı. Yazıda en kötü isabet oranının koyu tenli kadınlarda elde edildiği belirtildi.
Yüz tanıma teknolojilerinin çok yüksek bir isabete sahip olmadığı, daha önce de ispatlanmıştı. Google, 2015'te bir mühendisin bazı siyahi arkadaşlarını Google Fotoğraflar uygulamasında "goril" olarak tanımlamasıyla gündeme gelmişti. Firma, uygulama içindeki arama sonuçlarından "goril" sözcüğünü kaldırmakla yetinmişti.
Algoritmaların kasıtlı olarak "önyargılı" programlanmadığını belirtmekte fayda var. Araştırmalar, bu hataların ortadan kaldırılması için çok çalışılması gerektiğini gösteriyor.