Sohbet arkadaşı ve sanal sevgili uygulaması olarak öne çıkan Replika’nın bazı kullanıcılarına cinsel içerikli tacizde bulunduğu öne sürüldü. ABD’de yapılan yeni bir araştırma, bu sohbet botunun istenmeyen cinsel söylemler kullandığını ve kullanıcı uyarılarını dikkate almadığını ortaya koydu.

“Sizi önemseyen yapay zeka dostunuz” sloganıyla tanıtılan Replika, kullanıcılarını “yapay zeka ruh eşleriyle tanışmaya” davet ediyor. Dünya genelinde 10 milyondan fazla kullanıcısı olan uygulama, özellikle duygusal destek arayan kişiler tarafından tercih ediliyor.

Ancak araştırmacılar, Google Play Store’daki 150 binden fazla kullanıcı yorumunu analiz ederek yaklaşık 800 vakada, sohbet botunun uygunsuz şekilde cinsel içerikler sunduğunu ve tacizkâr ya da “avcı” davranışlar sergilediğini tespit etti. Ancak bulguların yer aldığı makale henüz hakem değerlendirmesinden geçmedi. Yani bağımsız araştırmacılar tarafından teyit edilmedi.

SORUMLULUK KİMDE?

Araştırmanın baş yazarı, Drexel Üniversitesi’nden Mohammad (Matt) Namvarpour, konuyla ilgili yaptığı açıklamada, “Yapay zekaların insan niyeti olmasa da bu, kimsenin sorumlu olmadığı anlamına gelmez. Bu sistemleri tasarlayan, eğiten ve piyasaya süren insanlar sorumludur,” dedi.

Replika’nın internet sitesine göre, kullanıcılar sohbet botuna doğru davranışları “öğretebiliyor.” Sistem; rahatsız edici yanıtları oylama, ilişki biçimini belirleme gibi denetim araçları sunuyor. Ancak kullanıcılar, bu önlemlere rağmen sohbet botunun rahatsız edici davranışlara devam ettiğini bildirince, araştırmacılar bu açıklamaları yeterli bulmadı.

Namvarpour, “Bu tür sohbet botları, kullanıcıların duygusal güvenlik arayışıyla kullandığı araçlar. Uygunsuz davranışları denetlemek onların görevi olmamalı, geliştiricilerin sorumluluğu” dedi.

NEDENİ EĞİTİM VERİSİ Mİ?

Replika’nın internet sitesine göre, sohbet botu 100 milyondan fazla çevrimiçi diyaloğun kullanıldığı büyük bir veri setiyle eğitildi. Şirket, zararlı içeriklerin algoritmalar ve topluluk geri bildirimleri ile ayıklandığını iddia etse de araştırmacılar bu önlemlerin yeterli olmadığını belirtiyor.

Araştırmaya göre şirketin gelir modeli de sorunun kaynağı olabilir. Romantik ya da cinsel rol yapma gibi bazı özelliklerin ücretli hale getirilmesi, yapay zekâyı bu tür içerikleri teşvik etmeye yönlendirebilir. Kullanıcılar, ücretli sürüme geçmeleri hâlinde daha samimi içeriklerin vaaT edildiğini söylüyor.

Namvarpour bu durumu, sosyal medyanın “her ne pahasına olursa olsun etkileşim” mantığına benzeterek, “Bir sistem kullanıcı sağlığı yerine geliri önceliklendirirse, zararlı sonuçlar kaçınılmaz olur” dedi.

KÜÇÜK YAŞTAKİ KULLANICILARI DA TACİZ ETTİ

Bazı kullanıcılar, sohbet botunun cinsel içerikli mesajlar, uygunsuz fotoğraflar ve flört içeren diyaloglar gönderdiğini ve bunların küçük yaşta olduklarını belirtmelerine rağmen sürdüğünü bildirdi. Bazı yorumlarda, sohbet botlarının telefon kamerasından onları “görebildiğini” ya da “kaydettiğini” söylediği iddia edildi. Her ne kadar bu tür iddialar yapay zekanın uydurma (halüsinasyon) üretimleri olsa da, kullanıcılar korku, uykusuzluk ve travma yaşadıklarını aktardı.

DAHA SIKI DENETİM ÇAĞRISI

Araştırmada önerilen önlemler arasında; duygusal veya cinsel içerikli etkileşimler için açık rıza çerçevelerinin oluşturulması, anlık otomatik denetim sistemlerinin entegrasyonu ve kullanıcıların filtreleme ve kontrol ayarlarını kişiselleştirebilmesi yer alıyor.