OpenAI’ın Suni Görüş Sistemi Rahat Bir Yöntemle Kandırıldı

San Francisco merkezli suni zekâ araştırma şirketi OpenAI’dan araştırmacılar, firmanın son teknoloji suni görme sisteminin kalem ve kâğıt şeklinde çok da fazla karmaşık olmayan araçlar vesilesiyle kandırılabileceğini keşfetti. Kontrol için bir nesnenin üstüne başka bir nesnenin adını yazan araştırmacılar, yazılımı kandırarak gördüklerini yanlış tanımlamasını sağlamış oldu.

Paylaşılan blog gönderisinde “Bu saldırılara tipografik saldırılar diyoruz” diyen araştırmacılar, mevzu hakkında “Modelin metni kuvvetli bir halde okuma kabiliyetinden yararlanarak, elle yazılmış metin fotoğraflarının bile bir çok süre modeli yanıltabileceğini gördük” ifadelerini kullandı. Bu tür saldırıların, suni görme sistemlerini kandırabilecek sadece üretilmesi oldukca daha kolay olan “adversarial” görüntülere benzediğini belirtiyorlar.

Sistemi eğitmek için 400 milyondan fazla veri kullanıldı:

Modelleri şaşırtmak ve aldatmak için kasıtlı olarak bozulmuş piksellere haiz “adversial” görüntüler, makine görmesine dayanan sistemler için gerçek bir çekince oluşturuyor. Bir örnek vermek gerekirse araştırmacılar, Tesla’nın sürücüsüz araçlarındaki yazılımının, yola belirli etiketler yapıştırarak uyarı vermeden şerit değiştirebilmek için kandırılabileceğini göstermişti. Dolayısıyla bu tür saldırılar, tıptan orduya kadar çeşitli AI uygulamaları için ciddi bir tehdit oluşturuyor.

Gene de araştırmacılar, ortaya çıkan bu tehlikenin en azından şimdilik endişelenecek bir şey olmadığını söylüyor. Zira söz mevzusu OpenAI yazılımı, herhangi bir ticari üründe kullanılmayan CLIP adlı deneysel bir sistem. OpenAI’ın geçtiğimiz aylarda tanıttığı genel amaçlı bir görme sistemi olan CLIP, eğitilmek için internetten alınan ortalama 400 milyon tane görüntü ve metin kullanmıştı.

Laboratuvar tarafınca paylaşılan bir başka örnek de CLIP’deki kumbaraları tanımlayan nöron oldu. Bu bileşen yalnızca kumbara resimlerine değil, hem de dolar ‘$’ işaretleri cevap verir. Yukarıdaki örnekte olduğu şeklinde araştırmacılar, bir motorlu testereye ‘$’ işaretleri ilave ederek suni zekanın onu elektrikli testere yerine kumbara olarak tanımlamasını sağlamış oldu.

OpenAI araştırmacıları ek olarak, CLIP’in çoklu biçimli nöronlarının, internette bir arama yaparken karşınıza çıkabilecek ön yargılara ve çağrışımlara haiz bulunduğunu keşfetti. Bunlardan bazıları ‘terörizm’ çağrışımına haiz ‘Ortadoğu’ nöronu ve hem koyu tende insanlara hem de gorillere karşılık gelen bir başka nörondu.