Ancak, bu değişiklikler dikkatlice tasarlanmıştır ve yapay zeka modellerinin görüntüleri kategorize etme yeteneğini zayıflatır. Bir yapay zeka modeli bu tür görüntüler üzerinde eğitilirse, yetenekleri bozulmaya başlar. Örneğin, arabaları inekler, çizgi film sanatını ise izlenimci tablolar olarak öğrenebilir.
Önemli noktaları göster
Ars Technica'dan Ben Edwards şöyle yazıyor: "Bu şekilde, görüntü basit bir insan ya da otomatik kontrol için metinle uyumlu gibi görünüyormuş gibi davranıyor," ve ekliyor, "Ama modelin gizli gizli alanında, görüntü hem orijinal hem de zehirli konseptin özelliklerini barındırır, bu tür veriler üzerinde eğitildiğinde modeli saptırır."
Modeller büyük veri kümeleri üzerinde eğitildiğinden, toksik görüntüleri tanımlamak teknoloji şirketleri için karmaşık ve zaman alıcı bir görevdir ve sadece birkaç yanıltıcı örnek bile zarar verebilir. Araştırmacılar, köpek görüntülerini kedi olarak yanlış etiketleyen 50 zehirlenmiş görüntüyü Stable Diffusion'a eklediklerinde, model bozulmuş köpek görüntüleri üretmeye başladı. 100 örnekten sonra model, köpeklere nazaran kedilere daha yakın görüntüler üretti. 300 örnekle neredeyse hiç köpek benzeri özellik kalmamıştı.
Daha önce, ekip Glaze adlı benzer bir araç yayınlamıştı, bu araç sanatçının stilini analiz etmeye çalışan yapay zeka araçlarından gizler. Nightshade sonunda Glaze ile entegre edilecektir.
Son olarak, araştırmacılar Nightshade'in sanatçılara yapay zeka karşısında güç vereceğini umuyor, Chicago Üniversitesi'nden Nightshade ekibini yöneten bilgisayar bilimci Ben Zhao, Hyperallergic'ten Eileen Filly'ye şunları söyledi.
Zhao, şöyle diyor: "Bence şimdi, şirketlerin nasıl çalıştıklarını değiştirmeleri için çok az teşvik var - ki bu da 'güneşin altındaki her şey bizimdir, ve buna karşı yapabileceğiniz hiçbir şey yok' gibiydi," ve ekliyor, "Sanırım yaptığımız şey onları biraz daha ahlaki ön cepheye itmek ve bu gerçekten olur mu göreceğiz."
Nightshade, yeni modellere ilişkin sanatçıların çalışmalarını koruyabilse de, eski modellerden sanatı geriye dönük olarak koruyamaz. Zhang, Axios'tan Ryan Heath'e, "Yazılım, eğitim sırasında çalışır ve modeli kalıcı olarak dengesizleştirir," diyor. Devam ediyor, "Elbette, model eğitmenleri eski bir modele geri dönebilir, ama bu, onların yeni modeller oluşturmalarını zorlaştırır."
Zhao, MIT Technology Review'a, Nightshade teknolojisinin zararlı amaçlar için kötüye kullanılma potansiyeli olduğunu belirtti. Ancak, "Hedefli bir saldırı zor olacaktır, çünkü milyarlarca veri örneği üzerinde eğitilmiş büyük modellere zarar vermek için binlerce zehirlenmiş örnek gerektirir," diye ekliyor.
Charleston Koleji'nde modern ve çağdaş sanat araştırmacısı olarak çalışan ve aynı zamanda Rutgers Üniversitesi'ndeki Sanat ve AI Laboratuvarı'nda çalışan Marianne Mazon, Nightshade yazılımının, sanatçıları teknoloji şirketlerine karşı savunma mücadelesinde önemli bir adım olduğunu belirtti.
Mazon, Hyperallergic'e şunları söyledi: "Sanatçılar artık yapabilecekleri bir şey var, bu önemli; güçsüz hissetmek iyi değil." Aynı zamanda, Mazon, Nightshade yazılımının uzun vadeli bir çözüm olmayabileceğinden korkuyor ve yaratıcıların, yapay zeka ile yönlendirilen görüntü üretimine dair yasama önlemlerini takip etmeye devam etmeleri gerektiğine inanıyor, zira kurumsal mali kaynaklar ve hızlı yapay zeka teknolojik gelişimi, nihayetinde Nightshade gibi araçları etkisiz hale getirebilir.
Aynı zamanda, Nightshade'nin varlığı, sanatçılara, Autumn Beverly gibi bazı sanatçılar için moral artırıcı bir unsur. MIT Technology Review'a, eserlerinin izinsiz toplandığını ve çoğaltıldığını keşfettikten sonra sanat eserlerini internette paylaşmayı bıraktığını belirtti. Nightshade ve Glaze gibi araçlar, eserlerini çevrim içi paylaşma konusunda ona tekrar güven verdi. "Eserlerinde sanatçılara kendi güçlerini geri kazanmalarına yardımcı olabilecek bir şey olduğu için gerçekten minnettarım," diyor.