SF Perintahkan Apple dan Google Hapus App AI Nudify

Kejaksaan Agung San Francisco, David Chiu, mengirimkan surat perintah penghentian kepada Apple dan Google. Dalam surat tersebut, Chiu menuntut kedua raksasa teknologi itu untuk menghapus 13 aplikasi nudifikasi dari toko aplikasi mereka. Aplikasi-aplikasi tersebut memanfaatkan kecerdasan buatan untuk mengubah foto biasa menjadi gambar eksplisit tanpa izin.

Menurut laporan Ars Technica, Chiu menyebut teknologi ini "mengerikan" dan telah menciptakan industri yang merusak reputasi, kesehatan mental, dan otonomi korban. Sebagian besar korban adalah perempuan dan anak-anak.

Cara Kerja Aplikasi Nudifikasi

Aplikasi nudifikasi menggunakan model AI untuk memanipulasi foto orang sungguhan. Dalam hitungan detik, tool ini bisa menghapus pakaian dari foto, mengubah fitur tubuh, menempatkan korban dalam pose seksual, atau menukar wajah korban ke tubuh orang lain yang telanjang.

Yang lebih memprihatinkan, salah satu aplikasi yang ditandai memiliki lebih dari satu juta unduhan dan mengiklankan fitur untuk membuat video eksplisit secara gratis tanpa sensor. Ketersediaan aplikasi semacam itu di toko resmi seperti App Store dan Google Play membuat teknologi berbahaya ini mudah diakses oleh siapa saja.

Surat Perintah untuk Apple dan Google

Chiu meminta Google menghapus lima aplikasi dan Apple menghapus delapan aplikasi. Meski nama-nama aplikasi tidak diungkapkan ke publik untuk mencegah penyebaran lebih lanjut, Wired yang meninjau surat-surat tersebut mengonfirmasi jumlah dan sifat aplikasi yang dimaksud.

"Menghasilkan gambar intim tanpa persetujuan adalah ilegal, berbahaya, dan sama sekali tidak bisa diterima," tegas Chiu. Kantornya memperkirakan Apple dan Google telah menghasilkan jutaan dolar dari biaya layanan yang berasal dari aplikasi-aplikasi tersebut.

Respons Google dan Tantangan Moderasi

Juru bicara Google, Dan Jackson, menyatakan kepada Ars Technica bahwa lima aplikasi yang ditandai telah ditangguhkan dari Google Play karena melanggar kebijakan konten berbahaya. Namun, pertanyaan besarnya adalah mengapa aplikasi semacam itu bisa lolos ke toko aplikasi terlebih dahulu.

Kasus ini menyoroti tantangan besar dalam moderasi konten AI di platform digital. Meski Apple dan Google memiliki kebijakan ketat terhadap konten seksual dan deepfake, developer aplikasi berbahaya terus menemukan celah untuk menyelinap masuk. Deteksi otomatis yang ada ternyata tidak cukup untuk mengidentifikasi aplikasi dengan fungsi manipulasi AI yang spesifik.

Dampak Hukum dan Sosial

Chiu menegaskan bahwa memperbolehkan aplikasi nudifikasi tetap ada di toko aplikasi merupakan pelanggaran terhadap hukum California yang melarang mendukung layanan pembuatan deepfake pornografi. Korban dari teknologi ini sering kali mengalami perundungan, pelecehan, dan ancaman. Beberapa korban bahkan melaporkan munculnya pikiran untuk bunuh diri akibat trauma yang diderita.

Pelajaran bagi Ekosistem Digital

Bagi developer dan pemilik platform di Indonesia, kasus ini menjadi peringatan keras. Teknologi AI yang sama bisa digunakan untuk tujuan kreatif atau destruktif, bergantung pada siapa yang mengendalikannya. Keamanan pengguna harus menjadi prioritas utama sejak tahap desain, bukan sekadar respons setelah insiden terjadi.

San Francisco menunjukkan bahwa regulator tidak akan tinggal diam melihat platform teknologi mengambil keuntungan dari konten yang merusak kehidupan orang. Tanggung jawab moral dan hukum kini semakin jelas: platform harus secara proaktif membasmi aplikasi berbahaya sebelum mereka mencapai jutaan pengguna.