21 Bug Ditemukan dalam 10 Minggu: AI Security Scanning Mengubah Lanskap Keamanan Open Source

Sebuah pengalaman nyata dari maintainer project open source menunjukkan bahwa AI security scanning sedang mengubah cara kita menemukan dan memperbaiki kerentanan. Dalam kurun waktu 10 minggu, tim Google yang menjalankan scanning berbasis AI menemukan 21 bug di Perfetto trace processor, sebuah library C++ open source untuk memproses trace data. Dari 21 bug tersebut, 17 di antaranya adalah masalah nyata yang sudah diperbaiki.

Perfetto adalah project yang berada di long tail keamanan: tidak sepenuhnya security-critical seperti kernel atau OpenSSL, tetapi tetap memproses input yang bisa berasal dari sumber tidak terpercaya seperti user bug reports atau automated collection dari dogfood users. Ini menjadikan project semacam ini target yang relevan namun sering diabaikan oleh security researcher manusia.

Kategori Bug yang Ditemukan AI

Dari 17 bug yang valid, mayoritas adalah masalah mekanis yang bisa diperbaiki dengan relatif mudah. Rinciannya: 10 bug bounds checking di mana data trace mengalir ke buffer dengan ukuran fixed atau array index tanpa pengecekan, 5 use-after-free yang melibatkan back-pointer atau hashmap keys yang outlive object yang mereka referensikan, 1 stack overflow dari recursion yang tidak terbatas, dan 1 masalah access control di codepath yang jarang digunakan.

Menariknya, 4 bug lainnya ditutup sebagai not actionable karena chance of exploit terlalu hipotetis atau memerlukan fundamental design changes yang tidak sebanding dengan risiko keamanan yang kecil. Kualitas laporan bug sangat tinggi: well-described, sering kali dengan attacker model yang sudah dianalisis, dan bahkan minimal fixes yang sudah dipropose.

Pola Bug Mencerminkan Evolusi AI Security Tools

Developer Perfetto mengamati bahwa setiap bagian codebase mendapatkan perhatian selama satu hingga dua hari sebelum scanner berpindah ke bagian lain. Repeats jarang terjadi, dan pace bug telah melambat dari beberapa bug per minggu di awal Mei menjadi 1-2 bug per minggu di akhir periode. Pola ini menunjukkan scanner sedang bekerja secara sistematis melalui codebase, dan ada finite number of files yang akan habis diperiksa.

Pengalaman ini konsisten dengan apa yang dilaporkan oleh Daniel Stenberg, maintainer curl, dan Greg Kroah-Hartman, maintainer Linux kernel. Stenberg menulis bahwa any project that has not scanned their source code with AI powered tooling will likely find huge number of flaws, bugs and possible vulnerabilities with this new generation of tools. Hal ini sangat relevan untuk project open source yang tidak memiliki tim keamanan dedikasi.

Dampak pada Workflow Maintainer

Menerima laporan bug dari AI scanner ternyata tidak semenakutkan yang dibayangkan. Karena Perfetto bukan aplikasi security-critical, bug bisa ditangani dengan normal schedule tanpa harus rush out CVE. Sebagian besar masalah mekanis bahkan bisa diperbaiki oleh coding agent dengan minimal guidance dalam waktu sekitar 10 menit.

Namun, tidak semua bug sederhana. Beberapa laporan menunjukkan ke design problems yang lebih dalam. Salah satu use-after-free misalnya, mengungkapkan lifetime issue yang maintainer sudah sadari sejak setahun lalu tapi belum pernah ada waktu untuk memperbaiki. Bug keamanan ini justru memberikan justification dan push untuk melakukan refactor yang sudah overdue.

Apa yang Perlu Dipersiapkan Developer

Developer open source Indonesia perlu mempersiapkan diri menghadapi gelombang AI security scanning ini. Beberapa langkah yang bisa diambil: pertama, pastikan project sudah menggunakan fuzzing secara rutin meskipun low-hanging fruit sudah habis. Kedua, sandboxes seperti gvisor, sandbox2, atau minijail harus direkomendasikan untuk pengguna yang memproses untrusted input. Ketiga, manfaatkan AI coding agents untuk memperbaiki mechanical bugs secara efisien.

Namun yang terpenting, jangan biarkan pace bug membuat Anda burnout. Maintainer Perfetto memperkirakan bug akan menuju nol karena scanner bekerja melalui accumulated code dari 9 tahun development. Seiring waktu, AI scanner akan kehabisan target, dan rate bug akan turun drastis. Yang perlu diwaspadai justru apakah model AI generasi berikutnya akan mulai menemukan design issues yang lebih kompleks, yang memerlukan waktu dan effort lebih besar untuk diperbaiki.

Sumber: lalitm.com dan Daniel Stenberg (curl)