Amazon Boros $1,8 Juta karena Claude AI: Pelajaran Soal Pengawasan Biaya

Laporan internal yang bocor ke publik baru-baru ini mengungkapkan bahwa Amazon secara tidak sengaja menghabiskan 1,8 juta dolar AS untuk satu tugas coding sepele menggunakan Claude, asisten AI besutan Anthropic. Kejadian ini, yang dilaporkan oleh Tom's Hardware, menunjukkan besarnya 860% dari anggaran yang telah dialokasikan untuk tugas tersebut. Angka tersebut bukan hanya sekadar kesalahan perhitungan, melainkan refleksi dari kurangnya pengawasan dan pemahaman biaya dalam penerapan AI di perusahaan besar.

Bukan kali pertama masalah terkait AI muncul dalam workflow Amazon. Awal tahun ini, AWS melaporkan beberapa insiden downtime yang disebabkan oleh kesalahan bot coding AI. Amazon kemudian membatasi akses agen AI daripada memberikan permission setara dengan engineer senior. Perusahaan juga pernah memiliki leaderboard internal yang menampilkan karyawan dengan penggunaan AI tertinggi, namun menghapusnya setelah biaya AI yang melonjak membuat manajemen berpikir ulang.

Tokenmaxxing dan Realitas Biaya AI

Fenomena yang sedang berkembang di kalangan perusahaan teknologi adalah tokenmaxxing, yaitu dorongan agresif kepada karyawan untuk menggunakan AI sebanyak mungkin demi meningkatkan produktivitas. Namun, CTO Uber menyatakan bahwa belum ada bukti hubungan langsung antara kebijakan ini dengan keberhasilan pengiriman produk. Ketika provider AI beralih dari model berlangganan ke model per-token, biaya operasional melonjak drastis.

Perusahaan-perusahaan kini menghabiskan anggaran tahunan untuk AI hanya dalam hitungan minggu. Meskipun raksasa teknologi seperti Amazon dan Microsoft mungkin tidak langsung terancam, kondisi ini jelas tidak sustainable bagi startup dan perusahaan menengah. Laporan Amazon menjadi contoh nyata bagaimana tugas kecil yang seharusnya memakan waktu dan biaya minimal bisa membengkak menjadi jutaan dolar karena kurangnya kontrol.

Mengapa Biaya Bisa Melonjak Sebesar Itu

Ada beberapa faktor yang menyebabkan lonjakan biaya AI yang ekstrem. Pertama, sifat agen AI yang otonom sering kali menjalankan loop panjang tanpa batasan jumlah iterasi. Kedua, model frontier seperti Claude menghasilkan biaya per token yang tinggi ketika dijalankan pada skala besar. Ketiga, kurangnya mekanisme cutoff atau alert spending memungkinkan agen terus berjalan meskipun anggaran telah terlampaui jauh. Keempat, kultur tokenmaxxing mengesampingkan efisiensi demi volume penggunaan.

Pelajaran bagi Developer dan Startup

Insiden Amazon memberikan pelajaran penting bagi developer di Indonesia yang mulai mengadopsi AI coding assistant. Pengawasan biaya harus menjadi bagian tak terpisahkan dari workflow AI, bukan sekadar afterthought. Beberapa langkah praktis yang bisa diterapkan antara lain: menetapkan batas pengeluaran harian atau per-proyek, menggunakan model yang lebih murah untuk tugas sederhana, mematikan auto-run pada agen tanpa approval manual, dan secara rutin meninjau log penggunaan token.

Bagi startup dengan runway terbatas, kecelakaan semacam ini bisa berarti perbedaan antara survive dan gulung tikar. Menggunakan model lokal atau open-source untuk tugas yang tidak memerlukan reasoning frontier dapat mengurangi ketergantungan pada API berbayar. Kombinasi hybrid antara model lokal dan cloud sering kali menjadi strategi paling efisien dari sisi biaya.

Reaksi Komunitas

Di forum diskusi, banyak developer menyoroti ironi bahwa perusahaan multiliar dolar seperti Amazon rela menghabiskan jutaan dolar untuk AI, sementara kenaikan gaji karyawan sering kali dianggap terlalu besar. Komentar lain menekankan pentingnya menggunakan model lokal sebagai alternatif yang jauh lebih murah, meskipun dengan sedikit kompromi pada kualitas. Ada juga yang menyebut bahkan compiler tradisional dapat menyelesaikan tugas serupa dengan biaya mendekati nol.

Kesimpulan

Borosnya 1,8 juta dolar untuk satu tugas coding menial bukan hanya berita sensasional, melainkan sinyal bahwa industri teknologi sedang menghadapi krisis biaya AI yang nyata. Tanpa pengawasan ketat, kultur tokenmaxxing, dan transparansi harga, kejadian serupa akan terus berulang. Developer dan founder harus memperlakukan penggunaan AI sebagai komponen infrastruktur yang memerlukan budgeting, monitoring, dan optimasi sama seperti server atau database.