Mengapa Keahlian Domain Masih Menentukan Saat Bekerja dengan LLM

Di era LLM, banyak orang beranggapan bahwa skill teknis tidak lagi penting. Jika semua orang bisa menulis CSS yang cukup baik dengan bantuan AI, lalu apa bedanya antara expert dan pemula? Anggapan ini, meski terdengar masuk akal, ternyata keliru. Sebuah tulisan dari Sean Goedecke membongkar mitos ini dengan argumentasi yang kuat: keahlian domain adalah skill paling penting dalam prompting.

Goedecke, yang bekerja di GitHub, menyodorkan sebuah observasi yang menarik. Di tahun 2010-an, jika Anda memiliki gap teknis seperti tidak bisa menulis CSS, Anda harus mengandalkan rekan yang lebih ahli atau berharap jawaban persis untuk masalah Anda ada di internet. Hari ini, semua orang bisa menulis CSS yang cukup oke dengan mendelegasikan tugas ke LLM. LLM menjadikan semua orang generalis. Tapi ini tidak berarti tidak ada skill yang terlibat dalam bekerja dengan LLM.

Generalisasi AI dan Mitos Skill yang Hilang

Fenomena yang Goedecke sebut sebagai generalisasi AI memang nyata. Orang yang sebelumnya tidak bisa menulis CSS kini bisa menghasilkan kode yang cukup layak. Orang yang tidak pernah mempelajari statistik bisa mendapatkan analisis data dasar. Namun, ini menciptakan ilusi bahwa tidak ada jarak antara output AI dari expert dan pemula. Padahal, jarak tersebut justru semakin lebar di level yang lebih dalam.

Sebagai analogi, Anda bisa meminta siapa pun untuk mengendarai mobil dengan bantuan autopilot. Tapi ketika kondisi jalan menjadi ekstrem, hanya pengemudi berpengalaman yang tahu kapan harus mengambil alih kendali dan bagaimana merespons dengan benar. LLM bekerja dengan cara yang serupa: untuk tugas-tugas surface level, semua orang setara. Tapi untuk problem yang kompleks dan bernuansa, keahlian domain menjadi pembeda yang decisive.

Bukti dari Percakapan Terence Tao dan ChatGPT

Ilustrasi terbaik dari argumen ini adalah percakapan Terence Tao dengan ChatGPT tentang counterexample yang baru ditemukan untuk Jacobian Conjecture. Ini bukan ChatGPT yang sama yang kita gunakan sehari-hari. Goedecke menyadari bahwa ia tidak bisa mencapai level percakapan Tao meski dengan token tak terbatas.

Dari percakapan Tao, ada banyak pelajaran berharga tentang prompting yang efektif. Pesan-pesan Tao sangat singkat dan to the point. Ia tidak merespons point by point terhadap model, hanya merespons intinya. Output model juga jauh lebih ringkas dibandingkan ketika Goedecke sendiri berbicara dengan GPT-5.6 Sol tentang matematika. Dengan menandakan keahliannya, Tao memindahkan model ke mode talking-to-mathematicians, bukan explaining-to-amateurs.

Tao juga menolak ketika respons model terlihat salah, tapi ia tidak langsung mengontradiksi. Sebaliknya, ia mengatakan hal-hal seperti this looks more complex than I was hoping for. Tao membuat beberapa lompatan dan saran sendiri. Ia hampir tidak pernah mengikuti saran model tentang langkah selanjutnya.

Namun, Anda tidak bisa memprompt seperti Tao hanya dengan mengikuti tips-tips tersebut. Kunci tekniknya sebenarnya adalah memahami matematika: menarik ide relevan dari respons multi-paragraf ChatGPT, menyarankan pendekatan alternatif, dan mengidentifikasi apa yang terlihat aneh. Tanpa fondasi matematika yang kuat, bahkan tips prompting terbaik sekalipun tidak akan membawa Anda ke level yang sama.

Teori Kodebase dan Kemampuan Steering

Goedecke mengaitkan ide ini dengan pengalamannya sendiri di software engineering. Jika Anda memiliki theory of your codebase yang baik, Anda bisa mendorong LLM jauh lebih keras dibandingkan jika Anda tidak memiliki familiarity sama sekali. Karena Anda memiliki sense sendiri tentang seperti apa solusi yang baik, Anda bisa mengatakan no, I think it could be simpler here, atau but don’t we already do X?, atau can we express this problem in these familiar terms?

Ini berhubungan dengan ide yang pernah Goedecke tulis sebelumnya: system design problems didominasi oleh concrete specifics, bukan generic principles. Tentu saja keduanya berguna, tapi lebih baik memiliki familiarity dengan codebase daripada pemahaman umum yang mendalam tentang sistem software. Dalam percakapannya, Tao mengajukan banyak pertanyaan spesifik seperti does X work here? atau given Y and Z, why A? Goedecke tidak bisa mengajukan pertanyaan tersebut tentang Jacobian Conjecture, tapi ia bisa mengajukannya tentang sistem yang ia kelola di GitHub. Kemampuan untuk mengajukan pertanyaan spesifik yang tepat adalah ciri khas expert. Pertanyaan-pertanyaan ini tidak muncul dari template prompting, melainkan dari pemahaman mendalam tentang domain yang sedang dikerjakan.

Manusia sebagai Bottleneck, Bukan Model

Jika Anda tidak memiliki domain knowledge, Anda bisa berpegang pada LLM setidaknya untuk mendapatkan sesuatu. Itu tidak buruk. Tapi jika Anda memiliki domain knowledge, Anda bisa memeras nilai jauh lebih banyak dari LLM yang sama dengan mengarahkannya keras ke arah yang Anda inginkan. Sebagian besar dari kita harus melakukan kombinasi kedua pendekatan ini, karena kita memiliki domain knowledge di beberapa area tapi tidak di area lain.

Kegunaan domain knowledge menunjukkan bahwa keahlian manusia akan terus berguna bahkan saat model semakin kuat. Untuk banyak tugas, manusia adalah bottleneck, bukan model. Bagian yang sulit ada pada komunikasi ke model tentang solusi seperti apa yang manusia inginkan. Informasi sudah ada di dalam model, tapi diperlukan manusia yang sangat pintar untuk menariknya keluar. Model bisa menghasilkan jawaban yang benar secara teknis, tapi hanya expert yang bisa menilai apakah jawaban itu sesuai konteks, scalable, dan maintainable dalam jangka panjang.

Implikasinya adalah jelas: developer yang menguasai domainnya tidak akan tergantikan oleh AI. Sebaliknya, mereka akan menjadi operator AI yang paling efektif. Mereka yang hanya mengandalkan AI tanpa pemahaman mendalam akan mendapatkan hasil yang cukup, tapi tidak akan pernah mencapai level excellence. Bagi developer di Indonesia, ini adalah pesan yang penting di tengah hype AI yang melanda. Alih-alih khawatir digantikan AI, fokuslah pada memperdalam keahlian domain Anda. Pahami codebase Anda secara intim, pelajari bisnis di balik aplikasi yang Anda bangun, dan jadilah expert yang bisa mengarahkan AI untuk menghasilkan solusi terbaik.

Sumber: seangoedecke.com