SQLite Cukup untuk Durable Workflows: Filosofi Minimalis dari Obelisk

Diskusi seputar durable execution seringkali memunculkan asumsi bahwa diperlukan infrastruktur yang kompleks dan mahal. Namun, Obelisk, sebuah platform workflow, baru-baru ini mengajukan argumen menarik yang didasarkan pada filosofi minimalis: untuk banyak kasus, SQLite saja sudah cukup. Menurut artikel resmi di blog Obelisk, pendekatan ini berhasil dengan memisahkan state workflow dari komputasi itu sendiri.

Inti dari argumen ini sederhana: bagian yang perlu durable adalah state workflow, bukan infrastruktur komputasi. Compute bisa tetap murah dan disposable. Workflow progress disimpan dalam execution log, dan workflow bisa replay dari history yang dipersist. Yang paling penting adalah menjaga workflow state tetap ada dan mudah diinspeksi.

Kenapa SQLite Pas

SQLite menarik karena menyediakan state transactional yang durable tanpa memperkenalkan layanan database terpisah. Tidak ada network hop, tidak ada control plane tambahan, dan tidak ada area operasional baru hanya untuk menjaga progress workflow tetap aman. Untuk banyak sistem, sebuah file database lokal adalah tingkat infrastruktur yang tepat.

Tentu saja, muncul pertanyaan: bagaimana dengan backup dan portabilitas? Di sinilah Litestream berperan. Litestream bisa secara asinkron mereplikasi perubahan SQLite ke object storage kompatibel S3. Ini memberikan cara sederhana untuk menyimpan state kerja dekat runtime, sambil tetap menyalin database untuk backup, migrasi, dan inspeksi.

Penting untuk dicatat bahwa replikasi Litestream bersifat asinkron. Pemulihan bisa kehilangan tulisan lokal terbaru jika volume SQLite hilang sebelum disalin. Ini memang bukan database shared dengan high availability, tetapi untuk banyak workflow AI dan eksperimen, model durability ini sudah cukup.

Cocok untuk AI Agents

Pendekatan ini sangat menarik untuk AI agents dan workflow yang dihasilkan AI. Sistem tersebut sering bersifat bursty, eksperimental, dan lebih mudah dipahami ketika setiap agen atau tenant memiliki unit state yang kecil dan self-contained. Armada server kecil di micro VM atau container, masing-masing dengan database SQLite dan backup object storage, seringkali lebih cocok daripada satu sistem shared yang besar. Ini lebih sederhana, lebih murah, dan memberikan isolasi kesalahan yang lebih baik.

Obelisk sendiri juga mendukung Postgres, dan itu adalah pilihan yang tepat ketika dibutuhkan high availability, skalabilitas shared yang lebih luas, atau model durability yang tidak bisa ditangani oleh replikasi asinkron ke object storage.

Pesan utamanya jelas: banyak sistem workflow tidak membutuhkan lebih banyak infrastruktur daripada yang sebenarnya dibutuhkan oleh state mereka. Mulai dari yang sederhana, dan tambahkan kompleksitas hanya ketika benar-benar diperlukan.