Tutorial Menjalankan GLM-5.2 secara Lokal di Hardware Terbatas dengan Colibri

Model bahasa besar seperti GLM-5.2 dari Zhipu AI menawarkan performa yang kompetitif dibandingkan model-model barat. Sayangnya, banyak developer mengira menjalankan model sebesar ini membutuhkan GPU kelas datacenter. Berkat proyek Colibri, kini kamu bisa menjalankan GLM-5.2 secara lokal bahkan di komputer dengan spesifikasi rendah. Artikel ini membahas panduan lengkapnya dari nol.

Mengenal GLM-5.2 dan Proyek Colibri

GLM-5.2 adalah model generatif terbaru dari Zhipu AI yang dirancang untuk tugas-tugas reasoning, coding, dan conversational AI. Model ini menggunakan arsitektur General Language Model yang telah terbukti efisien dalam berbagai benchmark evaluasi, termasuk kemampuan matematika dan pemrograman.

Colibri adalah proyek open source yang dibuat untuk menjalankan model-model besar dengan teknik quantization dan optimasi inference di hardware terbatas. Proyek ini berbasis llama.cpp, sehingga kompatibel dengan berbagai format model yang sudah dikonversi ke GGUF. Dengan Colibri, kamu tidak perlu memiliki GPU NVIDIA mahal untuk bisa bereksperimen dengan model terbaru.

Perbedaan utama Colibri dengan llama.cpp murni adalah adanya wrapper yang menyederhanakan konfigurasi dan menambahkan fitur manajemen model yang lebih mudah digunakan oleh pemula. Colibri juga menyediakan server API yang compatible dengan OpenAI format, sehingga mudah diintegrasikan dengan berbagai aplikasi chat UI.

Persiapan Sistem Sebelum Install

Sebelum mulai, pastikan sistemmu memenuhi requirement minimal berikut:

RAM minimal 8 GB untuk model yang diquantized 4-bit. Semakin besar RAM, semakin baik kualitas model yang bisa dijalankan.
CPU dengan dukungan AVX2 untuk performa optimal llama.cpp.
Storage kosong minimal 10 GB untuk menyimpan file model dan dependency.
Sistem operasi Linux atau macOS. Windows juga didukung melalui WSL2.

Jika kamu menggunakan macOS dengan Apple Silicon, proses ini justru lebih mudah karena Colibri dan llama.cpp sudah dioptimasi untuk Metal GPU acceleration. Pengguna MacBook Air M1 atau M2 bisa menjalankan model ini dengan sangat lancar.

Langkah 1: Install Colibri dan Dependency

Pertama, clone repository Colibri dari GitHub ke direktori lokal:

git clone https://github.com/JustVugg/colibri.git
cd colibri

Setelah itu, install dependency yang dibutuhkan. Colibri biasanya memerlukan Python 3.10 atau lebih baru, serta beberapa package seperti numpy dan torch versi CPU:

pip install -r requirements.txt

Pastikan environment Python kamu bersih. Disarankan menggunakan virtual environment agar tidak bentrok dengan package lain:

python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip
pip install -r requirements.txt

Jika kamu mengalami error saat install torch, pastikan menginstall versi CPU-only agar tidak memakan ruang penyimpanan yang terlalu besar. Gunakan perintah:

pip install torch --index-url https://download.pytorch.org/whl/cpu

Langkah 2: Download Model GLM-5.2 dalam Format GGUF

Model GLM-5.2 asli tidak bisa langsung dijalankan oleh llama.cpp. Kamu perlu menggunakan versi yang sudah dikonversi ke format GGUF oleh komunitas. Kunjungi Hugging Face dan cari repository yang menyediakan glm-5.2-gguf.

Download model dengan perintah berikut menggunakan huggingface-cli atau langsung via wget:

wget https://huggingface.co/username/glm-5.2-gguf/resolve/main/glm-5.2-q4_k_m.gguf

Pastikan kamu memilih versi quantization yang sesuai dengan kapasitas RAM. Q4_K_M umumnya menjadi sweet spot antara kualitas dan penggunaan memori. Jika RAM terbatas, gunakan Q3_K_S. Untuk kualitas lebih baik, pilih Q5_K_M atau Q6_K.

Langkah 3: Konfigurasi Quantization dan Parameter Inference

Buat file konfigurasi config.yaml di direktori Colibri untuk mengatur parameter inference:

model:
  path: ./glm-5.2-q4_k_m.gguf
  n_ctx: 4096
  n_threads: 4
  n_batch: 512
  verbose: false

sampling:
  temperature: 0.7
  top_p: 0.9
  top_k: 40
  repeat_penalty: 1.1

Parameter n_threads disesuaikan dengan jumlah core CPU yang kamu miliki. Untuk CPU quad-core, nilai 4 sudah optimal. n_ctx menentukan panjang konteks maksimal. Nilai 4096 cukup untuk sebagian besar tugas developer.

Langkah 4: Menjalankan Inference Lokal

Setelah konfigurasi selesai, jalankan Colibri dengan perintah:

python3 -m colibri.server --config config.yaml

Jika berhasil, kamu akan melihat log yang menunjukkan model sedang diload ke memori. Proses loading pertama kali membutuhkan waktu beberapa menit tergantung kecepatan storage. Setelah model aktif, Colibri akan membuka server API di localhost pada port 8080.

Kamu bisa langsung menguji model dengan curl:

curl -X POST http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Jelaskan perbedaan REST dan GraphQL"}]}'

Langkah 5: Integrasi dengan Open WebUI

Agar pengalaman menggunakan model lebih nyaman, integrasikan Colibri dengan Open WebUI. Open WebUI menyediakan antarmuka chat yang mirip dengan ChatGPT, sehingga lebih mudah digunakan untuk eksperimen sehari-hari.

Install Open WebUI menggunakan Docker:

docker run -d -p 3000:8080 \
  -e OPENAI_API_BASE_URL=http://host.docker.internal:8080/v1 \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

Setelah container berjalan, buka browser dan akses localhost pada port 3000. Daftarkan akun lokal dan Open WebUI akan otomatis mendeteksi endpoint Colibri serta menampilkan GLM-5.2 sebagai model yang tersedia.

Optimasi Performa di Hardware Terbatas

Jika komputermu masih terasa lambat saat menjalankan model, coba beberapa tips berikut:

Turunkan nilai n_ctx menjadi 2048 untuk mengurangi penggunaan RAM secara signifikan.
Gunakan model dengan quantization IQ3_XXS atau Q2_K jika kualitas jawaban masih bisa diterima.
Tutup aplikasi lain yang tidak perlu saat inference berjalan untuk memaksimalkan alokasi RAM.
Pertimbangkan menggunakan swap file yang cukup besar, meski ini akan memperlambat inference.
Untuk Mac dengan Apple Silicon, pastikan n_gpu_layers diatur ke nilai positif agar sebagian layer di offload ke Metal GPU.

Kesimpulan

Menjalankan model AI besar seperti GLM-5.2 di hardware terbatas bukan lagi hal yang mustahil berkat proyek Colibri. Dengan teknik quantization yang tepat dan konfigurasi parameter yang optimal, kamu bisa mendapatkan assistant AI lokal tanpa ketergantungan pada cloud atau GPU mahal.

Untuk detail lebih lanjut, kunjungi repository Colibri di github.com/JustVugg/colibri dan eksplorasi dokumentasi llama.cpp di github.com/ggerganov/llama.cpp.