Tutorial Setup Local LLM dengan Ollama untuk Developer Indonesia
AP
Adrian Prat

Dipublikasikan 12 Juli 2026

Tutorial Setup Local LLM dengan Ollama untuk Developer Indonesia

ai
llm
open-source
python
python

Menjalankan Large Language Model secara lokal semakin diminati developer Indonesia. Selain menghemat biaya API, setup local LLM juga memberikan kontrol penuh atas data dan privasi. Ollama adalah salah satu tool paling populer untuk menjalankan model seperti Llama, Mistral, dan Qwen langsung di komputer pribadi. Artikel ini akan membahas cara instalasi, konfigurasi, dan integrasi Ollama ke dalam workflow development sehari-hari.

Kita akan mulai dari instalasi di berbagai platform, menjalankan model pertama, hingga mengintegrasikannya dengan aplikasi Python menggunakan library resmi Ollama.

Mengapa Ollama Menjadi Pilihan Utama

Ollama menyederhanakan proses menjalankan LLM lokal yang dulunya rumit. Kamu tidak perlu lagi mengunduh weight model secara manual, mengatur CUDA, atau mengkonfigurasi parameter kompleks. Cukup satu perintah, model siap digunakan. Ollama juga mendukung berbagai arsitektur termasuk Apple Silicon, NVIDIA GPU, dan CPU biasa.

Bagi developer yang bekerja dengan data sensitif, menjalankan model secara lokal berarti tidak ada data yang keluar dari perangkat. Ini penting untuk proyek enterprise atau riset yang memerlukan compliance ketat.

Langkah 1: Instalasi Ollama di macOS, Linux, dan Windows

Instalasi Ollama sangat mudah. Untuk macOS dan Linux, cukup jalankan perintah berikut di terminal:

# macOS dan Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows: download installer dari situs resmi
# https://ollama.com/download/windows

Setelah instalasi selesai, pastikan service Ollama berjalan dengan perintah ollama --version. Di Linux, service akan otomatis berjalan di background. Di macOS, aplikasi Ollama akan muncul di menu bar.

Langkah 2: Menjalankan Model Pertama

Ollama memiliki repository model publik yang bisa diakses langsung. Untuk menjalankan model Llama 3.2, cukup ketik:

ollama run llama3.2

Perintah di atas akan mengunduh model jika belum tersedia, lalu memulai interactive chat session. Beberapa model populer lainnya yang didukung:

  • mistral: Model performa tinggi dari Mistral AI

  • qwen2.5: Model multilingual yang bagus untuk bahasa Indonesia

  • gemma2: Model ringan dari Google yang cocok untuk laptop

  • codellama: Model yang dioptimasi untuk coding dan autocomplete

Untuk melihat daftar model yang sudah terinstall, gunakan ollama list. Untuk menghapus model, gunakan ollama rm nama-model.

Langkah 3: Menggunakan Ollama via API Lokal

Ollama secara otomatis menjalankan server API di http://localhost:11434. Kamu bisa mengirim request HTTP langsung atau menggunakan library resmi. Berikut contoh dengan curl:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Jelaskan apa itu microservices dalam bahasa Indonesia",
  "stream": false
}'

Respons akan berupa JSON dengan field response yang berisi teks hasil generate. Parameter stream: false membuat output muncul sekaligus. Untuk aplikasi real-time, aktifkan streaming dengan stream: true.

Langkah 4: Integrasi dengan Python

Library Python resmi Ollama memudahkan integrasi ke proyek yang sudah ada. Install dengan pip:

pip install ollama

Berikut contoh script sederhana untuk chat dengan model:

import ollama

response = ollama.chat(
    model='llama3.2',
    messages=[
        {'role': 'user', 'content': 'Berikan tips belajar Python untuk pemula'}
    ]
)
print(response['message']['content'])

Kamu juga bisa menggunakan endpoint generate untuk tugas completion:

import ollama

response = ollama.generate(
    model='codellama',
    prompt='// Tulis fungsi JavaScript untuk menghitung factorial
function factorial(n) {',
    options={'temperature': 0.2}
)
print(response['response'])

Parameter temperature mengontrol kreativitas output. Nilai rendah seperti 0.2 cocok untuk coding, sementara nilai lebih tinggi cocok untuk brainstorming.

Langkah 5: Mengelola Model dan Modelfile Custom

Ollama memungkinkan kamu membuat model custom dengan Modelfile. Ini berguna untuk mengatur system prompt, parameter inference, dan bahkan menggabungkan model dengan data lokal.

Buat file bernama Modelfile:

FROM llama3.2

SYSTEM """Kamu adalah asisten programming yang ahli dalam bahasa Indonesia.
Jawab setiap pertanyaan dengan contoh kode yang relevan."""

PARAMETER temperature 0.3
PARAMETER num_ctx 4096

Lalu build dan jalankan model custom:

ollama create dev-assistant -f Modelfile
ollama run dev-assistant

Dengan Modelfile, kamu bisa membuat beberapa persona model untuk kebutuhan berbeda: satu untuk coding, satu untuk review kode, dan satu untuk dokumentasi teknis.

Tips Performa di Hardware Terbatas

Jika kamu menjalankan Ollama di laptop tanpa GPU dedicated, ada beberapa trik untuk meningkatkan performa:

  • Pilih model yang lebih kecil seperti gemma2:2b atau phi3

  • Kurangi context length dengan parameter num_ctx yang lebih rendah

  • Tutup aplikasi berat lainnya saat menjalankan model

  • Pertimbangkan menggunakan quantization seperti q4_0 untuk mengurangi penggunaan RAM

Di perangkat Apple Silicon, Ollama secara otomatis memanfaatkan Unified Memory sehingga performa cukup baik bahkan untuk model berukuran sedang.

Integrasi dengan IDE dan Editor Favorit

Selain menggunakan Python, Ollama juga bisa diintegrasikan dengan berbagai IDE dan code editor. Visual Studio Code memiliki ekstensi seperti Continue atau Klein yang memungkinkan kamu menggunakan model lokal sebagai coding assistant. Konfigurasinya cukup mudah: masukkan URL endpoint Ollama dan pilih model yang ingin dipakai.

Untuk Neovim, plugin seperti ollama.nvim atau gp.nvim menyediakan integrasi langsung. Kamu bisa meminta penjelasan kode, refactor fungsi, atau generate komentar dokumentasi tanpa keluar dari editor. Pengalaman ini hampir mirip dengan GitHub Copilot, tapi dengan kontrol penuh atas model dan data.

JetBrains IDE juga mendukung Ollama melalui plugin third-party atau konfigurasi OpenAI-compatible API. Dengan begitu, kamu bisa menggunakan model lokal di IntelliJ IDEA, PyCharm, atau WebStorm.

Deploy Ollama di Server dengan Docker

Jika ingin berbagi model dengan tim, kamu bisa menjalankan Ollama di server menggunakan Docker. Berikut docker-compose sederhana:

version: "3.8"
services:
  ollama:
    image: ollama/ollama:latest
    ports:
      - "11434:11434"
    volumes:
      - ollama-data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]

volumes:
  ollama-data:

Konfigurasi di atas juga mendukung NVIDIA GPU jika Docker runtime NVIDIA terinstall. Untuk CPU-only, hapus bagian deploy resources. Dengan setup ini, seluruh tim bisa mengakses model yang sama tanpa perlu install di masing-masing laptop.

Kesimpulan

Ollama membuka akses menjalankan LLM lokal untuk developer dari berbagai level. Dari instalasi satu perintah hingga integrasi Python yang seamless, tool ini layak jadi bagian dari toolkit harian. Cobalah beberapa model dan temukan yang paling cocok untuk kebutuhan proyekmu.

Untuk dokumentasi lengkap, kunjungi repository resmi Ollama di GitHub. Komunitas aktif di sana sering berbagi Modfile dan tips optimasi untuk berbagai hardware.