Ollama: Jalankan LLM Lokal untuk Privasi, Biaya, dan Latensi

Memanggil API LLM dari OpenAI, Anthropic, atau Google terasa mudah — sampai tagihan datang, atau data sensitif harus dikirim ke server pihak ketiga. Untuk banyak kasus — summarization dokumen internal, asisten yang bekerja dengan data pelanggan, atau eksperimen yang butuh iterasi cepat — menjalankan LLM lokal adalah alternatif yang semakin menarik.

Ollama adalah salah satu tool paling populer untuk menjalankan model LLM di mesin sendiri. Artikel ini membahas apa itu Ollama, cara kerjanya, model apa yang bisa dijalankan, dan kapan masuk akal memakainya dibanding API cloud.

Apa Itu Ollama

Ollama adalah runtime open-source yang menyederhanakan proses menjalankan model bahasa besar (LLM) secara lokal. Sebelum Ollama, menjalankan model butuh mengatur Python environment, dependency CUDA, dan skrip loading model — pekerjaan yang menyita waktu dan rawan error. Ollama membungkus semua itu menjadi satu perintah sederhana.

Ollama menangani download model, kuantisasi, dan inferensi di belakang layar. Model disimpan dalam format terpadu dan bisa dipanggil lewat CLI atau REST API — Ollama menyediakan server HTTP di port 11434 yang kompatibel dengan banyak aplikasi.

Dengan Ollama, perintah seperti ollama run llama3 langsung mengunduh model dan membuka prompt interaktif. Tidak ada konfigurasi Python, tidak ada setup GPU manual — cukup satu perintah.

Kenapa Menjalankan LLM Lokal

Tiga alasan utama orang memilih LLM lokal:

• Privasi. Data tidak pernah meninggalkan mesin. Untuk dokumen kontrak, data medis, atau kode internal yang sensitif, ini sering kali satu-satunya opsi yang bisa diterima.
• Biaya tetap. Setelah hardware tersedia, biaya menjalankan model lokal tidak naik seiring volume permintaan. Untuk workload yang konstan dan tinggi, ini lebih murah daripada API per-token.
• Latensi dan ketersediaan. Tidak ada network round-trip dan tidak ada rate limit — model merespons secepat hardware memungkinkan, kapan pun dibutuhkan.

Tentu ada trade-off: model lokal dengan ukuran sama biasanya kurang mampu dibanding versi cloud terbesar, dan butuh hardware dengan RAM/VRAM yang memadai. Kuncinya memilih model yang ukurannya sesuai hardware.

Model Populer yang Didukung

Ollama mendukung ratusan model dari berbagai keluarga. Beberapa yang paling populer:

• Llama 3.x. Keluarga model dari Meta, andalan untuk tugas umum — 8B untuk hardware menengah, 70B untuk yang punya GPU besar.
• Qwen 2.5. Model dari Alibaba yang kuat di tugas bahasa dan coding, dengan varian mulai dari 0.5B sampai 72B. Populer di Asia karena dukungan bahasa yang baik.
• Mistral. Model efisien dari Prancis, dikenal cepat dan hemat resource untuk ukurannya.
• Phi. Model kecil dari Microsoft yang berjalan di hardware terbatas, cocok untuk laptop.
• Gemma. Keluarga model terbuka dari Google, tersedia dalam ukuran 2B dan 7B.
• Embedding models. Seperti nomic-embed-text dan mxbai-embed-large, untuk membangun RAG lokal.

Ukuran model menentukan kebutuhan RAM/VRAM. Aturan kasar: model 7B yang dikuantisasi 4-bit butuh sekitar 4-5GB RAM, model 13B sekitar 8GB, dan 70B sekitar 40GB. Untuk laptop dengan 16GB RAM, model 7-8B adalah titik manis.

Cara Instalasi di Linux

Instalasi Ollama di Linux sangat mudah — skrip satu baris:

curl -fsSL https://ollama.com/install.sh | sh

Skrip ini menginstall binary dan membuat service systemd ollama. Untuk server tanpa GPU, Ollama otomatis memakai CPU — lebih lambat tapi tetap berfungsi. Verifikasi instalasi:

ollama --version

Untuk memakai GPU NVIDIA, pastikan driver dan CUDA terpasang. Ollama mendeteksi GPU secara otomatis; cek dengan nvidia-smi dan lihat apakah Ollama memakainya saat menjalankan model.

Menjalankan Model Pertama

Download dan jalankan model pertama:

ollama run llama3.2

Perintah ini mengunduh model (sekitar 2-5GB tergantung varian) dan membuka prompt interaktif. Setelah selesai mencoba, keluar dengan /bye.

Ollama juga menyediakan REST API di http://localhost:11434. Contoh memanggilnya dengan curl:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Jelaskan cara kerja Docker dalam 3 kalimat"
}'

API ini kompatibel dengan banyak tool dan framework. Aplikasi seperti Open WebUI bisa dihubungkan ke Ollama untuk mendapatkan antarmuka chat yang mirip ChatGPT, atau library seperti langchain dan llamaindex bisa memakainya sebagai backend model lokal.

Kasus Penggunaan Praktis

Beberapa skenario di mana LLM lokal dengan Ollama benar-benar bersinar:

• Summarization dokumen internal. Ringkas laporan, meeting notes, atau dokumentasi tanpa mengirim konten ke pihak ketiga.
• Asisten coding lokal. Integrasikan dengan editor untuk autocomplete dan penjelasan kode, bebas dari kekhawatiran kode bocor ke cloud.
• RAG (Retrieval-Augmented Generation). Gabungkan Ollama dengan database vektor lokal untuk menjawab pertanyaan dari knowledge base perusahaan.
• Testing dan eksperimen. Iterasi prompt tanpa biaya per-call dan tanpa rate limit, sebelum dipromosikan ke model cloud yang lebih besar.
• Edge dan offline. Jalankan model di perangkat yang tidak punya koneksi internet stabil.

Untuk workload batch yang tidak butuh jawaban real-time — seperti klasifikasi atau ekstraksi data — model lokal juga bisa dijalankan dalam pipeline tanpa khawatir biaya API membengkak. Contoh nyata: pipeline yang meringkas laporan harian atau mengekstrak entitas dari dokumen bisa berjalan tengah malam dengan biaya listrik saja, dan hasilnya langsung tersedia saat tim mulai bekerja pagi hari.

Menggabungkan dengan Open WebUI

CLI Ollama cukup untuk eksperimen, tapi untuk penggunaan sehari-hari yang nyaman, banyak yang menggabungkannya dengan Open WebUI — antarmuka web open-source yang terhubung ke Ollama. Open WebUI menyediakan tampilan chat yang mirip dengan ChatGPT, lengkap dengan riwayat percakapan, dukungan beberapa model, dan fitur seperti RAG sederhana.

Instalasi Open WebUI paling mudah lewat Docker:

docker run -d   -p 3000:8080   -v open-webui:/app/backend/data   -e OLLAMA_BASE_URL=http://host.docker.internal:11434   --name open-webui   --restart unless-stopped   ghcr.io/open-webui/open-webui:main

Dengan konfigurasi ini, Open WebUI mendeteksi model yang terpasang di Ollama secara otomatis. Pengguna tim bisa memilih model dari dropdown — misalnya model kecil untuk tugas cepat dan model besar untuk analisis mendalam — tanpa perlu tahu detail teknis di belakangnya.

Open WebUI juga mendukung manajemen user, sehingga tim bisa berbagi satu server Ollama dengan akun masing-masing. Untuk perusahaan kecil yang ingin asisten AI internal tanpa data keluar ke cloud, kombinasi Ollama + Open WebUI di satu VPS adalah solusi yang lengkap dan hemat.

Memilih Model Sesuai Hardware

Kesalahan paling umum pemula adalah memilih model terlalu besar untuk hardware yang dimiliki, lalu menyimpulkan "LLM lokal lambat". Kunci pengalaman yang baik adalah mencocokkan ukuran model dengan resource yang tersedia:

• Laptop 8GB RAM. Model 3-4B yang dikuantisasi Q4, seperti Qwen 2.5 3B atau Llama 3.2 3B. Cocok untuk summarization ringan dan chat umum.
• Laptop/server 16GB RAM. Model 7-9B, seperti Llama 3.1 8B atau Qwen 2.5 7B. Titik manis untuk kebanyakan orang — mampu menulis dan coding dasar dengan cukup baik.
• Server 32GB RAM. Model 14B, atau 8B dengan konteks panjang. Untuk tugas yang lebih kompleks seperti analisis dokumen.
• GPU 8GB VRAM. Model 7-8B berjalan cepat penuh di GPU, latency per token turun drastis dibanding CPU.
• GPU 24GB VRAM. Model 30B+ bisa berjalan, mendekati kualitas model cloud kelas menengah.

Perintah ollama run otomatis memilih kuantisasi yang cocok dengan RAM yang tersedia. Untuk memantau penggunaan resource saat model berjalan, cek dengan nvidia-smi (GPU) atau htop (CPU/RAM). Kalau model berjalan tapi merespons sangat lambat, biasanya berarti model terlalu besar untuk hardware — turunkan ukuran model, bukan menyerah.

Ukuran konteks juga penting: model dengan konteks 128K memungkinkan memasukkan dokumen panjang, tapi memakai lebih banyak memory. Untuk kebanyakan kasus, konteks 8K-32K sudah lebih dari cukup.

Kesimpulan

Ollama menurunkan hambatan menjalankan LLM lokal secara drastis. Dengan satu perintah, developer bisa menjalankan model kelas menengah di laptop atau server sendiri — dengan privasi penuh, biaya tetap, dan tanpa rate limit.

Bukan berarti LLM lokal menggantikan API cloud sepenuhnya. Untuk tugas yang butuh kemampuan model terbesar atau skala masif, API cloud tetap unggul. Tapi sebagai lapisan kedua — untuk data sensitif, workload konstan, dan eksperimen cepat — Ollama adalah tool yang layak ada di toolbox setiap developer yang bekerja dengan AI.