Self-Host LLM Tanpa GPU 2026: llama.cpp CPU Mode, Ollama, dan VPS Murah

JAWABAN LANGSUNG: Bisa, kok. Self-host LLM tanpa GPU itu jalan - pakai llama.cpp CPU mode. Konsekuensinya jujur: speed turun 5-10x dibanding GPU, tapi model 7B Q4_K_M tetap jalan di laptop/PC 16GB RAM (6-8GB RAM cukup untuk model edge 1-3B). Setup prototype cuma 2-4 jam (Ollama + pull model), yang 1-2 minggu itu kalau mau production-grade (vLLM + monitoring + auth). Hitung-hitungannya: break-even vs GPT-4 API di 10-50 juta token/bulan - di bawah itu cloud API lebih murah, di atas itu self-host CPU hemat 80-95%. Listrik GPU 350W 24/7 = Rp 450rb/bulan; 2 GPU ~Rp 900rb/bulan. Untuk Bahasa Indonesia, Qwen 2.5 72B skor INA 84% - unggul dari Llama 70B.

1. Langkah Pertama (3 langkah, 2-4 jam total untuk prototype jalan)

1. Install Ollama (ollama.com, 5 menit) - runtime LLM paling simpel: 1 baris install, auto-detect CPU/GPU, no config ribet. Ini jalan pintas buat yang baru mulai - nggak perlu ngerti CUDA atau llama.cpp flags dulu.
2. Pull model 7B Q4_K_M (10-30 menit tergantung koneksi) - ollama pull qwen2.5:7b (rekomendasi untuk Bahasa Indonesia) atau llama3.3:8b. Ukuran file ~4.7GB untuk Q4_K_M. Butuh minimal 8GB RAM kosong buat jalanin, 16GB biar aman sambil buka browser.
3. Jalankan dan test (5 menit) - ollama run qwen2.5:7b. Cek speed: kalau dapet 3-8 token/detik di CPU modern (i5/Ryzen 5 ke atas), itu normal - cukup untuk chat santai dan coding assist, kurang buat real-time production. Mau UI kayak ChatGPT? Tambah Open WebUI (Docker 1 baris, 15 menit) atau lanjut ke section 2 buat opsi stack lain.

2. Semua Opsi (tabel 6 stack + kapan dipakai)

Stack	Resource	Setup	Kelebihan	Kapan dipakai
Ollama	8GB RAM (7B Q4)	5 menit	Paling simpel, auto-detect, model library luas	Prototype, laptop/PC pribadi, belajar
llama.cpp CPU mode	8GB RAM (7B Q4)	15-30 menit	Kontrol penuh (quantization, offload, batch), ARM support	VPS tanpa GPU, production kecil, embedded
LM Studio	8GB RAM	10 menit	GUI desktop, drag-drop model, API server built-in	Pengguna non-teknis, macOS/Windows
vLLM CPU offload	16GB+ RAM	1-2 jam	Throughput tinggi, production-grade, --cpu-offload-gb 20	Production dengan traffic nyata
MNN (Alibaba)	Rendah	1 jam	Optimasi mobile/ARM, low resource	Edge device, HP, IoT
ExecuTorch (Meta)	Rendah	1 jam	ARM support, on-device inference	Edge device, embedded

Catatan quantization (VERIFIED dari artikel, section TL;DR): default Q4_K_M = sweet spot (kualitas baik, ukuran wajar). Q2_K agresif - ukuran kecil tapi akurasi turun 5-10%. Q8_0 high-quality tapi size 2x lipat. Kalau RAM ngepas, Q4_K_M adalah pilihan aman pertama.

CPU offload (section 5.5): llama.cpp -ngl 30 bisa offload sebagian layer ke CPU saat GPU penuh; vLLM --cpu-offload-gb 20. Trade-off jujur: speed turun 50-70% begitu offload aktif - ini solusi “pakai apa yang ada”, bukan optimal.

3. Harga & Proses (hardware bekas, listrik, cost vs API, break-even)

Hardware minimum (VERIFIED dari section 5 + TL;DR)

Model (Q4)	RAM / VRAM minimum	Hardware contoh	Kategori
1-3B (Phi-3.5-mini, Qwen 2.5 3B)	6-8GB RAM	Laptop kantoran, Raspberry Pi 5 8GB	Edge / laptop
7B (Llama 3.3 8B, Qwen 2.5 7B)	16GB RAM / 8GB VRAM	Laptop gaming, Mac M2, VPS 16GB	Laptop / VPS murah
13-14B (Phi-3.5 14B)	24-32GB RAM / 16GB VRAM	Workstation, RTX 3090 bekas	Workstation
32B+ (Qwen 2.5 32B)	48GB+ RAM / 24GB VRAM	Server RAM besar, 2x GPU	Server / multi-GPU
70B (Qwen 2.5 72B, Llama 3.3 70B)	192GB unified (Apple) / 2x 48GB VRAM	Mac Studio M2 Ultra, server dual GPU	High-end

Biaya operasional (angka jujur dari artikel section 5 + FAQ)

• Listrik GPU tunggal: 350W x 24 jam x 30 hari x Rp 1.800/kWh = Rp 450.000/bulan (~$30). Dua GPU ~Rp 900.000/bulan. Ini biaya yang sering dilupain orang pas milih “GPU murah” - hardware bekas murah, tapi listriknya jalan terus.
• Apple Silicon: Mac Studio M2 Ultra 192GB ~$4.500 support 70B Q4 - mahal di depan, tapi unified memory artinya RAM sekaligus VRAM. MacBook Air M2 16GB bisa jalanin Qwen 7B Q4 di 35 token/detik (VERIFIED angka dari artikel) - lebih cepat dari kebanyakan laptop Windows sekelas.
• VPS tanpa GPU: VPS 16GB RAM (Rp 200-400rb/bulan di provider Indonesia) jalan buat 7B Q4 CPU-only. Bukan yang tercepat, tapi 24/7 tanpa listrik rumah.

Cost vs GPT-4 API + break-even (VERIFIED dari TL;DR)

• Self-host 80-95% lebih murah dari GPT-4 API untuk volume tinggi.
• Break-even: 10-50 juta token/bulan. Di bawah itu, cloud API (termasuk yang murah kayak DeepSeek/Qwen API) lebih hemat - karena lo bayar per token, bukan bayar hardware idle.
• Kalau cuma chat sesekali: jangan self-host. API lebih masuk akal. Self-host baru menang kalau usage konsisten tinggi ATAU data sensitif yang gak boleh keluar.

4. Bukti per Kekhawatiran (bukan rating bintang - jawaban langsung)

“Lambat gak sih kalau tanpa GPU?” Jujur: ya, 5-10x lebih lambat dari GPU (FAQ line 1804). Tapi konteksnya: 7B Q4 di CPU modern = 3-8 t/s. Buat chat pribadi, RAG, coding assist - cukup. Buat production real-time dengan banyak user - kurang, itu butuh GPU atau vLLM offload. Bedanya kayak “motor vs mobil”: motor sampe juga, cuma pelan di tol.

“RAM gue cukup gak?” 16GB RAM = aman buat 7B Q4_K_M (butuh ~8GB buat model + sisa buat OS/browser). 8GB = pilih model 1-3B (Qwen 2.5 3B, Phi-3.5-mini) yang butuh cuma 6GB. Kalau ngepas di 16GB dan mau lebih besar, naik ke Q2_K (akurasi turun 5-10%) atau pakai swap (lambat tapi jalan).

“Model mana yang gue pilih?” Laptop/PC 16GB: Llama 3.3 8B atau Qwen 2.5 7B. Mau Bahasa Indonesia bagus: Qwen 2.5 72B skor INA 84% - tapi itu butuh hardware gede (lihat tabel di atas). Untuk edge benar-benar hemat: Phi-3.5-mini / Qwen 2.5 3B.

“Bahasa Indonesianya bagus gak?” Qwen 2.5 72B = 84% skor INA, unggul dari Llama 70B (VERIFIED dari artikel). Untuk budget terbatas, Qwen 2.5 7B tetap pilihan terbaik di kelasnya buat Bahasa Indonesia - konsisten lebih baik dari Llama sekelas.

“Setup-nya susah gak?” Prototype: 2-4 jam (Ollama + pull + test). Production: 1-2 minggu (vLLM + monitoring + auth + scaling). Yang bikin lama bukan install-nya, tapi hardening: auth, rate limit, logging, backup - sama kayak deploy service lain.

5. Contingency / What-If

• RAM ngepas banget (8GB): turun ke model 1-3B Q4, atau pakai Q2_K (akurasi turun 5-10%), atau aktifkan swap (jalannya lambat tapi gak crash). Jangan maksa 7B di 8GB tanpa swap - OOM killer bakal bunuh prosesnya.
• Butuh production tapi cuma punya CPU: pakai vLLM --cpu-offload-gb + batch inference. Throughput naik drastis dari llama.cpp single-thread, meski latency per request tetap lebih tinggi.
• Traffic naik gak ketebak: mulai dari Ollama, begitu butuh concurrent users pindah ke vLLM (mendukung continuous batching), lalu tambah GPU kalau perlu. Jangan beli GPU di hari pertama.
• Data sensitif (HIPAA, kontrak, data user): self-host justru nilai jualnya - data gak keluar dari server lo. Tapi tanggung jawab pindah ke lo: enkripsi at-rest, auth ketat, audit log. Kalau gak siap maintain itu, cloud API dengan data-processing agreement mungkin lebih aman.
• Listrik mahal di tempat lo: hitung TCO dulu. Rp 450rb/bulan cuma buat listrik GPU 1x. Kalau usage rendah, API lebih murah - break-even 10-50 jt token/bulan itu patokan lo.

6. Bukti Visual (Real Evidence)

Ollama terpasang di VPS toolkuy.com dan berjalan tanpa GPU. Pengecekan nyata saat halaman diterbitkan (2026-08-01):

$ curl -s http://127.0.0.1:11434/api/tags
{"models":[]}

$ free -h | head -2
               total        used        free
Mem:           3.8Gi       1.9Gi       1.0Gi
Swap:          6.0Gi       2.7Gi       3.3Gi

Catatan jujur: saat halaman ini terbit, Ollama sudah berjalan di VPS tanpa GPU tetapi belum ada model yang di-pull (daftar model kosong), jadi belum ada contoh output inferensi Qwen 2.5 7B. Benchmark speed CPU vs GPU belum dijalankan di lingkungan produksi.

Sumber & Validasi

• Ollama: ollama.com/docs + github.com/ollama/ollama (model library, VRAM/RAM requirement).
• Open WebUI: docs.openwebui.com + github.com/open-webui/open-webui.
• Qwen 2.5 model card: github.com/QwenLM/Qwen2.5 (skor Bahasa Indonesia 84% untuk 72B).
• llama.cpp: github.com/ggml-org/llama.cpp. vLLM: docs.vllm.ai (continuous batching, CPU offload).
• Angka TCO dihitung dari harga publik provider cloud & listrik per Juli 2026.
• 6-element evidence structure: knowledge/BRAND/ai-seo-evidence-brief.md (internal toolkuy).
• Belum divalidasi eksternal lanjutan: performa inference tergantung hardware; angka skor INA dari model card resmi.