Jalankan Gemma 4 26B di Hardware Bekas: Panduan LLM Lokal Tanpa GPU 2026

Gue dapet PC bekas dari kantor yang mau dibuang: i5-10400, 64GB RAM DDR4, tanpa GPU. Kebanyakan orang bakal jualin atau buang. Gue malah kepikiran: "Bisa nggak ini jalanin LLM 26B parameter?" Spoiler: bisa. Gemma 4 26B jalan di mesin itu dengan quantisasi Q4, walau pelan. Artikel ini gue tulis biar lo tau gimana manfaatin hardware bekas buat AI lokal tanpa beli GPU mahal.

Kenapa Gemma 4 26B Menarik

Gemma 4 itu keluarga model open-weight dari Google. Versi 26B itu sweet spot: cukup pintar buat tugas coding dan reasoning, tapi kecil enough buat dijalanin di RAM consumer. Dibanding Llama 3 70B yang butuh 40GB+ RAM, Gemma 4 26B cuma butuh ~16GB RAM di quantisasi Q4.

Model	Params	Q4 Size	RAM Minimal
Gemma 4 2B	2B	1.4 GB	4 GB
Gemma 4 9B	9B	5.5 GB	8 GB
Gemma 4 26B	26B	15 GB	20 GB
Llama 3 70B	70B	38 GB	48 GB

PC bekas gue punya 64GB RAM, jadi Gemma 4 26B Q4 (15GB) muat santai, sisanya buat OS dan app lain. Kuncinya: CPU offloading dengan RAM yang cukup.

1. Siapin Hardware Bekas

Spek PC gue yang gue pakai (harga bekas ~Rp 2.5 juta di 2026):

• CPU: Intel i5-10400 (6 core, 12 thread)
• RAM: 64GB DDR4-2666 (beli tambahan 2x16GB bekas Rp 400rb)
• Storage: NVMe 512GB (buatan model loading cepet)
• GPU: None (pakai iGPU Intel UHD 630, nggak dipakai buat inference)

Distribusi: gue pasang Ubuntu Server 22.04. Nggak usah desktop environment biar RAM hemat buat model.

# Cek RAM tersedia
grep MemTotal /proc/meminfo
# MemTotal:       65798132 kB  (~64GB, mantap)

# Pastiin swap cukup buat jaga-jaga
sudo fallocate -l 16G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

2. Install llama.cpp (Bukan Ollama buat kasus ini)

Buat CPU-only inference di hardware bekas, llama.cpp lebih efisien dari Ollama karena gue bisa tune thread count dan offloading secara manual. Tapi Ollama lebih gampang — lo bisa pilih. Gue di sini pakai llama.cpp karena mau kontrol penuh.

# Install build tools
sudo apt update && sudo apt install -y build-essential cmake git

# Clone dan build (pakai AVX2 buat Intel)
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build -DGGML_AVX2=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build -j$(nproc)

Tips: kalau CPU lo AMD yang support AVX512, pakai -DGGML_AVX512=ON. Di Intel i5-10400, AVX2 udah cukup. Build makan 5-10 menit di CPU bekas. Sabar.

3. Download Gemma 4 26B Q4

Gue pakai GGUF format yang udah di-quantize. Dapet dari Hugging Face atau via Ollama.

# Pakai ollama buat download GGUF, lalu copy
ollama pull gemma4:26b-instruct-q4_K_M

# Atau download langsung GGUF
wget https://huggingface.co/bartowski/gemma-4-26b-GGUF/resolve/main/gemma-4-26b.Q4_K_M.gguf

File Q4_K_M sekitar 15GB. Pas di-download, gue cek di HDD/SSD supaya nggak makan RAM.

4. CPU Offloading & Optimasi

Karena nggak ada GPU, semua layer model di-load ke RAM dan dihitung di CPU. Trik utama: maksimalkan thread dan matikan power saving.

# Run dengan setting optimal buat i5-10400 (12 thread)
./build/bin/llama-cli \
  -m gemma-4-26b.Q4_K_M.gguf \
  -t 12 \
  -ngl 0 \
  --mlock \
  -p "Jelaskan apa itu CPU offloading dalam 3 kalimat" \
  -n 256

Penjelasan flag:

• -t 12: pakai semua thread (6 core x 2).
• -ngl 0: 0 layer di GPU (karena nggak ada GPU). Semua di CPU.
• --mlock: lock model di RAM, cegah di-swap ke disk (penting banget, swap bikin lemot 100x).

Optimasi BIOS (kalau lo berani)

Gue masuk BIOS dan: matiin C-states, set power profile ke "Performance", enable XMP biar RAM jalan di 2666MHz bukan 2133. Hasilnya: token rate naik 15%.

5. Benchmark Nyata (i5-10400, 64GB RAM)

Gue ukur generate 256 token untuk prompt menengah. Angka jujur:

Model	Quant	Tokens/detik	256 token butuh
Gemma 4 2B	Q4	18 tok/s	14 detik
Gemma 4 9B	Q4	6.5 tok/s	39 detik
Gemma 4 26B	Q4_K_M	2.1 tok/s	122 detik
Gemma 4 26B	Q2_K	2.8 tok/s	91 detik

Jujur: 2.1 token/detik itu pelan banget. Buat chat real-time nggak nyaman. Tapi buat batch processing (summarize 50 dokumen semalam) atau coding assistant yang nunggu output? Masih usable. Gue pakai buat summarize meeting notes tiap pagi — jalan pas gue mandi.

6. Perbandingan dengan Model Lain

Di hardware yang sama, gue bandingin:

Model	Kualitas (subjektif)	Kecepatan	Cocok buat
Gemma 4 26B	8/10	2.1 tok/s	Reasoning kompleks, batch
Llama 3 8B	7/10	7 tok/s	Chat harian, cepet
Mistral 7B	6.5/10	7.5 tok/s	General, ringan
Phi-3 14B	7/10	4 tok/s	Coding, balanced

Kesimpulan gue: kalau lo sabar, Gemma 4 26B kasih output paling matang. Tapi buat interaksi harian, Llama 3 8B di 7 tok/s jauh lebih nyaman. Gue jalanin dua-duanya: 8B buat chat, 26B buat tugas berat semalam.

7. Serve sebagai API (biar bisa dipakai app lain)

Gue jalanin sebagai server biar aplikasi lain bisa call lewat HTTP:

./build/bin/llama-server \
  -m gemma-4-26b.Q4_K_M.gguf \
  -t 12 \
  -ngl 0 \
  --mlock \
  --host 127.0.0.1 \
  --port 8080

Lalu app lain bisa call:

curl http://127.0.0.1:8080/completion \
  -H "Content-Type: application/json" \
  -d '{"prompt": "Tulis fungsi Python buat baca CSV", "n_predict": 256}'

Penting: bind ke 127.0.0.1 aja, jangan 0.0.0.0, biar nggak ke-expose ke internet. Kalau mau remote, lewat SSH tunnel. Jangan lupa juga hardening SSH biar aksesnya aman.

8. Optimasi RAM Lebih Lanjut

• Matikan service nggak perlu: systemctl disable bluetooth cups biar RAM lega.
• Gunakan huge pages: sudo sysctl -w vm.nr_hugepages=2048 bikin akses memori model lebih kenceng.
• Pin CPU frequency: sudo cpupower frequency-set -g performance cegah throttling.
• Prioritas proses: nice -n -10 ./llama-server ... biar inference dapat prioritas CPU.

Setelah semua optimasi, token rate Gemma 4 26B naik dari 2.1 ke 2.4 tok/s. Nggak dramatis, tapi di batch 1000 prompt, itu menghemat 8 menit.

9. Kapan Hardware Bekas Masuk Akal?

Gue kasih honest take:

• Masuk akal kalau: lo udah punya PC bekas, cuma butuh privacy, dan nggak peduli slow output.
• Nggak masuk akal kalau: lo butuh real-time chat (beli GPU bekas RTX 3060 12GB jauh lebih baik), atau listrik mahal (PC lawas boros listrik).

PC gue makan ~65W idle, ~95W pas inference. Di tarif listrik Indonesia ~Rp 1.500/kWh, itu sekitar Rp 35rb/bulan. Murah dibanding API cloud yang bisa tembus Rp 500rb/bulan kalau lo heavy user.

10. Migrasi ke Ollama (alternatif lebih gampang)

Kalau ribet pakai llama.cpp manual, Ollama jauh lebih gampang dan artikel self-host Ollama gue bahas lengkap. Di hardware bekas gue, Ollama jalan oke:

curl -fsSL https://ollama.com/install.sh | sh
ollama serve &
OLLAMA_NUM_PARALLEL=1 OLLAMA_MAX_LOADED_MODELS=1 ollama run gemma4:26b-instruct-q4_K_M

Ollama otomatis detect CPU dan atur thread. Gue saranin Ollama buat pemula, llama.cpp buat yang mau tweak.

11. Real-World Use Case: Summarize 100 Artikel

Gue punya folder 100 artikel blog dalam format Markdown, mau digenerate jadi ringkasan 3 kalimat tiap satu. Di API cloud, itu bakal makan quota gede. Di PC bekas gue? Gue jalanin script bash yang loop tiap file, kirim ke llama-server lokal, simpan output. Total waktu: 40 menit (karena 26B pelan), tapi biaya: Rp 0. Gue tinggalin jalan pas tidur.

for f in articles/*.md; do
  prompt="Summarize in 3 sentences: $(cat $f)"
  curl -s http://127.0.0.1:8080/completion \
    -d "{\"prompt\": \"$prompt\", \"n_predict\": 200}" \
    >> summaries.txt
  echo "--- " >> summaries.txt
done

Itu contoh nyata gimana hardware bekas + LLM lokal ngasih ROI yang cloud nggak bisa kasih: gratis di边际, cuma bayar listrik.

Penutup

Jalanin Gemma 4 26B di hardware bekas tanpa GPU itu possible, tapi jujur pelan. Dia buktiin kalau lo nggak harus beli GPU jutaan buat eksperimen AI lokal. Manfaatin PC jadul, tambahin RAM bekas, dan lo dapet LLM pribadi yang datanya nggak kemana-mana. Buat gue, ini investasi Rp 3 juta yang balikin nilai berkali-kali lipat dalam bentuk privacy dan belajar sistem AI.

Mulai dari model kecil (2B atau 9B) kalau lo cuma punya 8-16GB RAM. Naik level ke 26B pas lo dapet RAM cukup. Dan jangan lupa pelajari troubleshooting Linux kalau suatu saat sistem lo aneh. Buat yang mau explore lebih, Docker buat DevOps juga berguna buat kelola service AI lo.