Qwen 3.8 27B di Laptop Bisa Membaca Bobot Model, 46 Menit per Tebakan

Model Qwen 3.8 27B berukuran 17 GB bisa menebak jenis permainan dari angka bobot jaringannya saja, tanpa menjalankan kode atau memberi umpan balik lingkungan. Pada percobaan Simon Willison yang dipublikasikan 3 November 2026, model itu menjawab Pac-Man dengan keyakinan 72 persen setelah 46 menit 12 detik dan 43.506 token penalaran di sebuah laptop. Hasil lengkapnya ada di catatan Willison, dan prompt ujinya tersedia di repositori lm_understand-logs.

TL;DR

• Prompt berisi daftar angka bobot satu jaringan, dan model diminta menebak game yang dilatih.
• Qwen 3.8 27B lokal menebak Pac-Man dalam 46 menit 12 detik dengan 43.506 token penalaran.
• Kimi K3.1 Pro menebak Breakout dalam 9 menit 41 detik dengan 19.493 token penalaran.
• Makalah asalnya mengklaim GPT-6 Astra bisa mengubah 0,016 persen bobot dan menaikkan MATH-500 dari 7,9 ke 48,1 persen.
• Dua kritikus publik menyebut sebagian klaim itu mencampur dua kemampuan berbeda.

Apa yang sebenarnya diuji?

Yang diuji adalah satu pertanyaan sempit: kalau model hanya diberi daftar angka bobot sebuah policy network, bisakah ia menyimpulkan tugas jaringan itu? Empat jaringan dilatih untuk memainkan versi 10x10 dari Breakout, Pong, Pac-Man, dan Freeway, game Atari 2600 tahun 1981. Promptnya identik kecuali angka bobotnya, dan model diberi instruksi tegas: tidak ada tool, tidak ada eksekusi kode, tidak ada kalkulator, satu jawaban.

Pembatasan itu yang membuat eksperimen ini menarik. Kalau model boleh menjalankan kode, ia bisa memuat bobot, menjalankan forward pass, dan mengamati perilaku jaringan. Itu tugas yang jauh lebih mudah dan bukan bukti pemahaman langsung. Dengan melarang tool, pengujian memaksa model bekerja dari pola angka.

Willison menulis bahwa makalah asal, berjudul "Sparks of Weight-Space Programming", sebenarnya mencampur dua topik: apa yang bisa dilakukan model terhadap bobot mentah tanpa tool, dan bagaimana model yang punya kode bisa memperbarui model lain. Ia memilih fokus ke topik pertama karena menurutnya lebih menarik dan lebih mudah diuji ulang.

Klaim di makalah itu besar. GPT-6 Astra disebut bisa mengetahui tujuan pelatihan sebuah jaringan hanya dengan membaca bobotnya, bisa menulis jaringan kecil dari nol yang mengalahkan jaringan hasil pelatihan PPO 100 juta langkah, dan bisa memperbaiki masalah penalaran berulang di Qwen3.5-0.8B dengan mengedit 0,016 persen bobot. Perbaikan itu diklaim menaikkan MATH-500 dari 7,9 persen ke 48,1 persen dan melipattigakan IFEval.

Kenapa hasil ini menuai kritik?

Karena konteksnya mudah bergeser dari "model bisa membaca bobot" menjadi "model bisa memperbaiki model", dan dua hal itu tidak setara. Penulis spaCy Matthew Honnibal menyebut makalah itu menyesatkan karena mencampur keduanya. Sean Goedecke membedah contoh Qwen3.5-0.8B dan menyimpulkan langkah yang diambil setara dengan prosedur yang biasa dilakukan peneliti machine learning, bukan bukti bahwa model memahami bobot secara langsung.

Kritik itu tidak membatalkan eksperimen Willison. Ia justru memperjelas batasnya. Menebak game dari bobot adalah tugas klasifikasi dengan empat kemungkinan jawaban, dan model bisa mencapainya lewat pola statistik tanpa pemahaman struktural. Yang membuat hasilnya tetap bermakna adalah biayanya: 43.506 token penalaran untuk satu tebakan, dijalankan lokal tanpa API.

Ada juga detail teknis yang layak dicatat. Willison harus menaikkan context window di LM Studio, karena konteks bawaan 8192 gagal dengan error. Ia juga menaikkan timeout lewat variabel lingkungan karena satu tebakan bisa berjalan hampir satu jam. Prompt dikirim memakai opsi -f di tool llm, dengan plugin LM Studio yang menghubungkannya ke server lokal.

Berapa biaya menjalankannya di laptop?

Biaya uangnya nol kalau model berjalan lokal, tapi biaya waktunya nyata. Satu tebakan Pac-Man memakan 46 menit 12 detik, dan Pong 1 jam 4 menit 54 detik. Bandingkan dengan Kimi K3.1 Pro lewat API yang menebak Breakout dalam 9 menit 41 detik. Untuk eksperimen sekali jalan, menunggu satu jam di laptop masih masuk akal. Untuk seratus percobaan, tidak.

Model	Tempat jalan	Waktu	Token penalaran	Hasil
Qwen 3.8 27B	Laptop, LM Studio	46 menit 12 detik	43.506	Pac-Man, keyakinan 72 persen
Qwen 3.8 27B	Laptop, LM Studio	1 jam 4 menit 54 detik	tidak dilaporkan	Pong
Kimi K3.1 Pro	API OpenRouter	9 menit 41 detik	19.493	Breakout

Angka 17 GB penting untuk konteks perangkat. Itu ukuran berkas model yang dipakai Willison, dan ia menyebutnya masih terasa dekat dengan model proprietary terkemuka tahun 2025. Laptop dengan RAM 32 GB bisa menjalankannya, laptop 16 GB akan kesulitan terutama karena context window yang diperbesar ikut memakan memori.

Token penalaran yang besar menjelaskan durasinya. Model tidak menjawab langsung; ia menulis rantai penalaran panjang sebelum menyimpulkan. Untuk satu pertanyaan dengan empat kemungkinan jawaban, 43.506 token adalah biaya yang sangat tinggi. Itu juga alasan hasil ini belum bisa disebut efisien, hanya bisa disebut berhasil.

Yang perlu dicatat, tebakan Pong tidak disertai angka keyakinan di kutipan Willison. Ia menulis hasilnya mengidentifikasi Pong dengan benar, tapi tidak semua run dilaporkan dengan format yang sama. Perbedaan format pelaporan itu sendiri adalah pengingat bahwa ini catatan eksplorasi, bukan makalah dengan protokol ketat.

Apa gunanya bagi developer?

Gunanya bukan untuk produksi, setidaknya belum. Yang berguna adalah tiga hal yang bisa langsung dipakai. Pertama, prompt yang bisa direproduksi: berkas prompt di repositori itu bisa dijalankan dengan model apa pun yang lo punya, dan itu cara termurah menguji klaim siapa pun tentang kemampuan model.

Kedua, pemahaman soal batas context. Kegagalan dengan konteks 8192 bukan bug model, tapi konsekuensi ukuran input. Daftar bobot untuk jaringan kecil pun sudah memakan ribuan token, dan model 27B butuh ruang bernapas untuk penalaran. Siapa pun yang mencoba hal serupa akan menabrak batas yang sama.

Ketiga, pelajaran tentang cara membaca klaim riset. Makalah yang menyebut dirinya "blog post" tapi berbentuk paper, dengan klaim besar dan kritik publik dari peneliti lain, adalah contoh bagus untuk melatih kebiasaan: cari bagian yang bisa diuji ulang, lalu uji. Willison melakukannya dengan model lokal dan hasilnya sebagian mendukung, sebagian tidak menyentuh klaim utama.

• Kalau mau mencoba, siapkan model dengan context window besar dan timeout yang longgar.
• Jalankan satu prompt dulu untuk mengukur waktu, sebelum mengantre beberapa prompt sekaligus.
• Catat token penalaran, bukan hanya jawaban akhir, karena biaya sebenarnya ada di situ.
• Uji juga dengan model lebih kecil untuk melihat apakah hasilnya bertahan atau hanya kebetulan.

Untuk kebutuhan praktis di Indonesia, di mana GPU mahal dan koneksi ke API luar bisa lambat, kemampuan menjalankan model 17 GB di laptop adalah kabar yang relevan. Bukan karena kita butuh model membaca bobot, tapi karena model sekelas itu sekarang bisa dipakai untuk eksperimen yang dulu butuh server. Alat seperti LM Studio membuat pemasangan dan pengaturan context menjadi beberapa klik, dan itu menurunkan ambang masuk secara nyata.

Satu catatan penutup soal ekspektasi. Kemampuan membaca bobot bukan berarti model memahami arsitektur jaringan secara mendalam, dan belum ada bukti bahwa hasil ini bisa dipakai untuk debugging model secara rutin. Yang terbukti hari ini: sebuah model 27B di laptop bisa menebak tugas sebuah jaringan dari angkanya, dengan biaya waktu hampir satu jam per tebakan. Itu menarik, tapi belum menjadi alat kerja.

Bagaimana cara mereproduksi eksperimen ini?

Bahan yang dibutuhkan tiga: satu model dengan context window besar, satu berkas prompt dari repositori, dan kesabaran. Berkas prompt tersedia publik di folder exp1_which_game untuk empat game, dan masing-masing berisi daftar bobot plus instruksi yang sama. Willison memeriksa sendiri bahwa prompt untuk keempat game identik kecuali angka bobotnya, dan itu detail penting karena tanpa pemeriksaan seperti itu, perbandingan bisa menjadi tidak adil tanpa disadari.

Langkahnya sederhana. Unduh satu berkas prompt, jalankan dengan model pilihan lo, lalu catat waktu, jumlah token penalaran, dan jawaban akhir. Ulangi untuk dua atau tiga game lain. Kalau model yang sama menjawab benar untuk semua game dengan alasan yang masuk akal, hasilnya lebih kuat daripada satu tebakan yang kebetulan tepat.

Yang perlu disiapkan di sisi perangkat: ruang disk untuk berkas model, RAM yang cukup untuk context window besar, dan pengaturan timeout yang longgar. Pada percobaan Willison, timeout bawaan alat harus dinaikkan lewat variabel lingkungan karena satu jawaban bisa memakan waktu hampir satu jam. Tanpa itu, proses akan berhenti di tengah penalaran dan hasilnya tidak bisa dibaca.

Kalau tujuan lo hanya ingin tahu apakah model bisa melakukannya, satu percobaan cukup. Kalau tujuan lo ingin membandingkan model, minimal tiga game per model dan catat variansinya. Satu hasil benar dari satu game tidak membuktikan apa pun selain bahwa tebakan itu mungkin.

Yang juga layak dicatat, eksperimen ini tidak memakai data baru atau model baru. Semua bahannya publik: prompt, bobot, dan model yang bisa diunduh. Itu membuat klaim apa pun di sekitarnya bisa diuji oleh siapa saja yang punya laptop dengan memori cukup.

FAQ

Apakah Qwen 3.8 27B benar semua tebakannya?

Willison melaporkan tiga percobaan: Pac-Man, Pong, dan satu lagi dari empat game yang tersedia. Tidak semua run dilaporkan dengan format lengkap, dan tidak ada klaim akurasi menyeluruh dari empat game tersebut.

Apa itu Weight-Space Programming?

Istilah dari makalah "Sparks of Weight-Space Programming" untuk aktivitas model membaca dan mengubah bobot jaringan secara langsung, tanpa menulis loop pelatihan dan tanpa umpan balik lingkungan.

Kenapa harus pakai context window besar?

Karena daftar bobot dikirim sebagai teks dan memakan ribuan token. Konteks 8192 gagal, dan model juga butuh ruang untuk menulis rantai penalaran yang panjang sebelum menjawab.

Bisakah dijalankan tanpa GPU?

Bisa, tapi lambat. Willison menjalankannya di laptop dengan model 17 GB, dan satu tebakan butuh hampir satu jam. Waktu itu sebagian berasal dari ukuran model, sebagian dari panjang penalaran.

Apakah ini berarti model bisa memperbaiki dirinya sendiri?

Belum. Klaim perbaikan bobot di makalah berasal dari model frontier dengan protokol berbeda, dan sudah dikritik publik. Yang bisa direproduksi hari ini adalah tebakan tugas jaringan dari bobotnya.

Rekomendasi Tools & Layanan

Kalau lo mau langsung praktikkan panduan di atas, dua layanan yang gue pake sehari-hari: free trial Alibaba Cloud buat coba-coba tanpa biaya di awal, dan ECS instance 9th-gen kalau udah siap naik ke VPS production.