Cerebras Jalankan Model 3 Triliun Parameter di 59 Wafer WSE-3T

Cerebras menjalankan model frontier berukuran 3 triliun parameter seperti Kimi K3 di atas 59 wafer WSE-3T, bukan pada satu chip tunggal. Setiap wafer membawa 44 GB SRAM on-chip, dan menurut catatan teknis resmi perusahaan, susunan itu menghasilkan throughput 1.000 sampai 2.000 token per detik untuk model multi-triliun parameter.

TL;DR

• Satu wafer WSE-3T punya 44 GB SRAM on-chip, sementara satu lapisan model hanya menempati sekitar 16 GB.
• Kimi K3 dengan 3 triliun parameter butuh 59 wafer: 35 wafer untuk lapisan linear-attention dan 24 wafer untuk lapisan dense.
• Antar wafer hanya mengalirkan aktivasi lewat RDMA over Ethernet, sekitar 2 mikrodetik per hop.
• Cerebras mengukur efisiensi dengan token per detik per megawatt, bukan token per detik saja.

Berapa wafer yang dibutuhkan untuk model 3 triliun parameter?

Untuk Kimi K3, jawabannya 59 wafer. Lapisan linear-attention memakan 35 wafer dan lapisan dense memakan 24 wafer, sehingga totalnya 35 ditambah 24 sama dengan 59 wafer WSE-3T yang disambung menjadi satu pipeline. Angka ini bukan perkiraan pemasaran, melainkan hasil perhitungan yang dijabarkan langkah demi langkah di catatan teknis Cerebras.

Cara menghitungnya dimulai dari ukuran lapisan, bukan dari jumlah parameter. Model 3 triliun parameter yang disimpan pada 4 bit per parameter berarti sekitar 1,5 terabita bobot mentah, dan ketika disebar ke lapisan-lapisan, satu lapisan rata-rata menempati sekitar 16 GB memori saat dijalankan. Kimi K3 sendiri tersusun dari 69 lapisan linear-attention dan 24 lapisan dense, dan komposisi itu menjelaskan kenapa jumlah wafer untuk tiap jenis lapisan berbeda.

Kunci arsitekturnya ada di angka 44 GB. Satu wafer WSE-3T menyediakan 44 GB SRAM on-chip, dan satu lapisan hanya butuh sekitar 16 GB. Artinya satu wafer masih menyisakan ruang setelah menampung satu lapisan, sehingga sebuah lapisan tidak perlu dibelah ke beberapa chip. Sisa ruang itu tidak menganggur: pada lapisan dense, sisa SRAM dipakai untuk KV cache.

Lapisan linear-attention berperilaku berbeda. Ia tidak menyimpan key dan value untuk setiap token, melainkan hanya menyimpan state berukuran tetap per permintaan, berapa pun panjang konteksnya. Karena jejak memorinya kecil, dua lapisan linear-attention bisa masuk ke satu wafer, yaitu 2 kali 16 GB sama dengan 32 GB, dan masih menyisakan ruang. Dari sinilah angka 35 wafer untuk 69 lapisan linear-attention berasal.

Kenapa lapisan model tidak perlu dibelah antar wafer?

Karena SRAM satu wafer lebih besar dari kebutuhan satu lapisan. Satu wafer Cerebras punya 44 GB memori on-chip, sementara satu lapisan hanya sekitar 16 GB, jadi dalam banyak kasus bobot lapisan tetap diam di tempat dan tidak perlu dipotong-potong.

Ini penting untuk biaya komunikasi. Kalau sebuah lapisan harus dibelah, hasil antara dari separuh lapisan pertama harus dikirim ke chip lain sebelum lapisan berikutnya bisa dihitung, dan trafik itu tumbuh seiring jumlah pembelahan. Dengan pola satu lapisan per wafer, yang berpindah antar tahap hanya aktivasi, bukan bobot. Cerebras menyebut bahwa dalam sebagian besar kasus bobot model tidak pernah bergerak sama sekali.

Bagi pembaca yang biasa mendeploy model di kluster GPU, pola ini terasa terbalik. Di kluster GPU, bobot yang besar justru harus tersebar ke banyak kartu, dan komunikasi antar kartu menjadi bagian besar dari biaya inference. Pendekatan wafer menukar kebutuhan komunikasi bobot dengan kebutuhan komunikasi aktivasi yang jauh lebih kecil.

Aspek	Lapisan dense (full-attention)	Lapisan linear-attention
Lapisan per wafer	1 lapisan	2 lapisan (2 kali 16 GB)
Kebutuhan KV cache	Ada, tumbuh mengikuti jumlah token aktif	Tidak ada, hanya state tetap per permintaan
Jumlah di Kimi K3	24 lapisan	69 lapisan
Wafer yang dialokasikan	24 wafer	35 wafer

Bagaimana wafer-wafer itu disambungkan?

Lewat RDMA over Ethernet, dengan sekitar 2 mikrodetik per hop. Setelah compiler memetakan lapisan ke wilayah wafer, runtime menyusun jalur token antar wafer, dan yang dikirim antar tahap hanya aktivasi.

Cerebras memakai analogi lini perakitan untuk menjelaskan alurnya. Wafer pertama menjalankan lapisan 1 sampai 2 lalu mengirim aktivasinya ke wafer kedua, wafer kedua menjalankan lapisan 3 sampai 4, dan seterusnya sampai wafer terakhir menghasilkan token berikutnya. Bobot untuk tiap tahap tetap berada di wafer-nya masing-masing, tidak ikut berpindah.

Pertanyaan lanjutan yang wajar muncul: kalau token harus melewati setiap wafer secara berurutan, bukankah setiap wafer menganggur menunggu giliran, sehingga sistem berjalan seolah batch size-nya satu? Cerebras menyebut ini miskonsepsi umum. Pipeline tetap memproses banyak permintaan sekaligus, sehingga ketika tahap pertama sibuk mengerjakan permintaan baru, tahap terakhir masih menyelesaikan permintaan yang masuk sebelumnya. Ukuran batch bukan satu, dan tidak ada tahap yang diam menunggu.

Yang membatasi berapa banyak permintaan bisa berjalan bersamaan adalah memori on-chip yang tersisa setelah bobot lapisan. Setiap permintaan yang sedang berjalan membutuhkan KV cache sendiri di setiap wafer lapisan dense, jadi ukuran SRAM sisa itulah plafonnya. Karena itu, KV cache hanya perlu dihitung untuk lapisan dense, bukan untuk lapisan linear-attention.

Apa metrik yang paling masuk akal untuk menilai sistem inference seperti ini?

Token per detik per megawatt. Cerebras menegaskan bahwa concurrency maupun batch size tidak cukup menggambarkan efisiensi sebuah sistem inference, sehingga metrik yang lebih bermakna adalah total throughput token per satuan daya, diukur pada kecepatan generasi keluaran yang sama.

Alasannya praktis. Dua sistem bisa menuliskan angka token per detik yang sama-sama tinggi, tetapi kalau salah satunya menarik daya jauh lebih besar, biaya per token yang ditanggung operator berbeda jauh. Metrik daya memaksa perbandingan dilakukan pada kondisi setara, sesuatu yang sering hilang ketika vendor hanya menyebut angka puncak.

Untuk konteks yang lebih luas soal skala model dan token, Cerebras merujuk analisis di Modal. Spesifikasi chip yang dipakai, termasuk kapasitas SRAM per wafer, ada di halaman resmi WSE-3T, sedangkan penjabaran lengkap pemetaan lapisan ke wafer ada di catatan teknis Cerebras.

Bagaimana pendekatan ini diperluas ke model yang lebih besar lagi?

Dengan menambah wafer. Metodenya bersifat aritmetika: hitung kebutuhan memori untuk bobot dan state permintaan, sebar model ke sejumlah wafer, lalu sambungkan wafer-wafer itu menjadi pipeline. Setiap wafer tambahan menyumbang compute dan memori on-chip, sehingga model yang melebihi kapasitas satu chip pun bisa ditampung.

Implikasinya untuk tim yang merancang infrastruktur cukup jelas. Perencanaan kapasitas bergeser dari sekadar menghitung jumlah kartu GPU menjadi menghitung berapa wafer yang dibutuhkan untuk menampung lapisan, berapa lagi untuk menampung KV cache pada tingkat permintaan bersamaan yang ditargetkan, dan seberapa besar biaya daya pada konfigurasi itu. Tiga variabel itu saling mengikat, dan menaikkan salah satunya tidak otomatis menaikkan throughput efektif.

Yang tidak berubah adalah batas fisiknya. SRAM per wafer tetap, dan panjang konteks tetap menentukan besar KV cache per permintaan pada lapisan dense. Selama dua hal itu tetap, penambahan wafer menaikkan plafon permintaan bersamaan sekaligus throughput total, tetapi tidak menghapus trade-off antara jumlah permintaan bersamaan dan panjang konteks yang dilayani.

Apa arti kecepatan 1.000 sampai 2.000 token per detik bagi pengguna akhir?

Artinya jawaban panjang selesai dalam hitungan detik, bukan puluhan detik. Pada 1.000 token per detik, jawaban 1.000 token butuh sekitar satu detik, sedangkan pada 2.000 token per detik jawaban sepanjang itu selesai dalam sekitar setengah detik.

Bagi pemakaian chat biasa, batas yang paling terasa justru waktu sampai token pertama. Bagi agent yang memanggil perkakas berulang kali, throughput keluaran malah menjadi penentu, karena satu tugas bisa menuntut puluhan ribu token keluaran yang harus dibaca, diputuskan, lalu ditindaklanjuti. Pada beban kerja seperti itu, selisih kecepatan sebesar satu orde mengubah tugas yang tadinya berjalan dalam menit menjadi detik, dan itu perbedaan yang terasa di produk, bukan di grafik benchmark.

Yang perlu diingat, angka tersebut menggambarkan kecepatan keluaran. Waktu tunggu awal, panjang konteks masukan, dan jumlah permintaan bersamaan tetap menentukan pengalaman nyata. Sistem yang sangat cepat saat melayani satu permintaan bisa turun drastis ketika antrean panjang, jadi angka puncak bukan jaminan angka saat sibuk.

Apa yang perlu diukur sendiri sebelum memindahkan beban kerja?

Ukur pada beban kerja Anda sendiri, dengan panjang konteks dan panjang keluaran yang benar-benar dipakai. Angka pemasok biasanya diambil pada kondisi terbaik: keluaran pendek, konteks kecil, satu permintaan. Beban nyata jarang sebaik itu.

Tiga metrik layak dicatat lebih dulu: waktu sampai token pertama, kecepatan keluaran pada panjang konteks yang Anda pakai, dan biaya per juta token untuk campuran masukan serta keluaran Anda. Tambahkan metrik keempat yang sering dilupakan, yaitu konsistensi, karena layanan yang cepat pada p50 tapi melambat lima kali pada p95 akan terasa lebih buruk daripada layanan yang sedikit lebih lambat tapi rata.

Setelah keempatnya ada, barulah keputusan pindah atau tidak bisa dipertanggungjawabkan. Tanpa baseline itu, klaim kecepatan dari pemasok hanya menjadi alasan untuk berharap, bukan dasar untuk memutuskan.

FAQ

Apakah model 3 triliun parameter hanya bisa jalan di wafer-scale?

Tidak. Model itu bisa dijalankan di kluster GPU, tetapi bobotnya harus dipecah ke banyak kartu dan komunikasi antar kartu menjadi bagian besar dari biaya inference. Pendekatan wafer menempatkan satu lapisan penuh di satu wafer, sehingga yang berpindah hanya aktivasi.

Berapa jumlah maksimum permintaan bersamaan di sistem ini?

Dibatasi memori on-chip yang tersisa setelah bobot lapisan terpasang. Setiap permintaan yang sedang berjalan membutuhkan KV cache sendiri di tiap wafer lapisan dense, jadi ukuran SRAM sisa itulah yang menentukan plafonnya, bukan jumlah wafer semata.

Apakah angka 1.000 sampai 2.000 token per detik berlaku untuk semua model?

Tidak. Angka itu ditulis Cerebras untuk model multi-triliun parameter pada konfigurasi wafer yang dijelaskan, dan throughput bergantung pada jumlah wafer, panjang konteks, serta jumlah permintaan bersamaan yang sedang dilayani.

Di mana bobot Kimi K3 bisa dilihat?

Catatan Cerebras menyebutnya sebagai model open source 3 triliun parameter. Bobot keluarga model Kimi dipublikasikan di organisasi HuggingFace Moonshot AI, yang menjadi rujukan untuk mengunduh dan memeriksa konfigurasinya.

Rekomendasi Tools & Layanan

Beberapa layanan yang dipake di panduan ini: free trial Alibaba Cloud (coba gratis, sesuaikan kebutuhan), dan halaman promo terbaru buat cek diskon yang lagi jalan bulan ini.