Cache-to-Cache:when LLM Saling Ngobrol Tanpa Bahasa, Proyeksi KV-Cache Antar Model

Multi-agent system dan pipeline LLM yang lagi dipakai di produksi punya satu boros yang jarang dihitung: setiap kali model A menyelesaikan tugasnya dan meneruskan hasil ke model B, model A harus mengubah representasi internalnya menjadi token-token teks, satu per satu, model B membaca teks itu lalu mengubahnya kembali menjadi representasi internal. Dua kali konversi, satu leher botol generasi token. Paper Cache-to-Cache (C2C) dari tim Tsinghua dan Infinigence yang kembali ramai dibahas di Hacker News pertengahan September 2026 mempertanyakan kebiasaan itu dengan satu kalimat: bisakah LLM berkomunikasi tanpa bahasa?

Abstrak dan versinya yang sudah direvisi (v1 terbit 3 Oktober 2025, v2 2 Maret 2026) bisa dibaca di arXiv 2510.03215. Kode-nya dirilis. Ini artikel ketiga di toolkuy soal komunikasi antar model yang bukan lewat teks, tapi kali ini bedah klaim angkanya langsung dari paper, bukan dari utas viral.

Masalahnya: Teks Adalah Leher Botol, Bukan Medium Alami

Representasi "pikiran" sebuah transformer ada di KV-cache, key-value per layer yang menyimpan konteks atensi untuk setiap posisi token. Ketika model menjawab dengan teks, semua kekayaan semantik di vektor itu diproyeksikan ke distribusi atas vocabulary, lalu dibuang ke simbol diskrit. Informasi yang hilang dalam proses itu bukan noise belaka, ia bagian dari mengapa dua model yang "berbicara lewat teks" sering saling salah paham walau masing-masing cukup pintar.

Tim C2C mengawalinya dengan eksperimen oracle: memperkaya KV-cache target dengan informasi semantik, tanpa menambah ukuran cache. Hasilnya, kualitas respons naik. Kesimpulan sementara yang mereka ambil: KV-cache adalah medium komunikasi antar model yang sah, karena membawa lebih banyak sinyal daripada teks yang sudah terkompres ke token.

Cara Kerja C2C: Proyeksi KV, Bukan Terjemahan

Rancangan intinya sebuah jaringan proyeksi. Model sumber memproses prompt, model target memulai generasinya, dan sebuah neural network memproyeksikan KV-cache model sumber ke ruang representasi model target, lalu memfusikannya. Ada gating mechanism yang bisa belajar memilih layer mana di model target yang benar-benar diuntungkan dari transfer cache, dan layer mana yang lebih baik dibiarkan independen. Tidak ada teks tengah yang pernah dihasilkan untuk keperluan komunikasi ini.

Angka yang Diklaim Paper

Dari abstrak v2, apa yang dinyatakan penulisnya:

• Rata-rata akurasi 6,4 sampai 14,2 persen lebih tinggi dibanding model individual (tanpa komunikasi)
• Unggul sekitar 3,1 sampai 5,4 persen dibanding komunikasi teks
• Speedup latensi rata-rata 2,5 kali, karena tidak perlu menghasilkan token per token hanya untuk dikonsumsi model berikutnya

Perlu dibaca dengan kalibrasi yang tepat: gain akurasi itu datang dari komplementaritas dua model yang berbeda kekuatannya, bukan dari komunikasi yang membuat model lemah jadi pintar. Dan speedup 2,5x berlaku untuk segmen komunikasi antar model, bukan end-to-end seluruh pipeline aplikasi.

Batasan yang Harus Dipahami Sebelum Baper

Ada beberapa konsekuensi desain yang membuat C2C belum akan mengubah cara lo membangun agent minggu depan:

• Butuh akses white-box penuh ke KV-cache. Model yang dipanggil lewat API, dengan response yang cuma berupa teks, tidak bisa diajak komunikasi cache-to-cache. Ini otomatis membatasi C2C ke model yang lo host sendiri atau vendor yang membuka internalnya.
• Jaringan proyeksi harus dilatih. Jembatan antar dua model adalah komponen yang dilatih untuk pasangan spesifik, sehingga cost risetnya bukan nol-nya integrasi. Semakin banyak pasangan model, semakin banyak jembatan.
• Korpus eksperimennya model-model kecil. Hasil dilaporkan pada rentang skala yang relatif kecil dibanding model frontier produksi yang dipakai orang hari ini. Transfer ke model 100 miliar parameter plus masih pertanyaan terbuka.

Poin terakhir ini yang membedakan klaim paper dari cara viral menampilkannya. Paper-nya sendiri tidak mengklaim telah merevolusi multi-agent di produksi; klaimnya spesifik: medium KV-cache layak, dan pada setting yang mereka uji, lebih baik dari teks dengan angka di atas.

Konteks Industri: Kenapa Topik Ini Memanas Lagi

Menariknya, ide "buang teks dari tengah" sudah jadi benang merah 2026. Di level aplikasi, coding agent berhenti menjadi chat dan berpindah ke protokol terstruktur seperti MCP, yang juga tidak mengandalkan percakapan natural untuk antar komponen. Di level infrastruktur, tim GLM membangun fondasi inferensi sendiri karena routing token adalah biaya riil. Dan orang yang migrasi dari cloud LLM ke hosting sendiri tahu persis: dalam pipeline panjang, latensi dan cost itu hidup di sambungan antar model, bukan hanya di dalam satu model.

C2C menempatkan dirinya di sambungan itu. Kalau idenya bertahan di skala besar, arsitektur multi-model 2027 bisa terlihat seperti bus data internal antar model, dengan teks hanya sebagai endpoint untuk manusia.

Yang Layak Diambil Developer Hari Ini

• Pisahkan komunikasi mesin-ke-mesin dari kanal teks. Pipeline yang sekarang merangkai prompt dengan kalimat natural antar node akan lebih murah, lebih cepat, dan lebih deterministik kalau antar node memakai format terstruktur (JSON, protobuf, ID referensi), seadanya perbandingan dengan transfer penuh KV-cache.
• Anggap biaya generasi token sebagai budget riil. Agent yang menjawab 2000 token untuk konsumsi 3000 token internalnya adalah pembakar GPU.
• Simpan skor jujur dari benchmark lo sendiri: kalau mau mencoba C2C-nya, setting paling masuk akal hari ini adalah dua model open-weight skala kecil sampai menengah yang lo host berdampingan.

Isi Kantong Seorang Transformer: Kenapa KV-Cache Besar dan Mahal

Supaya klaim "berkomunikasi lewat KV-cache" terasa bobotnya, perlu jelas dulu apa yang dipindahkan. Saat model memproses sebuah prompt, setiap layer attention menyimpan key tensor dan value tensor untuk semua posisi token yang sudah dilihat. Itulah KV-cache, dan ia adalah memori kerja model pada sesi itu. Pertumbuhannya linear terhadap panjang konteks dan jumlah layer, konsekuensinya dalam produksi: serving LLM hari ini sering dibatasi bandwidth memori, bukan oleh FLOPs komputasi. Decode token demi token artinya membaca ulang cache besar itu setiap langkah.

Ketika sebuah pipeline multi-model mengirim hasil antar model lewat teks, model kedua pada dasarnya membangun ulang KV-cachenya sendiri dari nol sambil membaca token hasil model pertama. Semua struktur probabilitas dan nuansa yang ada di representasi model pertama sudah dibuang di ujung generator, dan model kedua tidak pernah mendapatkannya. C2C memotong proses itu dengan memindahkan dan memetakan ulang tensor itu langsung. Karena itu juga klaim speedup-nya masuk akal: yang dihilangkan bukan hanya konversi, tapi seluruh fase generasi token untuk segmen komunikasi.

Di Mana Ide Ini Cocok dan Di Mana Tidak

Setting yang paling masuk akal untuk transfer langsung seperti ini adalah tempat di mana lo memegang kedua model sekaligus. Router cerdas yang meneruskan query ke spesialis, ensemble yang menggabungkan jawaban beberapa model, pipeline planner-then-executor: di sini teks jadi perantara yang mahal. Sebaliknya, kalau kedua model adalah layanan tertutup yang lo panggil lewat API, tidak ada KV-cache yang bisa disentuh; komunikasinya akan tetap teks atau JSON selamanya, dan itu tidak masalah karena memang untuk manusialah teks itu ada.

Ada juga kompromi yang bisa diambil desainer sistem hari ini tanpa menunggu adopsi riset: buat antar-node pipeline berpindah dalam representasi paling kecil yang cukup, dan biarkan teks hanya di titik yang membutuhkan penjelasan manusia. Log error, ID baris database, path file, atau struktur terstruktur lain hampir selalu menjawab lebih baik daripada ringkasan kalimat yang dihasilkan model untuk model lain. Formatnya memang teks, tapi semantiknya bukan prosa.

Blueprint Eksperimen Kalau Lo Mau Mereplikasi

Bagian paling sehat dari paper seperti ini adalah kodenya dirilis. Kalau lo penasaran mencoba, peta jalannya begini. Pilih dua model open-weight kecil yang lo host sendiri, satu sebagai perumus masalah dan satu sebagai penilai atau penyelesai, dalam rentang skala yang mirip dengan paper supaya hasil pertama lo sebanding. Jalankan tiga konfigurasi pada benchmark yang sama: model target sendirian, keduanya disambungkan teks, dan keduanya disambungkan C2C. Catat akurasi, latensi segmen transfer, dan VRAM. Dari pengalaman riset yang mirip-mirip, harapan yang realistis: gain akurasi kecil tapi konsisten di tugas yang domainnya terpisah, dan latensi transfer jauh lebih baik; kalau hasil lo lebih buruk dari itu, kemungkinan besar pelatihan proyeksinya belum konvergen, bukan idenya yang salah.

Satu peringatan jujur: ini eksperimen riset, bukan jalur produksi. Jembatan yang dilatih per pasangan model berarti setiap pergantian versi model menuntut pengerjaan ulang. Nilai investasi eksperimennya ada di pemahaman lo tentang di mana biaya komunikasi sistem lo sebenarnya hidup.

Reaksi Komunitas: Antara Kagum dan Skeptis

Momen naiknya kembali thread ini ke halaman depan Hacker News juga informatif dengan caranya sendiri. Sebagian komentar menanggapi sebagai validasi tesis lama bahwa token adalah antarmuka, bukan medium ideal; sebagian lain menyinggung pelajaran yang sudah lebih dulu dipraktikkan tim infrastruktur internal, bahwa format transfer yang tepat selalu mengalahkan prosa. Keduanya sikap yang sehat. Sebuah paper menunjuk satu kemungkinan desain, bukan vonis bahwa seluruh cara kita membangun agent salah. Yang membedakan klaim riset dan klaim viral adalah kolom keterbatasan, dan C2C punya kolom itu: mediumnya menuntut akses internal model yang hanya terbuka di dunia open-weight.

Simpulan

Cache-to-Cache bukan tombol yang bisa ditempel ke aplikasi agent lo malam ini. Ia bukti arah: teks adalah antarmuka untuk manusia, bukan media optimal untuk mesin. Angka 6,4-14,2 persen akurasi dan 2,5x latensi adalah klaim terkontrol yang teruji di lab di laboratorium dengan model yang bisa dibedah. Sisa ceritanya adalah kerja teknik biasa: mereplikasi, mengecek transfer ke skala yang lebih besar, dan menunggu apakah komunitas bisa menjinakkan biaya pelatihan jembatan antar model.

Sumber

• arXiv 2510.03215 (v2, 2 Maret 2026): Cache-to-Cache: Direct Semantic Communication Between Large Language Models
• Diskusi Hacker News, 17-19 September 2026