Cache-to-Cache: when LLM Saling Ngobrol Tanpa Bahasa, Proyeksi KV-Cache Antar Model

Multi-agent system dan pipeline LLM yang lagi dipakai di produksi punya satu boros yang jarang dihitung: setiap kali model A menyelesaikan tugasnya dan meneruskan hasil ke model B, model A harus mengubah representasi internalnya menjadi token-token teks, satu per satu, model B membaca teks itu lalu mengubahnya kembali menjadi representasi internal. Dua kali konversi, satu leher botol generasi token. Paper Cache-to-Cache (C2C) dari tim Tsinghua dan Infinigence yang kembali ramai dibahas di Hacker News pertengahan September 2026 mempertanyakan kebiasaan itu dengan satu kalimat: bisakah LLM berkomunikasi tanpa bahasa?

TL;DR

• Paper Cache-to-Cache (C2C) dari tim Tsinghua dan Infinigence mengusulkan komunikasi antar LLM langsung lewat proyeksi KV-cache tanpa perantara teks.
• Klaim paper v2: akurasi naik 6,4 sampai 14,2 persen dibanding model individual, dan unggul 3,1 sampai 5,4 persen dibanding komunikasi teks.
• Speedup latensi yang diklaim 2,5 kali berlaku hanya untuk segmen komunikasi antar model, bukan end-to-end seluruh pipeline aplikasi.
• C2C butuh akses white-box ke KV-cache dan jaringan proyeksi yang dilatih untuk tiap pasangan model, sehingga tidak bisa dipakai pada model API tertutup.
• Eksperimen paper masih memakai model skala kecil, sehingga transfer hasil ke model frontier 100 miliar parameter plus masih pertanyaan terbuka.

Abstrak dan versinya yang sudah direvisi (v1 terbit 3 Oktober 2025, v2 2 Maret 2026) bisa dibaca di arXiv 2510.03215. Kode-nya dirilis. Ini artikel ketiga di toolkuy soal komunikasi antar model yang bukan lewat teks, tapi kali ini bedah klaim angkanya langsung dari paper, bukan dari utas viral.

Masalahnya: Teks Adalah Leher Botol, Bukan Medium Alami

Representasi "pikiran" sebuah transformer ada di KV-cache, key-value per layer yang menyimpan konteks atensi untuk setiap posisi token. Ketika model menjawab dengan teks, semua kekayaan semantik di vektor itu diproyeksikan ke distribusi atas vocabulary, lalu dibuang ke simbol diskrit. Informasi yang hilang dalam proses itu bukan noise belaka, ia bagian dari mengapa dua model yang "berbicara lewat teks" sering saling salah paham walau masing-masing cukup pintar.

Tim C2C mengawalinya dengan eksperimen oracle: memperkaya KV-cache target dengan informasi semantik, tanpa menambah ukuran cache. Hasilnya, kualitas respons naik. Kesimpulan sementara yang mereka ambil: KV-cache adalah medium komunikasi antar model yang sah, karena membawa lebih banyak sinyal daripada teks yang sudah terkompres ke token.

Cara Kerja C2C: Proyeksi KV, Bukan Terjemahan

Rancangan intinya sebuah jaringan proyeksi. Model sumber memproses prompt, model target memulai generasinya, dan sebuah neural network memproyeksikan KV-cache model sumber ke ruang representasi model target, lalu memfusikannya. Ada gating mechanism yang bisa belajar memilih layer mana di model target yang benar-benar diuntungkan dari transfer cache, dan layer mana yang lebih baik dibiarkan independen. Tidak ada teks tengah yang pernah dihasilkan untuk keperluan komunikasi ini.

Perbandingan klaim kinerja metode komunikasi antar LLM menurut paper C

Metode	Klaim Akurasi	Klaim Latensi	Catatan
Model individual	Baseline tanpa komunikasi	Tidak ada segmen komunikasi	Gain C2C berasal dari komplementaritas dua model
Komunikasi teks	3,1 sampai 5,4 persen di bawah C2C	Perlu generasi token per token	Model kedua membangun ulang KV-cache dari nol
Cache-to-Cache (C2C)	6,4 sampai 14,2 persen di atas model individual	2,5 kali lebih cepat pada segmen komunikasi antar model	Butuh akses white-box KV-cache dan jembatan proyeksi per pasangan model

Angka yang Diklaim Paper

Dari abstrak v2, apa yang dinyatakan penulisnya:

• Rata-rata akurasi 6,4 sampai 14,2 persen lebih tinggi dibanding model individual (tanpa komunikasi)
• Unggul sekitar 3,1 sampai 5,4 persen dibanding komunikasi teks
• Speedup latensi rata-rata 2,5 kali, karena tidak perlu menghasilkan token per token hanya untuk dikonsumsi model berikutnya

Perlu dibaca dengan kalibrasi yang tepat: gain akurasi itu datang dari komplementaritas dua model yang berbeda kekuatannya, bukan dari komunikasi yang membuat model lemah jadi pintar. Dan speedup 2,5x berlaku untuk segmen komunikasi antar model, bukan end-to-end seluruh pipeline aplikasi.

Batasan yang Harus Dipahami Sebelum Baper

Ada beberapa konsekuensi desain yang membuat C2C belum akan mengubah cara lo membangun agent minggu depan:

• Butuh akses white-box penuh ke KV-cache. Model yang dipanggil lewat API, dengan response yang cuma berupa teks, tidak bisa diajak komunikasi cache-to-cache. Ini otomatis membatasi C2C ke model yang lo host sendiri atau vendor yang membuka internalnya.
• Jaringan proyeksi harus dilatih. Jembatan antar dua model adalah komponen yang dilatih untuk pasangan spesifik, sehingga cost risetnya bukan nol-nya integrasi. Semakin banyak pasangan model, semakin banyak jembatan.
• Korpus eksperimennya model-model kecil. Hasil dilaporkan pada rentang skala yang relatif kecil dibanding model frontier produksi yang dipakai orang hari ini. Transfer ke model 100 miliar parameter plus masih pertanyaan terbuka.

Poin terakhir ini yang membedakan klaim paper dari cara viral menampilkannya. Paper-nya sendiri tidak mengklaim telah merevolusi multi-agent di produksi; klaimnya spesifik: medium KV-cache layak, dan pada setting yang mereka uji, lebih baik dari teks dengan angka di atas.

Konteks Industri: Kenapa Topik Ini Memanas Lagi

Menariknya, ide "buang teks dari tengah" sudah jadi benang merah 2026. Di level aplikasi, coding agent berhenti menjadi chat dan berpindah ke protokol terstruktur seperti MCP, yang juga tidak mengandalkan percakapan natural untuk antar komponen. Di level infrastruktur, tim GLM membangun fondasi inferensi sendiri karena routing token adalah biaya riil. Dan orang yang migrasi dari cloud LLM ke hosting sendiri tahu persis: dalam pipeline panjang, latensi dan cost itu hidup di sambungan antar model, bukan hanya di dalam satu model.

C2C menempatkan dirinya di sambungan itu. Kalau idenya bertahan di skala besar, arsitektur multi-model 2027 bisa terlihat seperti bus data internal antar model, dengan teks hanya sebagai endpoint untuk manusia.

Yang Layak Diambil Developer Hari Ini

• Pisahkan komunikasi mesin-ke-mesin dari kanal teks. Pipeline yang sekarang merangkai prompt dengan kalimat natural antar node akan lebih murah, lebih cepat, dan lebih deterministik kalau antar node memakai format terstruktur (JSON, protobuf, ID referensi), seadanya perbandingan dengan transfer penuh KV-cache.
• Anggap biaya generasi token sebagai budget riil. Agent yang menjawab 2000 token untuk konsumsi 3000 token internalnya adalah pembakar GPU.
• Simpan skor jujur dari benchmark lo sendiri: kalau mau mencoba C2C-nya, setting paling masuk akal hari ini adalah dua model open-weight skala kecil sampai menengah yang lo host berdampingan.

Isi Kantong Seorang Transformer: Kenapa KV-Cache Besar dan Mahal

Supaya klaim "berkomunikasi lewat KV-cache" terasa bobotnya, perlu jelas dulu apa yang dipindahkan. Saat model memproses sebuah prompt, setiap layer attention menyimpan key tensor dan value tensor untuk semua posisi token yang sudah dilihat. Itulah KV-cache, dan ia adalah memori kerja model pada sesi itu. Pertumbuhannya linear terhadap panjang konteks dan jumlah layer, konsekuensinya dalam produksi: serving LLM hari ini sering dibatasi bandwidth memori, bukan oleh FLOPs komputasi. Decode token demi token artinya membaca ulang cache besar itu setiap langkah.

Ketika sebuah pipeline multi-model mengirim hasil antar model lewat teks, model kedua pada dasarnya membangun ulang KV-cachenya sendiri dari nol sambil membaca token hasil model pertama. Semua struktur probabilitas dan nuansa yang ada di representasi model pertama sudah dibuang di ujung generator, dan model kedua tidak pernah mendapatkannya. C2C memotong proses itu dengan memindahkan dan memetakan ulang tensor itu langsung. Karena itu juga klaim speedup-nya masuk akal: yang dihilangkan bukan hanya konversi, tapi seluruh fase generasi token untuk segmen komunikasi.

Di Mana Ide Ini Cocok dan Di Mana Tidak

Setting yang paling masuk akal untuk transfer langsung seperti ini adalah tempat di mana lo memegang kedua model sekaligus. Router cerdas yang meneruskan query ke spesialis, ensemble yang menggabungkan jawaban beberapa model, pipeline planner-then-executor: di sini teks jadi perantara yang mahal. Sebaliknya, kalau kedua model adalah layanan tertutup yang lo panggil lewat API, tidak ada KV-cache yang bisa disentuh; komunikasinya akan tetap teks atau JSON selamanya, dan itu tidak masalah karena memang untuk manusialah teks itu ada.

Ada juga kompromi yang bisa diambil desainer sistem hari ini tanpa menunggu adopsi riset: buat antar-node pipeline berpindah dalam representasi paling kecil yang cukup, dan biarkan teks hanya di titik yang membutuhkan penjelasan manusia. Log error, ID baris database, path file, atau struktur terstruktur lain hampir selalu menjawab lebih baik daripada ringkasan kalimat yang dihasilkan model untuk model lain. Formatnya memang teks, tapi semantiknya bukan prosa.

Blueprint Eksperimen Kalau Lo Mau Mereplikasi

Bagian paling sehat dari paper seperti ini adalah kodenya dirilis. Kalau lo penasaran mencoba, peta jalannya begini. Pilih dua model open-weight kecil yang lo host sendiri, satu sebagai perumus masalah dan satu sebagai penilai atau penyelesai, dalam rentang skala yang mirip dengan paper supaya hasil pertama lo sebanding. Jalankan tiga konfigurasi pada benchmark yang sama: model target sendirian, keduanya disambungkan teks, dan keduanya disambungkan C2C. Catat akurasi, latensi segmen transfer, dan VRAM. Dari pengalaman riset yang mirip-mirip, harapan yang realistis: gain akurasi kecil tapi konsisten di tugas yang domainnya terpisah, dan latensi transfer jauh lebih baik; kalau hasil lo lebih buruk dari itu, kemungkinan besar pelatihan proyeksinya belum konvergen, bukan idenya yang salah.

Satu peringatan jujur: ini eksperimen riset, bukan jalur produksi. Jembatan yang dilatih per pasangan model berarti setiap pergantian versi model menuntut pengerjaan ulang. Nilai investasi eksperimennya ada di pemahaman lo tentang di mana biaya komunikasi sistem lo sebenarnya hidup.

Reaksi Komunitas: Antara Kagum dan Skeptis

Momen naiknya kembali thread ini ke halaman depan Hacker News juga informatif dengan caranya sendiri. Sebagian komentar menanggapi sebagai validasi tesis lama bahwa token adalah antarmuka, bukan medium ideal; sebagian lain menyinggung pelajaran yang sudah lebih dulu dipraktikkan tim infrastruktur internal, bahwa format transfer yang tepat selalu mengalahkan prosa. Keduanya sikap yang sehat. Sebuah paper menunjuk satu kemungkinan desain, bukan vonis bahwa seluruh cara kita membangun agent salah. Yang membedakan klaim riset dan klaim viral adalah kolom keterbatasan, dan C2C punya kolom itu: mediumnya menuntut akses internal model yang hanya terbuka di dunia open-weight.

Simpulan

Cache-to-Cache bukan tombol yang bisa ditempel ke aplikasi agent lo malam ini. Ia bukti arah: teks adalah antarmuka untuk manusia, bukan media optimal untuk mesin. Angka 6,4-14,2 persen akurasi dan 2,5x latensi adalah klaim terkontrol yang teruji di lab di laboratorium dengan model yang bisa dibedah. Sisa ceritanya adalah kerja teknik biasa: mereplikasi, mengecek transfer ke skala yang lebih besar, dan menunggu apakah komunitas bisa menjinakkan biaya pelatihan jembatan antar model.

Sumber

• arXiv 2510.03215 (v2, 2 Maret 2026): Cache-to-Cache: Direct Semantic Communication Between Large Language Models
• Diskusi Hacker News, 17-19 September 2026

Rekomendasi Tools & Layanan

Beberapa layanan yang dipake di panduan ini: free trial Alibaba Cloud (coba gratis, sesuaikan kebutuhan), dan halaman promo terbaru buat cek diskon yang lagi jalan bulan ini.

FAQ

Apa itu metode Cache-to-Cache (C2C)?

C2C adalah metode komunikasi antar LLM di mana sebuah neural network memproyeksikan KV-cache model sumber ke ruang representasi model target lalu memfusikannya, tanpa menghasilkan teks perantara. Ada gating mechanism yang belajar memilih layer target mana yang diuntungkan dari transfer cache.

Berapa peningkatan kinerja yang diklaim paper C2C?

Menurut abstrak v2, akurasi rata-rata naik 6,4 sampai 14,2 persen dibanding model individual tanpa komunikasi, dan unggul sekitar 3,1 sampai 5,4 persen dibanding komunikasi berbasis teks. Speedup latensi rata-rata yang diklaim adalah 2,5 kali.

Bisakah C2C dipakai pada model yang dipanggil lewat API?

Tidak bisa, karena C2C membutuhkan akses white-box penuh ke KV-cache model. Model API yang hanya mengembalikan teks tidak dapat diajak komunikasi cache-to-cache, sehingga metode ini terbatas pada model open-weight yang di-host sendiri.

Kenapa teks dianggap leher botol dalam komunikasi antar model?

Saat model menjawab dengan teks, kekayaan semantik di representasi internalnya diproyeksikan ke distribusi vocabulary lalu dibuang ke simbol diskrit, dan model kedua harus membangun ulang KV-cache-nya dari nol. Informasi yang hilang dalam konversi dua arah itulah yang menjadi sumber salah paham antar model.

Setting eksperimen apa yang paling masuk akal untuk mencoba C2C?

Paling realistis adalah dua model open-weight skala kecil sampai menengah yang di-host berdampingan, mirip rentang skala di paper. Jalankan tiga konfigurasi pada benchmark yang sama, yaitu model target sendirian, koneksi teks, dan koneksi C2C, lalu catat akurasi, latensi transfer, dan VRAM.

Sumber & Referensi

Rujukan resmi yang dipakai untuk memverifikasi klaim di artikel ini:

• Halaman paper C2C di Hugging Face
• Spesifikasi komunikasi antar model