Biaya Tersembunyi Agent AI di Produksi yang Jarang Dihitung

Satu agent AI di produksi jarang bengkak karena harga token naik. Bengkak karena biaya yang tidak pernah masuk kalkulator awal: cache write 1,25 kali harga input, tool schema ratusan token per request, thinking token yang dibayar di tarif output, dan retry yang mengulang seluruh konteks. Dokumentasi Anthropic menulis cache read cuma 0,1 kali harga input, sementara dokumentasi OpenAI mematok web search $10 per 1.000 panggilan untuk model reasoning. Selisih antara estimasi dan tagihan nyata hampir selalu ada di situ, bukan di harga model.

TL;DR

• Tagihan agent itu input token dikali jumlah turn, bukan harga per satu juta token yang lo baca di halaman pricing.
• Cache read Anthropic 0,1x harga input, tapi cache write 1,25x untuk TTL 5 menit dan 2x untuk TTL 1 jam.
• Thinking token dibayar sebagai output token, angkanya muncul di usage.output_tokens_details.thinking_tokens.
• System prompt tool use saja menambah 497 token per request di Claude Sonnet 4.6, di luar skema tool yang lo kirim.
• Retry diam-diam mengulang konteks penuh, jadi satu loop bisa lebih mahal daripada naik model.

Kenapa tagihan agent AI bisa berkali lipat dari estimasi?

Karena agent memanggil model berkali-kali untuk satu tugas, dan tiap panggilan membawa riwayat percakapan. Halaman pricing cuma memberi harga satuan. Ia tidak memberi tahu bahwa satu tugas 10 turn berarti 10 kali input token dibayar, dengan prefix yang makin panjang tiap turn.

Anthropic menyebutnya langsung di panduan Building Effective Agents: sistem agentic “often trade latency and cost for better task performance”, dan sifat otonom agent “means higher costs, and the potential for compounding errors” (sumber: Anthropic Engineering). Biaya bukan efek samping, tapi konsekuensi desain.

Berapa biaya yang tidak kelihatan di dashboard?

Tiga pos yang paling sering luput.

Cache write bukan gratis. Di dokumentasi pricing Anthropic, cache read dihitung 0,1 kali harga input, tapi menulis cache 5 menit dihitung 1,25 kali, dan TTL 1 jam dihitung 2 kali. Kalau prompt lo berubah tiap request (timestamp, user id, hasil tool yang berantakan), lo bayar write terus dan nyaris tidak pernah dapat read. Biaya input bisa naik 25 persen tanpa satu baris kode baru.

Tool schema ikut ditagih. Setiap request yang membawa tool membawa juga definisi tool dan system prompt tool use. Untuk Claude Sonnet 4.6, system prompt tool use saja 497 token, dan naik ke 589 kalau tool_choice-nya any atau tool. Itu belum termasuk nama, deskripsi, dan skema JSON tiap tool. Sepuluh tool dengan deskripsi panjang bisa menambah ribuan token ke setiap panggilan, termasuk panggilan yang akhirnya tidak memakai tool sama sekali.

Thinking token dibayar sebagai output. Dokumentasi extended thinking menyebut field usage.output_tokens_details.thinking_tokens melaporkan berapa dari output token yang ditagih sebenarnya reasoning internal. Output adalah tarif termahal di hampir semua model, jadi penalaran yang tidak pernah lo lihat di jawaban tetap masuk tagihan.

Tambahan yang jarang dihitung: server-side tool berbayar terpisah. Web search di pricing OpenAI, misalnya, $10 per 1.000 panggilan untuk model reasoning plus token konten pencarian yang ditagih di tarif model.

Kenapa retry dan loop lebih mahal dari model-nya?

Karena retry mengirim ulang seluruh konteks, bukan cuma bagian yang gagal. Kalau output tidak valid JSON lalu agent mencoba lagi, input yang sama dibayar dua kali, plus output yang gagal tadi. Tiga percobaan untuk satu langkah berarti tiga kali biaya langkah itu.

Ini contoh aritmetika, bukan data survei. Misalnya 1.000 tugas per hari, 10 turn per tugas, rata-rata 20.000 token input per turn. Totalnya 200 juta token input per hari. Di model $1 per juta token input, itu $200 per hari, sekitar $6.000 per bulan. Output 600 token per turn di $5 per juta token menambah sekitar $900 per bulan.

Sekarang pasang cache. Kalau 90 persen prefix stabil dan terbaca dari cache, biaya input jadi (180 juta x 0,1) + (20 juta x 1,25) = 18 + 25 = 43 juta token ekuivalen, sekitar $43 per hari. Selisih $157 per hari itu bukan optimasi kecil, itu 78 persen tagihan input. Tapi cache cuma menolong kalau prefix-nya benar-benar stabil. Satu field yang berubah di awal prompt membatalkan semuanya.

Retry memotong sebagian keuntungan itu. Kalau pesan error ditambahkan di ekor, prefix masih bisa kena cache read, jadi yang mahal adalah output dan langkah tambahan. Karena itu hitung retry dari jumlah langkah, bukan dari jumlah request.

Kapan model murah justru lebih mahal?

Saat model murah gagal lebih sering. Model kecil yang salah pilih tool tiga kali lalu di-eskalasi ke model besar tetap membayar tiga percobaan, ditambah satu percobaan mahal. Totalnya bisa melewati biaya langsung pakai model besar sekali jalan.

Karena itu routing per langkah lebih masuk akal daripada routing per tugas. Langkah klasifikasi, ekstraksi field, dan ringkasan pendek cocok ke model murah. Langkah perencanaan dan keputusan yang menyentuh uang atau data pelanggan sebaiknya langsung ke model yang lebih kuat dengan riwayat yang dipangkas.

Batasan lain yang sering dilupa: harga konteks panjang. Di tabel OpenAI, gpt-6.1-terra $1 per juta token input untuk konteks pendek dan $2 untuk konteks panjang, jadi dua kali lipat hanya karena prompt melewati ambang. Di Anthropic, Claude Haiku 5.5 menaikkan harga untuk prompt di atas 100.000 token, dan panjang prompt itu menghitung cache read serta cache write juga.

Berapa biaya yang tidak ada di halaman pricing sama sekali?

Empat pos berikut tidak muncul di tagihan API, tapi tetap keluar dari kantong.

Pertama, evaluasi. Kalau lo menilai 5 persen trafik pakai LLM sebagai juri, juri itu membaca transkrip penuh. Lima ratus evaluasi per hari dengan 20.000 token input berarti 10 juta token tambahan per hari, sekitar $10 per hari di model $1. Kelihatan kecil sampai lo kalikan 30 hari.

Kedua, observability. Menyimpan trace, log prompt, dan payload tool butuh storage dan query. Ini biasanya masuk tagihan database atau platform observability, bukan tagihan model.

Ketiga, waktu manusia. Setiap approval manual, review output, dan koreksi label adalah jam kerja. Agent yang 90 persen benar masih menyisakan 10 persen tugas untuk diperiksa manusia, dan 10 persen dari volume besar bukan angka kecil.

Keempat, biaya kegagalan. Satu agent yang salah mengirim email, salah menagih, atau salah menghapus data bisa menghabiskan biaya yang jauh melebihi setahun token. Ini alasan guardrail, idempotency key, dan dry run bukan fitur tambahan.

Bagaimana cara audit biaya agent per tugas?

Mulai dari yang paling murah dan paling cepat: log lima kolom per langkah, yaitu token input, token output, token cache read, token cache write, dan identitas tugas. Tanpa lima angka ini, semua perhitungan cuma tebakan.

Setelah itu, potong berdasarkan tiga sumbu: per tugas, per langkah, dan per tool. Tool yang mahal sering bukan tool yang paling sering dipanggil, tapi tool yang paling sering memicu retry.

Terakhir, uji perubahan satu per satu. Pindahkan satu blok ke cache, ukur ulang. Ganti satu langkah ke model murah, ukur ulang. Kalau beberapa perubahan dijalankan sekaligus, lo tidak akan tahu mana yang menolong.

Untuk kerangka biaya yang lebih luas, artikel harga token LLM November 2026 sudah membandingkan tarif antar provider. Tulisan biaya tersembunyi n8n self-hosted menunjukkan pola yang sama di sisi infrastruktur.

Kalau lo menjalankan agent lewat gateway sendiri atau butuh endpoint model yang cepat di Indonesia, layanan seperti NgodeAI bisa jadi jalur alternatif untuk menguji routing dan biaya sebelum commit ke satu provider. Untuk beban produksi yang butuh komputasi dan model Qwen, Alibaba Cloud Qwen menyediakan jalur API dan GPU yang bisa dihitung per jam.

Rekomendasi Tools & Layanan

• Cache dan batch dulu, sebelum ganti model. Batch API Anthropic memberi diskon 50 persen untuk input dan output, dan cache read 0,1x biasanya lebih besar efeknya daripada pindah ke model yang lebih murah.
• Simpan trace sendiri. Satu tabel dengan kolom task_id, step, input_tokens, output_tokens, cache_read, cache_write sudah cukup untuk audit awal.
• Pisahkan biaya komputasi dari biaya token kalau agent-nya jalan 24 jam. Alibaba Cloud ECS memungkinkan lo menghitung dua variabel itu terpisah, jadi saat tagihan naik lo tahu mana yang berubah.
• Bandingkan runtime agent lewat OpenCrabs vs n8n vs LangChain kalau biaya per tugas jadi kriteria utama.

FAQ

Berapa persen tagihan agent yang biasanya dari retry?

Belum ada data publik yang bisa dipakai sebagai patokan. Yang bisa dihitung cuma rasio di sistem lo sendiri: jumlah langkah gagal dibagi jumlah langkah total, dikali biaya per langkah. Mulai dari log sendiri, jangan dari angka industri.

Apakah prompt caching selalu menurunkan biaya?

Tidak. Cache write 1,25x untuk TTL 5 menit dan 2x untuk TTL 1 jam. Kalau prefix berubah sebelum sempat dibaca, lo bayar lebih mahal daripada tanpa cache. Cache baru menolong kalau ada minimal satu read setelah write.

Kenapa tagihan naik setelah ganti model di tengah sesi?

Karena cache terikat ke model. Dokumentasi Claude Code menyebut ganti model membuat request berikutnya membaca seluruh riwayat tanpa cache hit sama sekali. Satu turn jadi jauh lebih mahal, lalu prefix baru terbentuk.

Apakah model murah selalu lebih hemat untuk agent?

Tidak selalu. Model murah yang gagal sering memicu langkah tambahan dan eskalasi. Yang perlu diukur adalah biaya per tugas selesai, bukan harga per token.

Berapa token overhead tool schema per request?

Di Claude Sonnet 4.6, system prompt tool use saja 497 token untuk tool_choice auto atau none, dan 589 untuk any atau tool. Skema tool yang lo kirim ditambahkan lagi di atas angka itu.