Artificial Analysis, lembaga pengukuran independen untuk model bahasa, memperbarui profil Mercury 2.5 pada September 2026. Model ini dikembangkan Inception sebagai model proprietary dan menarik perhatian karena satu alasan yang jarang jadi sorotan utama: kecepatannya. Mercury 2.5 mencatat 780,8 token keluaran per detik, menempatkannya di peringkat kedua dari 173 model yang diukur di basis data tersebut.
TL;DR
- Mercury 2.5 dari Inception mencatat kecepatan keluaran 780,8 token per detik, menempatkannya di peringkat kedua dari 173 model yang diukur Artificial Analysis.
- Skor Intelligence Index model ini hanya 12, dengan peringkat 89 dari 173 model, yang disebut di bawah rata-rata untuk tugas penalaran berat.
- Harganya 0,25 dolar per juta token masukan dan 0,75 dolar per juta token keluaran, dengan diskon cache 90 persen hingga sekitar 0,06 dolar per juta token.
- Model ini memiliki jendela konteks 260 ribu token dan hanya mendukung masukan serta keluaran teks, tanpa multimodal.
- Model ini cocok untuk pekerjaan bervolume besar seperti klasifikasi, ekstraksi data, dan putaran alat pada agen, tapi kurang cocok untuk tugas penalaran panjang atau analisis kode rumit.
Angka kecepatan itu datang bersama catatan yang tidak bisa diabaikan. Skor kecerdasannya berada di bawah rata-rata. Kombinasi ini membuat Mercury 2.5 jadi contoh bagus untuk membahas satu hal yang sering salah dipahami dalam pemilihan model: kecepatan dan kecerdasan adalah dua sumbu berbeda, dan model yang menang di satu sumbu belum tentu berguna di sumbu lain.
Profil singkat
Sebelum menilai angkanya, ada baiknya memahami posisi model ini.
- Pengembang: Inception.
- Jenis: model proprietary, bobotnya tidak dirilis terbuka.
- Rilis: September 2026.
- Penalaran: ya. Halaman profil yang diukur adalah varian reasoning, dan dicatat bahwa varian non-reasoning mungkin juga tersedia.
- Modalitas: masukan teks, keluaran teks. Tidak multimodal.
- Jendela konteks: 260 ribu token, setara sekitar 390 halaman A4 berukuran huruf 12.
Jendela konteks 260 ribu token menempatkannya di kelas yang cukup luas untuk pekerjaan dokumen panjang, meski bukan yang terbesar di pasar. Karena modalitasnya hanya teks, model ini tidak bisa dipakai untuk tugas yang butuh membaca gambar atau audio secara langsung.
Angka yang membuatnya menonjol
Ada empat metrik dari profil tersebut yang paling layak diperhatikan.
- Kecepatan keluaran 780,8 token per detik. Peringkat 2 dari 173 model. Untuk perbandingan, Artificial Analysis mencatat nilai tipikal di kelas ini sekitar 110 token per detik. Artinya kecepatannya beberapa kali lipat di atas kebanyakan model yang diukur.
- Harga 0,25 dolar per juta token masukan dan 0,75 dolar per juta token keluaran. Keduanya digambarkan sebagai harga sedang, dengan median pembanding 0,25 dolar untuk masukan dan 0,91 dolar untuk keluaran.
- Diskon cache 90 persen. Dengan diskon itu, biaya token masukan yang tersimpan di cache turun menjadi sekitar 0,06 dolar per juta token. Ini penting untuk aplikasi yang mengirim konteks panjang berulang kali.
- Biaya 0,06 dolar per tugas pada Intelligence Index. Ini ukuran biaya rata-rata untuk menyelesaikan satu tugas dalam rangkaian evaluasi tersebut, bukan harga per token.
Satu metrik tambahan yang jarang dibahas tapi relevan untuk perhitungan biaya: verbositas. Mercury 2.5 menghasilkan 35 juta token selama evaluasi Intelligence Index, sementara median model lain mencapai 85 juta token. Model yang lebih ringkas bicara lebih sedikit untuk mencapai hasil yang sama, dan pada harga keluaran yang dihitung per token, ringkas berarti lebih murah dalam praktik.
Kenapa kecepatan tinggi bisa lebih penting dari skor
Kecepatan keluaran yang tinggi sering diremehkan karena terasa seperti urusan infrastruktur, bukan kualitas. Padahal pada beberapa pola pemakaian, kecepatan menentukan apakah sebuah fitur layak dibangun atau tidak.
Pertama, pada agen yang memanggil alat secara berulang. Setiap putaran percakapan menambah token, dan model yang lambat membuat waktu tunggu menumpuk. Pada alur kerja yang butuh lima sampai sepuluh putaran, perbedaan kecepatan per putaran berlipat menjadi perbedaan pengalaman pengguna yang nyata.
Kedua, pada pemrosesan volume besar. Kalau pekerjaannya mengklasifikasi, mengekstrak, atau merapikan ribuan dokumen, throughput menentukan berapa lama pekerjaan itu selesai. Model yang skornya sedikit lebih tinggi tapi berjalan beberapa kali lebih lambat bisa jadi pilihan yang salah kalau tugasnya sederhana.
Ketiga, pada fitur yang berhadapan langsung dengan pengguna. Antarmuka yang menunggu terlalu lama akan ditinggalkan, apa pun kualitas jawabannya. Di titik ini, model cepat dengan jawaban cukup sering mengalahkan model lambat dengan jawaban sempurna.
Di mana skor kecerdasannya berada
Sisi lain dari Mercury 2.5 adalah skor Intelligence Index sebesar 12, dengan peringkat 89 dari 173 model. Artificial Analysis menyebutnya di bawah rata-rata di antara model sekelasnya, sekaligus mencatat bahwa median kelas pembandingnya juga 12. Kesimpulan yang mereka tulis cukup jelas: model ini di bawah rata-rata dalam hal kecerdasan, tapi harganya baik kalau dibandingkan dengan model di rentang harga serupa, dan modelnya jelas cepat serta relatif ringkas.
Perbandingan metrik Mercury 2.5 dengan nilai tipikal atau median model
| Metrik | Mercury 2.5 | Nilai pembanding |
|---|---|---|
| Kecepatan keluaran | 780,8 token per detik (peringkat 2 dari 173) | Tipikal kelas sekitar 110 token per detik |
| Harga token masukan | 0,25 dolar per juta token | Median 0,25 dolar per juta token |
| Harga token keluaran | 0,75 dolar per juta token | Median 0,91 dolar per juta token |
| Intelligence Index | Skor 12 (peringkat 89 dari 173) | Median kelas juga 12 |
| Verbositas saat evaluasi | 35 juta token | Median 85 juta token |
| Jendela konteks | 260 ribu token | Tidak disebutkan di artikel |
Angka itu perlu dibaca dengan konteks, bukan sebagai vonis. Skor 12 berarti model ini bukan model penalaran kelas atas. Ia tidak dirancang untuk memecahkan soal matematika kompetisi, membedah argumen hukum yang rumit, atau menangani tugas rekayasa yang butuh rantai penalaran panjang. Kalau beban kerja Anda menuntut hal-hal itu, model dengan skor lebih tinggi akan menghemat waktu dan revisi, meskipun tarifnya lebih mahal per token.
Sebaliknya, sebagian besar pekerjaan produksi tidak menuntut penalaran kelas atas. Merapikan teks, mengubah format, mengekstrak field dari dokumen, memberi label kategori, membuat ringkasan pendek, atau menjalankan perintah alat yang sudah jelas: semua itu pekerjaan yang volumenya besar dan tingkat kesulitannya menengah. Di wilayah itulah kombinasi kecepatan tinggi dan harga sedang menjadi bernilai.
Metodologi yang perlu dipahami sebelum menyimpulkan
Artificial Analysis menghitung Intelligence Index versi 4.3.2 dari sepuluh evaluasi: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience, dan AA-LCR v1.1. Rangkaian ini mencakup pekerjaan pengetahuan agen, tugas kerja dunia nyata, alur kerja SaaS, penggunaan terminal dan koding, penalaran dokumen profesional, penalaran fisika, akurasi pengetahuan, dan penalaran konteks panjang.
Ada dua hal yang penting dicatat dari daftar itu. Pertama, sepuluh evaluasi ini adalah satu kumpulan uji dengan satu metodologi. Skor 12 berlaku untuk kumpulan itu, bukan untuk semua pekerjaan. Kedua, komposisi indeks condong ke tugas penalaran dan pekerjaan profesional, yang justru bukan kekuatan model jenis ini.
Karena itu, satu angka tunggal tidak cukup untuk memutuskan adopsi. Yang lebih berguna adalah menjalankan kumpulan uji kecil yang mewakili pekerjaan nyata di tim Anda, lalu membandingkan hasil, biaya, dan waktu penyelesaian antar kandidat model. Artificial Analysis sendiri menyediakan pemeringkatan per kemampuan, seperti indeks keuangan dan akuntansi, strategi dan operasi, hukum, dan rekayasa, yang bisa dipakai sebagai titik awal sebelum menguji sendiri.
Untuk konteks industri yang lebih luas, perdebatan soal model cepat versus model pintar ini juga terkait dengan pergeseran perangkat keras inferensi, seperti yang dibahas pada catatan mengenai dominasi LPU dan pergeseran arsitektur NPU pada 2026. Kecepatan keluaran bukan hanya hasil optimasi perangkat lunak, tapi juga konsekuensi dari pilihan arsitektur dan silikon.
💬 Komentar (0)
Belum ada komentar. Jadilah yang pertama! 💬