DeepSeek-V4.1-Flash-1017: HLE 42,6 dan Konteks 1 Juta Token, Lisensi MIT

DeepSeek merilis DeepSeek-V4.1-Flash-1017 di Hugging Face pada 17 Oktober 2026 sebagai pembaruan kecil dari DeepSeek-V4.1-Flash. Model card melaporkan HLE tanpa tools naik dari 36,8 ke 42,6, Terminal-Bench 4.0 dari 31,2 ke 42,3, dan DeepSWE v1.1 dari 74,2 ke 77,0. Bobot tersedia dengan lisensi MIT, konteks 1 juta token, dan max_tokens minimal 256K.

Apa yang berubah dari DeepSeek-V4.1-Flash?

Perubahannya berfokus pada kualitas reasoning, coding, tugas agentic, dan benchmark visual. Model card menyebut pembaruan ini juga memangkas waktu eksekusi tugas dan panjang output, sehingga tugas selesai lebih cepat dengan biaya lebih rendah. Klaim itu dirangkum sebagai kemajuan pada kurva Pareto performa terhadap biaya di beberapa harness agent.

DeepSeek tidak menyebut arsitektur baru atau perubahan jumlah parameter di bagian pengantar. Model ini diposisikan sebagai iterasi dari V4.1-Flash yang sudah ada, dengan tanggal 1017 di nama repo sebagai penanda rilis 17 Oktober. Judul sitasi resminya adalah DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression, yang menunjukkan fokus pada efisiensi cache KV.

Yang paling terlihat adalah lompatan di benchmark agentic. Terminal-Bench 4.0 naik 11,1 poin, dari 31,2 ke 42,3. ProgramBench naik 8,8 poin, dari 20,3 ke 29,1. Apex Bench v1.1 naik 7,5 poin, dari 64,6 ke 72,1. Kenaikan sebesar itu pada satu iterasi minor jarang terjadi, jadi wajar kalau angka ini perlu dibaca dengan hati-hati sampai ada pengujian pihak ketiga.

Berapa panjang konteks dan batas output?

Model card mencantumkan context_window 1 juta token dan max_tokens minimal 256K. Untuk penggunaan praktis, itu berarti satu percakapan bisa memuat dokumen yang sangat panjang, dan model masih diberi ruang output yang besar. Parameter sampling yang direkomendasikan adalah temperature 1.0 dan top_p 1.0.

Kombinasi konteks 1 juta token dan output 256K menempatkan model ini di kelas yang sama dengan model frontier lain yang mengejar jendela konteks besar. Namun perlu dicatat, angka konteks di model card adalah batas arsitektur, bukan jaminan bahwa kualitas retrieval tetap stabil di seluruh panjang konteks. Untuk tugas yang bergantung pada detail di tengah dokumen, pengujian sendiri tetap diperlukan.

Seberapa besar kenaikan benchmark-nya?

Kenaikan paling konsisten terlihat di benchmark yang mengukur tugas panjang dan agentic, sementara benchmark visual naik lebih tipis. Tabel berikut memakai angka dari model card DeepSeek, membandingkan versi 1017 dengan V4.1-Flash sebelumnya.

Benchmark	V4.1-Flash-1017	V4.1-Flash	Selisih
HLE tanpa tools	42,6	36,8	+5,8
Terminal-Bench 4.0	42,3	31,2	+11,1
DeepSWE v1.1	77,0	74,2	+2,8
ProgramBench	29,1	20,3	+8,8
NL2Repo-Bench	68,2	65,4	+2,8
Automation-Bench v1.0.6	60,5	54,8	+5,7
Agents Last Exam	35,4	31,8	+3,6
Apex Bench v1.1	72,1	64,6	+7,5
Chartography dengan tools	83,0	78,9	+4,1
BabyVision dengan tools	92,5	89,6	+2,9
ZeroBench-main dengan tools	51,0	49,0	+2,0

Model card juga membandingkan model ini dengan beberapa model lain, termasuk K3, GLM-5.3, GPT-5.6 Sol, dan Opus 5. Pada HLE tanpa tools, misalnya, DeepSeek mencatat 42,6 sementara Opus 5 tercatat 56,3. Pada Terminal-Bench 4.0, DeepSeek mencatat 42,3 dan Opus 5 tercatat 51,8. Perbandingan ini berguna sebagai konteks, tetapi tetap berasal dari tabel yang sama dan bukan hasil uji netral.

Bagaimana posisi model ini di kelasnya?

Di tabel model card, DeepSeek-V4.1-Flash-1017 bukan model dengan skor tertinggi di semua benchmark. Pada HLE tanpa tools, Opus 5 tercatat 56,3 dan GPT-5.6 Sol 44,5, sementara DeepSeek 42,6. Pada Terminal-Bench 4.0, Opus 5 memimpin dengan 51,8, diikuti DeepSeek 42,3 dan GPT-5.6 Sol 39,9.

Namun ada beberapa benchmark di mana DeepSeek unggul atau mendekat. Pada DeepSWE v1.1, DeepSeek mencatat 77,0, di atas GPT-5.6 Sol 73,0 dan Opus 5 74,0. Pada NL2Repo-Bench, DeepSeek 68,2 masih di bawah Opus 5 75,3, tetapi di atas model lain di tabel. Pada Automation-Bench v1.0.6, DeepSeek 60,5 memimpin tabel yang dicantumkan.

Pola ini menunjukkan posisi model: kompetitif di tugas coding dan agentic tertentu, tetapi belum memimpin di semua kategori. Bagi tim yang memilih model berdasarkan satu benchmark, hasilnya bisa menyesatkan. Yang lebih penting adalah mencocokkan benchmark dengan jenis tugas yang benar-benar dijalankan.

Harga juga tidak dicantumkan di model card. Tanpa angka biaya per token atau biaya per tugas, klaim efisiensi sulit dibandingkan langsung dengan model lain. Kalau biaya adalah faktor utama, minta angka dari penyedia inference atau hitung sendiri dari pemakaian nyata.

Untuk deployment, pertimbangkan juga dukungan penyedia inference. Metadata Hugging Face menampilkan downloads 0 pada saat artikel ini disusun, yang berarti belum ada trafik unduhan tercatat, dan daftar inference provider masih kosong. Itu bukan penilaian kualitas, tetapi menunjukkan adopsi awal masih berjalan.

Sumber utama

Model card dan tabel benchmark tersedia di Hugging Face, dengan laporan teknis di DeepSeek_V41_Tech_Report.pdf. Dokumentasi format prompt dan library produksi ada di repo deepseek-recipe, sedangkan referensi API tersedia di api-docs.deepseek.com.

Harness apa yang dipakai untuk benchmark?

DeepSeek mencantumkan dua harness secara eksplisit. Terminal-Bench 4.0 dijalankan dengan harness CC, sedangkan DeepSWE v1.1 memakai Mini-SWE-V2. Penanda salib pada angka HLE menunjukkan subset text-only dari benchmark tersebut, bukan hasil multimodal penuh.

Detail harness penting karena skor agentic sangat dipengaruhi cara tools disediakan, berapa langkah yang diizinkan, dan bagaimana kegagalan dihitung. Tanpa konfigurasi yang identik, angka dari dua model tidak benar-benar sebanding. Model card tidak memuat seluruh konfigurasi harness di halaman utama, sehingga pembaca yang ingin mereproduksi hasil perlu merujuk ke laporan teknis dan repo terkait.

Bagaimana cara memakai model ini?

Rilis ini tidak menyertakan chat template dalam format Jinja. Sebagai gantinya, folder encoding berisi implementasi referensi Python mandiri dengan kasus uji untuk percakapan multi-turn, tool calling, thinking mode, numeric reasoning effort, pesan sistem di tengah percakapan, dan konten gambar yang disisipkan. Bagi yang membangun pipeline sendiri, implementasi itu jadi acuan format prompt.

Untuk produksi, DeepSeek merilis deepseek-recipe, kumpulan library Rust dengan binding Python. Library ini mengubah request Messages, Chat Completions, dan Responses API menjadi format Conversation, lalu mengodekannya menjadi prompt DeepSeek V4 dan V4.1 atau token ID. Setelah model menghasilkan output, library yang sama mem-parsing hasilnya menjadi respons lengkap atau stream, termasuk thinking, tool call, gambar, dan pengaturan generasi. Inferensi model, eksekusi tool, dan transport HTTP tetap menjadi tanggung jawab pemakai.

Untuk menjalankan model secara lokal, model card mengarahkan ke folder inference yang berisi instruksi konversi bobot dan inferensi. Repo memakai library transformers dan format safetensors, dengan tag fp8 dan 8-bit pada metadata Hugging Face. Bobot penuh berukuran besar, jadi kebutuhan VRAM atau RAM akan ditentukan oleh cara kuantisasi dan berapa banyak parameter yang diaktifkan per token.

Apakah angka benchmark ini independen?

Belum. Semua angka di tabel berasal dari model card yang diterbitkan DeepSeek, bukan dari evaluasi pihak ketiga. Beberapa benchmark memang menyediakan harness publik, tetapi hasil yang dilaporkan vendor tetap perlu diperlakukan sebagai klaim sampai ada replikasi independen.

Ada beberapa alasan untuk skeptis secara sehat. Pertama, pemilihan prompt dan harness bisa mengubah skor agentic cukup besar. Kedua, model card tidak merinci variance antar run, padahal benchmark agentic sering fluktuatif. Ketiga, perbandingan dengan model lain memakai angka yang dikumpulkan DeepSeek sendiri, bukan angka resmi dari vendor masing-masing.

Yang bisa dilakukan sekarang adalah memakai angka ini sebagai indikasi arah, lalu menguji model pada workload sendiri. Untuk tim yang mempertimbangkan migrasi, benchmark internal dengan tugas nyata lebih relevan daripada selisih beberapa poin di leaderboard.

Apakah lisensinya benar-benar MIT?

Ya. Model card menyatakan repo dan bobot model dilisensikan di bawah MIT License, dan metadata Hugging Face menampilkan tag license:mit. MIT adalah lisensi permisif yang mengizinkan penggunaan komersial, modifikasi, dan distribusi, dengan kewajiban menyertakan notice hak cipta dan lisensi.

Meski lisensi bobot permisif, kepatuhan tetap bergantung pada penggunaan. Data pelatihan, komponen pihak ketiga, dan ketentuan layanan API (kalau memakai endpoint DeepSeek, bukan bobot lokal) punya aturan sendiri. Untuk produk komersial, tetap perlu review legal atas notice pihak ketiga dan kebijakan penyedia inference yang dipakai.

Apa yang perlu diwaspadai sebelum memakai?

Pertama, format prompt. Tanpa chat template Jinja, integrasi yang mengandalkan template standar Hugging Face tidak akan langsung cocok. Implementasi encoding dan deepseek-recipe ada untuk menutup celah itu, tetapi keduanya menambah langkah integrasi.

Kedua, ukuran dan biaya inference. Konteks 1 juta token dan output 256K bukan konfigurasi ringan. Biaya komputasi naik seiring panjang konteks, dan latensi bisa menjadi masalah untuk aplikasi interaktif. Uji beban dengan panjang prompt realistis sebelum menjanjikan SLA.

Ketiga, klaim efisiensi. Model card menyebut waktu eksekusi dan panjang output berkurang, tetapi tidak memberikan tabel biaya per tugas di halaman utama. Kalau penghematan biaya adalah alasan utama adopsi, ukur sendiri biaya per tugas yang berhasil, bukan hanya skor benchmark.

FAQ

Apakah DeepSeek-V4.1-Flash-1017 model baru dari nol?

Bukan. Model card menyebutnya pembaruan minor dari DeepSeek-V4.1-Flash. Fokusnya peningkatan reasoning, coding, tugas agentic, dan benchmark visual, bukan arsitektur yang sepenuhnya baru.

Berapa konteks maksimal yang didukung?

Model card mencantumkan context_window 1 juta token dengan max_tokens minimal 256K. Angka itu batas arsitektur, jadi kualitas pada konteks sangat panjang tetap perlu diuji sendiri.

Apakah bobotnya bisa dipakai komersial?

Bisa, karena lisensinya MIT. Tetap perlu menyertakan notice lisensi dan memeriksa ketentuan komponen pihak ketiga serta penyedia inference yang dipakai.

Mengapa tidak ada chat template Jinja?

DeepSeek memilih menyediakan implementasi encoding Python mandiri dan library deepseek-recipe sebagai acuan format prompt. Integrasi harus memakai salah satunya, bukan template standar Hugging Face.

Apakah skornya bisa langsung dibandingkan dengan model lain?

Hanya sebagai indikasi. Semua angka berasal dari DeepSeek, dan harness agentic sangat memengaruhi hasil. Perbandingan yang adil membutuhkan konfigurasi harness identik dan replikasi independen.

Rekomendasi Tools & Layanan

Beberapa layanan yang dipake di panduan ini: free trial Alibaba Cloud (coba gratis, sesuaikan kebutuhan), dan halaman promo terbaru buat cek diskon yang lagi jalan bulan ini.