Transformer Kecil Raih 44 Persen di ARC-AGI-1 Hanya dengan Modal 67 Sen

Di tengah perlombaan model AI raksasa yang menghabiskan jutaan dolar untuk satu kali training, sebuah hasil justru datang dari arah yang berlawanan. Mithil Vakde, peneliti lulusan IIT Bombay, melatih sebuah transformer kecil dari nol dalam 1,5 jam di satu kartu RTX 5090 dan berhasil mencetak skor 44 persen di benchmark ARC-AGI-1. Total biayanya? Hanya 67 sen. Hasil ini setara dengan model-model yang jauh lebih besar dan memicu diskusi hangat di kalangan peneliti AI.

ARC-AGI adalah benchmark yang dirancang khusus untuk menguji kemampuan penalaran abstrak dan generalisasi, bukan sekadar menghafal pola. Benchmark ini terkenal sulit: hanya ada seribu puzzle, masing-masing memakai aturan berbeda dengan konsep yang saling beririsan. Skor 44 persen di ARC-AGI-1 dari sebuah transformer kecil yang dilatih dengan biaya kurang dari satu dolar adalah sesuatu yang sebelumnya dianggap mustahil oleh banyak peneliti.

Ini adalah seri ketiga dari rangkaian pekerjaan Vakde di ARC-AGI. Hasil sebelumnya sudah menarik perhatian peneliti top seperti Lucas Beyer, Jeremy Howard, dan Rohan Anil, dan sempat viral di X. Banyak yang mengira hasil sebelumnya mustahil dicapai, tapi kini angkanya naik lagi: dari 40 persen menjadi 44 persen, dengan biaya yang justru turun.

Kenapa Sample Efficiency Jadi Fokus

Vakde menyebut sample efficiency sebagai masalah terpenting dalam AI saat ini. Tujuannya adalah menemukan batas efisiensi sampel ketika dibatasi pada transformer dan metode deep learning modern, sekaligus menekan biaya supaya iterasi jadi jauh lebih cepat dan murah.

ARC adalah benchmark yang tepat untuk menguji ini karena beberapa alasan. Pertama, sangat sedikit sampel: hanya seribu puzzle dalam ruang berdimensi tinggi. Kedua, ini benchmark metalearning, jadi setiap puzzle memakai aturan berbeda dengan beberapa konsep yang sama. Ketiga, sangat sedikit prior yang dibutuhkan: setiap konsep di set eval sudah ada di set train. Keempat, benchmark ini mudah dipecahkan manusia dan terjangkau bahkan untuk peneliti AI yang kekurangan dana. Terakhir, benchmark ini belum jenuh dalam hal efisiensi data, selama pendekatan yang dipakai tidak bergantung pada LLM raksasa atau data sintetis dalam jumlah besar.

Cara Kerja Pendekatannya

Pendekatan keseluruhannya mirip dengan pekerjaan sebelumnya, dengan sejumlah peningkatan. Setiap pasangan input-output dikonversi menjadi urutan token, lalu urutan itu dilatih secara autoregressive oleh transformer kecil. Proses ini dilakukan dari nol pada saat test time, baik untuk puzzle train set maupun eval set, dengan label test tetap disembunyikan.

Untuk memungkinkan pembelajaran lintas tugas, setiap puzzle diberi embedding aditif terpisah yang dipelajari. Karena setiap urutan berisi dua grid 2D, posisi dipelajari memakai 3D RoPE embeddings. Urutan juga diperkaya dengan permutasi warna dan dihedral. Saat inferensi, input test diperkaya dan inverse augmentation diterapkan pada output yang dihasilkan. Dua output paling umum kemudian disubmit.

Perubahan terbesar sejak hasil sebelumnya: arsitektur dimodernisasi memakai SwiGLU menggantikan GELU dan RMSNorm menggantikan LayerNorm, data diversity ditingkatkan dengan shuffling yang lebih baik, dan skala dinaikkan dari 4 menjadi 8 layer. Biaya turun drastis karena augmentasi jauh lebih sedikit, AdamW diganti Normuon, dan flash attention dengan varlen training plus kernel flex attention dipakai untuk inferensi.

Satu perubahan penting: model tidak lagi dilatih pada input token. Loss function hanya mencakup output token, yang membuat pendekatannya supervised. Ini justru tampil sedikit lebih baik, dari 40 persen menjadi 44 persen, meski penulisnya sendiri mengaku tidak paham sepenuhnya kenapa. Kemungkinan karena kapasitas model yang terbatas.

Data training juga ditambah dengan memakai tugas non-tumpang-tindih dari ARC-2, dengan sangat hati-hati memastikan tidak ada kebocoran data. ARC-2 berisi 773 puzzle ARC-1 yang diulang dan 347 puzzle baru. Kalau naif melatih pada ARC-2, itu kebocoran data dan skornya bakal 100 persen. Vakde menghindari ini dengan menyaring 773 puzzle yang diulang.

Perilaku Menarik dan Ablasi

Ada perilaku yang membingungkan: karena model tidak lagi dilatih pada input, pendekatannya menjadi supervised. Yang aneh adalah test loss-nya justru lebih buruk, tapi skornya lebih baik. Modelnya juga lebih stabil dengan varian skor yang lebih kecil. Banyak peneliti saat ini bekerja pada sample efficiency dengan membidik validasi loss terendah di dataset kecil, tapi hasil ini menunjukkan adanya failure mode dalam pendekatan semacam itu.

Sebelum beralih ke NorMuon, Vakde mencoba Muon vanilla. Muon jelas melatih lebih cepat daripada AdamW, tapi loss dan skornya mandek di akhir alih-alih konvergen. Menurunkan momentum dan learning rate secara drastis di titik itu membantu, tapi dia tidak ingin membuat perubahan manual seperti itu. Setelah beralih ke NorMuon, masalahnya hilang.

Hasil ablasi menunjukkan kontribusi terbesar berasal dari representasi yang baik: 3D RoPE dan per-task embedding. Menghapus 3D RoPE atau per-task embedding menyebabkan penurunan tajam, keduanya jenuh di 25 persen. Melatih pada input tampil sedikit lebih buruk di sekitar 39 persen. Membatasi training set hanya pada ARC-1 dan ConceptARC tampil hampir sama di sekitar 40 persen. Beralih dari 3D RoPE ke 1D menurunkan skor ke 24 persen, sama seperti menghapus per-task embedding.

Menjalankan model dengan gaya CompressARC, melatih dari nol pada setiap tugas secara terpisah dan unsupervised, menurunkan performa ke 18 persen. CompressARC versi supervised bahkan lebih rendah di 15 persen.

Menjawab Tuduhan Curang

Hasil ini tidak lepas dari kritik. Tuduhan paling umum adalah "training on test" atau melatih pada puzzle eval. Vakde membantahnya dengan argumen yang jelas. "Training on test" secara spesifik berarti melatih pada label data test. Label itu tidak pernah dilatih. ARC adalah benchmark metalearning, jadi memang seharusnya belajar dari puzzle eval. Setiap puzzle punya pasangan contoh dan pasangan test, dan label hanya output grid dari pasangan test di puzzle eval. Label itu tersembunyi dan tidak pernah disentuh.

Tuduhan kedua: melatih pada input puzzle eval membocorkan informasi. Ini juga dibantah. Pendekatan semacam itu disebut penalaran transduktif dan sudah dipelajari sejak zaman Vapnik. Dogma menghindari input eval juga tidak masuk akal di dunia yang mencoba memecahkan continual learning. Perlu dicatat: pada hasil 44 persen yang baru, training pada input justru sudah dihapus karena skornya sedikit lebih buruk.

Tuduhan ketiga: input test secara spesifik seharusnya dilarang. Argumen transduksi yang sama berlaku di sini, dan pendekatannya tetap tidak pernah melihat label output dari pasangan test mana pun.

Kontribusi dan Prospek ke Depan

Kode-nya open-source dan siapa pun bisa memodifikasinya untuk meningkatkan skor atau menekan biaya. Vakde menantang komunitas mencoba mencapai 65 persen, dan mengklaim itu tidak butuh banyak modifikasi. Buktinya: gabungan semua tugas yang terpecahkan dari beberapa run menghasilkan 55 persen, dan banyak tugas lain yang hampir terpecahkan.

Beberapa ide yang disarankan: RoPE mencampur informasi posisi dan konten yang mungkin memperburuk performa, jadi PoPE bisa tampil setara atau lebih baik. Arsitektur bisa dimodernisasi lebih jauh, dan biaya bisa dikurangi 10 kali lipat dengan handmade GPU code. Ada juga tantangan untuk menghapus data augmentation sepenuhnya sambil menjaga biaya training tetap rendah.

Vakde mengaku tidak menyangka bisa mencapai 44 persen hanya dengan transformer. Dia pikir ini butuh ide baru. Ablasi menunjukkan banyak performa yang bertahan bahkan tanpa augmentasi atau data sintetis, dan dia yakin 65 persen bisa dicapai dalam kerangka transformer. Yang membuat hasil ini menarik bukan hanya skornya, tapi pertanyaannya: kenapa orang lain tidak menemukan ini lebih dulu? Benchmark ini sudah terbuka selama enam tahun, berprofil tinggi, dan punya hadiah satu juta dolar.

Arti Angka 44 Persen di ARC-AGI

Untuk memahami kenapa 44 persen ini penting, perlu konteks tentang di mana posisi benchmark ARC-AGI. Benchmark ini dirancang Francois Chollet dan dirilis dengan hadiah satu juta dolar bagi siapa pun yang bisa mencapai skor tinggi dengan efisiensi yang sebanding dengan manusia. Berbeda dengan benchmark NLP yang menguji hafalan pola statistik, ARC-AGI menguji kemampuan generalisasi dari contoh yang sangat sedikit. Setiap puzzle memakai aturan visual yang berbeda, dan model harus menemukan aturan itu dari beberapa contoh input-output.

Model besar yang dilatih dengan data internet dalam jumlah masif sering kali justru kesulitan di ARC karena benchmark ini sengaja tidak tumpang tindih dengan data training mereka. Hasil 44 persen dari transformer kecil yang dilatih dari nol pada setiap puzzle menunjukkan bahwa representasi yang tepat dan pendekatan metalearning bisa melampaui pendekatan skala mentah, setidaknya di benchmark semacam ini. Skor ini juga setara dengan model yang dipuji publik, tapi dengan biaya yang beberapa kali lipat lebih rendah.

Yang lebih penting, hasil ini bukan sekali jalan. Vakde menunjukkan bahwa menggabungkan semua tugas yang terpecahkan dari beberapa run menghasilkan 55 persen, dan banyak tugas lain yang hampir terpecahkan. Ini menyiratkan bahwa 65 persen bisa dicapai dengan modifikasi arsitektur yang relatif kecil, target yang dia tantangkan ke komunitas open-source.

Peran Data Sintetis dan Augmentasi

Salah satu temuan paling menarik dari ablasi Vakde adalah seberapa banyak performa yang bertahan tanpa augmentasi dan data sintetis. Ini menantang asumsi umum bahwa model butuh data buatan dalam jumlah besar untuk mencapai generalisasi. Ablasi menunjukkan bahwa banyak peningkatan skor justru berasal dari representasi yang baik dan arsitektur modern, bukan dari memperbanyak data.

Vakde secara terbuka menyatakan ketidaksukaannya pada data augmentation dan berharap bisa menghapusnya sepenuhnya. Tantangannya adalah melakukannya sambil menjaga biaya training tetap rendah. Temuan ini relevan untuk praktisi machine learning di mana pun: sebelum menambal performa dengan data sintetis yang mahal, cek dulu apakah representasi dan arsitekturnya sudah optimal. Terkadang perbaikan terbesar justru datang dari perubahan yang tampak kecil, seperti mengganti optimizer atau mengubah cara posisi di-embed.

Perilaku loss yang aneh juga layak dicatat: test loss yang lebih buruk justru menghasilkan skor lebih baik. Ini mengingatkan bahwa metrik proxy seperti loss tidak selalu berkorelasi dengan performa tugas akhir, dan terlalu fokus pada validasi loss bisa menyesatkan. Pendekatan berbasis skor langsung, seperti yang dipakai Vakde, bisa memberi sinyal yang lebih jujur tentang apa yang sebenarnya ingin dicapai.

Ekonomi Riset AI yang Lebih Demokratis

Biaya 67 sen untuk hasil yang kompetitif punya implikasi lebih luas dari sekadar angka. Riset AI modern sering dianggap eksklusif untuk organisasi dengan anggaran komputasi raksasa. Hasil ini menunjukkan bahwa pertanyaan riset yang menarik masih bisa dikejar dengan satu GPU consumer dan biaya listrik yang setara secangkir kopi.

Bagi peneliti di negara berkembang, termasuk Indonesia, ini kabar baik. Hambatan masuk untuk eksperimen sample efficiency tidak harus mahal. Yang dibutuhkan adalah ide yang jernih, disiplin metodologis, dan kemauan untuk memeriksa asumsi yang dipegang komunitas riset. Vakde sendiri menggarisbawahi tujuannya menjaga biaya tetap rendah supaya siapa pun di dunia bisa mengerjakan masalah ini.

Tentu saja, tidak semua riset AI bisa ditekan ke biaya serendah ini. Melatih model bahasa besar atau multimodal tetap butuh sumber daya masif. Tapi untuk subbidang tertentu, terutama yang berfokus pada efisiensi sampel dan generalisasi, biaya rendah justru bisa menjadi keunggulan kompetitif karena memungkinkan iterasi yang jauh lebih cepat. Lebih banyak percobaan dalam waktu yang sama berarti lebih banyak kesempatan menemukan sesuatu yang berhasil.

Kesimpulan

Hasil 44 persen di ARC-AGI-1 dengan biaya 67 sen adalah pengingat bahwa kemajuan AI tidak selalu datang dari model yang lebih besar. Sample efficiency, representasi yang tepat, dan disiplin terhadap kebocoran data bisa membuka hasil yang mengejutkan dengan fraksi kecil dari biaya pendekatan mainstream. Untuk developer dan peneliti di Indonesia, ini juga kabar baik: hambatan masuk riset AI yang serius tidak harus mahal. Satu GPU consumer dan ide yang jernih bisa menjadi titik awal.

Pelajaran terbesarnya bukan soal ARC semata, tapi soal cara berpikir: sebelum menambah komputasi, pastikan representasi dan pendekatannya sudah optimal. Terkadang jawaban atas masalah yang terlihat mustahil ada pada detail yang tampak sepele, seperti embedding posisi 3D atau pemilihan optimizer yang tepat.