PyTorch Monarch di AMD GPU: Distributed Training AI Murah Tanpa NVIDIA 2026

Saya sudah lama skeptis dengan klaim "AI training tanpa NVIDIA akan murah". Setiap benchmark independen yang saya lihat menunjukkan gap performa 30-60% antara CUDA dan ROCm untuk workload serius. Tapi diskusi tentang "Bringing PyTorch Monarch to AMD GPUs" yang muncul bulan lalu menyentuh titik yang berbeda. Bukan tentang performa single-GPU, tapi tentang orkestrasi distributed training yang membuat multi-AMD-GPU setup viable untuk workload yang dulu hanya feasible di cluster NVIDIA.

Saya menjalankan setup AMD (RX 7900 XTX + RX 7800 XT, total 32GB VRAM) untuk fine-tuning model 7B-13B selama 3 bulan terakhir. Artikel ini share real experience: setup yang saya pakai, benchmark objektif, biaya riil, dan apakah trade-off-nya worth it untuk use case Anda.

1. Konteks: Kenapa AMD Matters untuk AI Training

Industri AI training sangat terkonsentrasi di NVIDIA. CUDA adalah de facto standard, dengan tooling mature (cuDNN, NCCL, TensorRT), library yang lengkap, dan community yang besar. H100 adalah pilihan default untuk training skala besar, dengan harga $25.000-$40.000 per unit. Untuk organisasi kecil atau independent researcher, masuk ke AI training serius sering kali butuh modal ratusan ribu dolar untuk hardware.

AMD punya potensi untuk mengubah dinamika ini. RX 7900 XTX di $1.000 memberikan 24GB VRAM dengan memory bandwidth 960 GB/s. RX 7900 XTX bekas (seperti yang saya beli) di $600-$700. Untuk setup dual-GPU, total $1.200-$1.400 untuk 48GB VRAM. Bandingkan dengan NVIDIA RTX 4090 24GB di $1.800-$2.500, atau A100 40GB bekas di $2.000-$3.000.

Masalahnya: software support. ROCm (platform compute AMD) selama bertahun-tahun tertinggal dari CUDA. Bug, kompatibilitas yang terbatas, dokumentasi yang minim, dan library yang hilang membuat banyak developer enggan. PyTorch dengan ROCm support sudah ada sejak 2020, tapi baru di 2025-2026 ecosystem-nya mulai mature. PyTorch Monarch adalah bagian dari puzzle ini — framework untuk orchestrate distributed training yang sebelumnya didominasi oleh NCCL untuk NVIDIA.

2. PyTorch Monarch: Apa dan Mengapa Penting

PyTorch Monarch (jangan bingung dengan Meta's Monarch system) adalah library open-source yang released oleh komunitas PyTorch untuk orchestrate distributed training across heterogeneous hardware. Tujuannya: menyederhanakan setup training multi-GPU dan multi-node tanpa harus pusing dengan NCCL configuration yang kompleks.

Sebelum Monarch, untuk setup distributed training saya harus konfigurasi secara manual: rank, world size, master address, backend (NCCL, Gloo, atau custom), communication protocol. Untuk NVIDIA, ini relatif well-documented. Untuk AMD dengan ROCm, ini lebih trial-and-error. Monarch menyediakan abstraction layer: define topology, assign workload, dan framework handle sisanya.

Fitur kunci Monarch:

• Topology abstraction: deklarasikan node dan GPU tanpa harus pusing dengan rank/world_size manual.
• Heterogeneous support: bisa mix NVIDIA + AMD dalam satu training run (misal: master di NVIDIA, worker di AMD).
• Automatic sharding: FSDP (Fully Sharded Data Parallel) dan tensor parallelism di-handle otomatis.
• Fault tolerance: kalau satu GPU crash, Monarch restart training dari checkpoint tanpa harus restart seluruh run.

Untuk setup kecil-menengah (2-8 GPU), Monarch menghilangkan banyak boilerplate. Untuk cluster besar (16+ GPU), masih perlu customization, tapi starting point-nya jauh lebih baik dari raw PyTorch distributed.

3. Setup Hardware dan Software: Apa yang Saya Pakai

Saya akan share setup spesifik saya, supaya Anda bisa replikasi atau adapt ke situasi Anda. Saya pilih RX 7900 XTX karena balance antara harga, VRAM, dan memory bandwidth. RX 7800 XT lebih murah tapi VRAM-nya hanya 16GB, yang membatasi model size.

Hardware: CPU AMD Ryzen 9 7900X (12 core, $400 second-hand), motherboard dengan 2x PCIe 4.0 x16 slots, 64GB DDR5-5600 RAM ($200), 2x RX 7900 XTX 24GB (total $1.200 second-hand), PSU 1000W ($150), case dengan airflow bagus ($80), NVMe SSD 2TB untuk dataset ($120). Total: ~$2.150. Untuk perbandingan, single NVIDIA RTX 4090 24GB + workstation setara: $4.500-$5.000.

Software: Ubuntu 24.04 LTS, kernel 6.8 (penting untuk ROCm support), driver amdgpu dari kernel, ROCm 6.2 (di-install dari official AMD repo), PyTorch 2.5+ dengan ROCm wheels, PyTorch Monarch (install dari GitHub, masih beta). Saya pakai Podman (bukan Docker) untuk containerization karena saya jalankan banyak service di server ini.

Proses setup cukup straightforward, tapi ada beberapa gotcha yang dokumentasinya kurang jelas. Saya akan share workaround yang saya pakai.

4. Instalasi Step-by-Step

Pertama, install ROCm. Saya pakai official AMD repository, bukan Ubuntu package manager (yang biasanya outdated). Tambahkan repo, install rocm-core dan dependencies, lalu verify dengan rocminfo. Kalau listing GPU AMD muncul, instalasi sukses.

Kedua, install PyTorch dengan ROCm wheels. Standard pip install torch di Linux akan download CUDA build. Untuk ROCm, harus specify explicitly: pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.2. Verifikasi dengan torch.cuda.is_available() — kalau True, sukses.

Ketiga, install PyTorch Monarch. Ini masih beta, jadi tidak ada wheel resmi. Clone dari GitHub, build dengan poetry atau pip, install ke environment. Butuh beberapa dependency tambahan (torchx, torchft). Dokumentasi README Monarch menjelaskan step-by-step.

Keempat, setup Python environment. Saya pakai uv (modern Python package manager, faster dari pip). Virtual environment dengan Python 3.11 (Python 3.12 punya beberapa compatibility issue dengan PyTorch versi stable di Juli 2026). Install semua dependencies: transformers, datasets, accelerate, peft (untuk LoRA).

Kelima, validasi setup. Saya jalankan beberapa smoke test: tensor operation di GPU (matmul), data transfer CPU to GPU, simple training loop dengan synthetic data. Kalau semua lulus, setup Anda siap untuk workload production.

5. Benchmark: Apa yang Sebenarnya Anda Dapatkan

Saya jalankan benchmark pada setup saya, lalu bandingkan dengan data publik untuk NVIDIA equivalent. Test case: fine-tune Llama 3.1 8B pada dataset 100k samples (Indonesian chat), LoRA rank 64, batch size 4, gradient accumulation 4, sequence length 2048.

Setup	VRAM Total	Training Time (1 epoch)	Power Draw	Cost per Epoch
2x RX 7900 XTX	48GB	5 jam 20 menit	~700W	~$3.50 (listrik)
1x RTX 4090	24GB	7 jam 10 menit	~450W	~$2.40 (listrik)
1x A100 40GB bekas	40GB	4 jam 40 menit	~400W	~$1.90 (listrik)
2x A100 40GB bekas	80GB	2 jam 30 menit	~700W	~$1.30 (listrik)

Observasi penting: 2x RX 7900 XTX lebih cepat dari 1x RTX 4090 (5.3h vs 7.2h) untuk fine-tune 8B model. Tapi lebih lambat dari 1x A100 40GB. A100 punya memory bandwidth lebih tinggi (1.5 TB/s vs 960 GB/s di 7900 XTX) yang menjadi bottleneck untuk model besar.

Untuk workload yang lebih besar (13B model), gap AMD vs NVIDIA makin kecil karena AMD advantage di price-to-VRAM menjadi lebih relevan. Untuk 70B model, saya belum test sendiri, tapi data dari komunitas menunjukkan A100 cluster masih menang telak.

Power draw: AMD lebih boros daya, tapi total cost of ownership masih lebih rendah karena harga hardware yang lebih murah. Kalau Anda punya akses ke listrik murah (seperti beberapa region di Indonesia), advantage AMD makin besar.

6. Real-World Use Case: 3 Bulan Fine-Tuning untuk Klien

Saya jalankan setup AMD ini untuk klien yang butuh fine-tune model 7B untuk domain khusus (medical Q&A dalam Bahasa Indonesia). Total ada 8 training run, masing-masing 5-8 jam, plus beberapa eksperimen hyperparameter. Total GPU time: ~80 jam selama 3 bulan.

Biaya yang saya keluarkan: setup hardware $2.150 (satu kali, sebagian amortisasi), listrik ~$15/bulan (~$45 total), storage dan backup ~$5/bulan. Total biaya 3 bulan: ~$2.250. Setara dengan $750/bulan. Bandingkan dengan sewa cloud GPU equivalent di RunPod atau Vast.ai: ~$1.500-$2.500/bulan. Payback period: 2-3 bulan.

Untuk setup cloud equivalent (AWS p4d.24xlarge dengan 8x A100): $32/hour on-demand, ~$3.500/bulan untuk usage yang sama. ROI hardware sendiri: 1 bulan untuk break-even.

Apa yang tidak terlihat di angka: setup awal butuh ~20 jam engineering (install ROCm, debug compatibility issue, optimasi script training). Kalau Anda hitung hourly rate engineer, break-even lebih lama. Tapi untuk use case yang recurrent (banyak training run untuk klien berbeda), amortisasi jadi sangat menguntungkan.

Pelajaran penting: AMD setup cocok untuk workflow yang recurrent, di mana Anda bisa spread setup cost ke banyak training run. Untuk one-off project yang cuma butuh 1-2 training run, cloud GPU lebih murah karena tidak ada upfront investment.

7. Limitasi dan Gotcha yang Saya Temukan

Tidak ada review yang honest tanpa membahas limitasi. Berikut yang saya temui selama 3 bulan.

Library yang belum support ROCm dengan baik: beberapa library Python populer (terutama yang optimasi kernel via custom CUDA) belum punya ROCm equivalent. BitsAndBytes (library untuk quantization yang populer) baru stabil di ROCm sejak akhir 2025. Flash Attention 2 masih beta di ROCm dan kadang crash. Untuk workaround, fallback ke PyTorch native implementation (lebih lambat tapi reliable).

Memory management yang lebih agresif dibutuhkan: ROCm punya memory leak yang kadang membuat OOM setelah beberapa jam training. Workaround: restart training setiap 4-6 jam dari checkpoint. Ini annoying tapi workable. AMD sudah aware dan fix-nya masuk roadmap ROCm 6.3.

Dokumentasi dan komunitas lebih kecil: kalau stuck, lebih sulit cari solusi karena komunitas ROCm lebih kecil dari CUDA. Reddit r/LocalLLaMA punya banyak thread ROCm, tapi response time lebih lambat. Saya beberapa kali harus baca source code library untuk understand behavior yang tidak didokumentasikan.

Tidak semua model support: model dengan custom kernel yang pakai CUDA-specific optimization (misal: beberapa implementasi Mamba) tidak akan jalan di ROCm. Untuk model mainstream (Llama, Mistral, Qwen, Gemma), support sudah baik. Untuk model niche atau research, kemungkinan ada masalah.

Inference lebih lambat dibanding training: ini counter-intuitive tapi valid. Untuk inference single-batch, RX 7900 XTX kalah dari RTX 4090 (yang punya CUDA core lebih banyak). Keuntungan AMD ada di memory bandwidth, yang critical untuk training tapi kurang critical untuk inference ringan. Untuk inference batch besar, gap mengecil.

Secara keseluruhan: AMD setup viable untuk training workload mainstream, dengan beberapa friction di tooling. Untuk inference atau workload yang sangat optimize untuk NVIDIA, masih lebih baik pakai CUDA.

8. PyTorch Monarch dalam Praktik: Workflow Training

Dengan Monarch, workflow training distributed jadi lebih bersih. Berikut contoh sederhana: setup training 2-GPU dengan FSDP.

Definisikan topology: satu node, dua GPU AMD. Monarch handle konfigurasi distributed (rank, world size, master address). Script training standard PyTorch, hanya tambahkan decorator untuk Monarch yang handle FSDP sharding otomatis.

Kelebihan yang saya rasakan: setup lebih cepat (30 menit vs 2-3 jam dengan manual distributed), less error-prone (Monarch validasi topology), easier debugging (error message jelas). Untuk research yang sering ganti konfigurasi, ini productivity boost yang nyata.

Limitasi Monarch: masih immature untuk beberapa pattern advanced (pipeline parallelism, mixture of experts). Untuk 90% use case, sudah cukup. Untuk 10% sisanya, masih perlu raw PyTorch distributed atau framework lain (DeepSpeed, Megatron).

9. Cloud Alternative: Kapan Pilih Cloud, Kapan Beli Hardware

Ada use case di mana cloud GPU masih lebih masuk akal. Saya menggunakan framework berikut untuk memutuskan.

Beli hardware kalau: Anda punya workflow recurrent (training run tiap minggu atau lebih sering), Anda punya engineer yang bisa setup dan maintain, Anda mau kontrol penuh atas data (data tidak boleh keluar ke cloud), Anda punya cash flow yang bisa support upfront investment.

Pakai cloud kalau: workload Anda sporadic (1-2 run per bulan), Anda butuh akses ke hardware yang tidak feasible dibeli (misal: 8x H100), Anda tidak mau deal dengan setup dan maintenance, data Anda boleh keluar ke cloud, Anda mau flexible scaling (naik atau turun sesuai kebutuhan).

Untuk skenario middle ground (recurrent tapi budget terbatas), pertimbangkan GPU rental peer-to-peer seperti Vast.ai atau RunPod. Harga biasanya 30-50% dari cloud hyperscaler (AWS, GCP), dengan fleksibilitas yang mirip.

Diskusi lebih dalam tentang cloud vs self-host ada di perbandingan VPS dan budgeting server.

10. Roadmap: Ke Mana AMD + PyTorch Akan Bergerak

Berdasarkan diskusi dengan engineer di AMD dan komunitas open-source PyTorch, beberapa trend yang akan membentuk landscape di 2026-2027.

ROCm 7.0 (akhir 2026) akan menutup banyak gap: fokus utama adalah parity dengan CUDA di library ecosystem (cuDNN equivalent, cuBLAS equivalent), performance optimization untuk workload mainstream, dan tooling yang lebih mature (profiler, debugger). Beta sudah tersedia dan menunjukkan improvement signifikan.

PyTorch Monarch akan jadi default distributed training API: seiring stabilisasi, lebih banyak project akan adopt. Untuk sekarang, masih di fase early adopter, tapi momentum positif.

AMD Instinct series untuk data center: MI300X (192GB VRAM, $8.000-$10.000) adalah competitive langsung dengan H100 untuk beberapa workload. Cloud provider besar (Azure, AWS) sudah mulai tawarkan instance MI300X. Untuk data center deployment, AMD sudah viable tanpa kompromi besar.

Democratization akan terus berlanjut: dengan semakin matangnya tooling, threshold untuk masuk ke AI training akan turun. Independent researcher dan small team yang tidak punya budget untuk NVIDIA cluster akan punya akses ke hardware capable. Ini akan diversify landscape AI dan mungkin melahirkan innovation yang tidak akan terjadi di ekosistem terkonsentrasi.

Penutup

AMD + ROCm + PyTorch Monarch bukan pengganti NVIDIA + CUDA — setidaknya belum. Tapi untuk use case yang tepat, ini memberikan value yang sangat kuat: VRAM besar dengan harga reasonable, ekosistem yang increasingly mature, dan tooling yang mulai usable. Untuk fine-tuning model 7B-13B yang recurrent, setup AMD seperti yang saya pakai adalah sweet spot yang menarik.

Rekomendasi: coba dulu dengan cloud rental (Vast.ai atau RunPod menawarkan AMD instance dengan harga rendah). Kalau workload Anda recurrent dan Anda punya engineer yang bisa maintain, investasi hardware sendiri punya ROI yang menarik. Untuk eksplorasi lebih dalam tentang setup LLM di hardware terbatas, lihat Gemma 4 26B di hardware bekas dan LoRA fine-tuning speedrun.