Dengan semakin banyaknya teks yang dihasilkan AI — dari artikel blog sampai email bisnis — deteksi AI-generated text jadi skill yang sangat penting. Artikel dari arXiv minggu lalu nge-bahas tentang menggunakan machine learning klasik (bukan deep learning) untuk deteksi ini, dan hasilnya surprisingly bagus.
Gw sendiri butuh skill ini karena beberapa klien minta gw verifikasi konten sebelum publish. Dan ternyata, lo nggak perlu model GPT buat deteksi teks AI — ada beberapa teknik ML klasik yang sangat efektif dan lebih ringan.
Kenapa ML Klasik untuk AI Detection?
- Kecepatan — ML klasik bisa process ribuan teks per detik, jauh lebih cepat dari LLM
- Resource — nggak butuh GPU mahal, bisa jalan di VPS murah
- Interpretability — lo bisa tahu kenapa suatu teks diklasifikasi sebagai AI-generated
- Cost — gratis untuk inference, nggak perlu bayar API
Teknik 1: Perplexity dan Burstiness Analysis
Dua metrik paling dasar tapi efektif:
- Perplexity — mengukur seberapa predictable teks. AI-generated text cenderung punya perplexity rendah karena model AI selalu pilih word probability tertinggi
- Burstiness — mengukur variasi panjang kalimat. Manusia menulis dengan variasi natural, AI cenderung konsisten
Contoh kode Python untuk analisis perplexity menggunakan bigram model:
from collections import Counter
import numpy as np
def calculate_perplexity(text):
words = text.split()
bigrams = list(zip(words[:-1], words[1:]))
bigram_counts = Counter(bigrams)
word_counts = Counter(words)
log_prob = 0
for bigram, count in bigram_counts.items():
prob = count / word_counts[bigram[0]]
log_prob += np.log2(prob)
return 2 ** (-log_prob / len(bigrams))Teknik 2: Statistical Features dengan scikit-learn
Extract fitur statistik dari teks: vocab richness, average word length, sentence length variation, punctuation frequency, dan transition word frequency. Lalu gunakan Gradient Boosting atau Random Forest classifier. Biasanya mencapai accuracy 85%.
Teknik 3: TF-IDF dengan SVM
Pendekatan yang lebih powerful: gunakan TfidfVectorizer dengan ngram_range=(1,3) lalu LinearSVC. Pipeline ini biasanya mencapai accuracy 89% — cukup bagus tanpa butuh GPU.
Dataset untuk Training
Beberapa sumber dataset: HC3 (37K samples dengan human dan ChatGPT responses), RAID (360K samples dari berbagai AI model), dan DAIGTwin (100K samples dari GPT-4, Claude, dan Gemini). Semua tersedia gratis di Hugging Face.
Evaluasi dan Limitasi
| Metode | Accuracy | Speed | Resource |
|---|---|---|---|
| Perplexity + Burstiness | 72% | Sangat cepat | CPU only |
| Statistical Features + GBM | 85% | Cepat | CPU only |
| TF-IDF + SVM | 89% | Sedang | CPU only |
| Deep Learning (LSTM) | 94% | Lambat | GPU needed |
Limitasi: adversarial attacks bisa lolos deteksi, model-specific (model dilatih pada GPT-4 mungkin kurang akurat untuk Gemini), domain-dependent, dan AI terus berkembang.
Kesimpulan
ML klasik masih sangat relevan untuk AI text detection. Dengan accuracy mencapai 89% tanpa GPU, pendekatan ini sangat practical buat developer Indonesia. Mulai dengan TF-IDF + SVM sebagai baseline, lalu upgrade ke deep learning kalau butuh accuracy lebih tinggi.
💬 Komentar (0)
Belum ada komentar. Jadilah yang pertama! 💬