AI Club NganjukKomunitas AI Kota AnginSaat hasil AI belum memuaskan, godaannya langsung "fine-tune saja". Padahal ada tangga, dan anak tangga bawah jauh lebih murah.
1. Perbaiki prompt
Tambah peran, batasan, format, dan 3-5 contoh. Ini gratis dan cepat. Sebagian besar masalah selesai di sini. Ukur dengan eval set: kalau skor naik dari 70% ke 90%, berhenti di sini.
2. RAG
Kalau AI salah karena tidak tahu fakta (daftar harga toko, aturan desa, jadwal posyandu), masalahnya pengetahuan, bukan kepintaran. Sisipkan dokumen yang relevan ke prompt. Data mudah diperbarui tanpa melatih ulang.
3. Fine-tune ringan (LoRA)
Kalau AI tahu faktanya tapi gaya atau formatnya terus meleset, misalnya harus selalu menulis laporan dengan gaya baku kantor desa, fine-tune bisa membantu. LoRA melatih sebagian kecil tambahan bobot, jadi bisa jalan di GPU gratis Colab untuk model kecil. Butuh ratusan sampai ribuan contoh yang rapi. Menyiapkan data ini yang paling makan waktu.
4. Distilasi
Model besar yang bagus tapi mahal dipakai untuk membuat banyak contoh jawaban. Contoh itu dipakai melatih model kecil yang murah dan cepat. Cocok kalau produkmu sudah dipakai banyak orang dan biaya token mulai terasa.
Cara memutuskan
- Salah fakta: naik ke RAG.
- Salah gaya atau format walau prompt sudah rapi: pertimbangkan LoRA.
- Sudah bagus tapi terlalu mahal atau lambat: pertimbangkan distilasi atau model lebih kecil.
- Belum punya eval set: jangan naik tangga apa pun. Kamu tidak akan tahu apakah usahamu berhasil.
Ingat, setiap anak tangga menambah beban rawat. Model hasil fine-tune harus dilatih ulang saat datanya berubah. Prompt cukup diedit.