Menyusun eval set dan grader

Eval set membuat kamu berhenti menebak. Di praktik ini kamu membuat 20 kasus uji untuk produk contoh: pengelompok pesan pelanggan toko bawang merah (kategori: PESAN, TANYA_HARGA, KOMPLAIN, LAINNYA).

1. Buka Google Sheets. Buat kolom: no, input, jawaban_benar, jawaban_ai, skor.
2. Isi 20 baris input. Pakai kalimat asli dari wawancara kalau ada. Campur yang mudah, yang ambigu, dan yang pakai bahasa Jawa. Contoh: "Mas, bawang 5 kilo dikirim ke Bagor bisa?" jawaban_benar PESAN.
3. Salin prompt di bawah ke Gemini atau AI Studio. Tempel 20 input sekaligus, lalu salin hasilnya ke kolom jawaban_ai.

Kamu pengelompok pesan pelanggan toko bawang merah di Nganjuk.
Kelompokkan setiap pesan ke SATU kategori: PESAN, TANYA_HARGA, KOMPLAIN, LAINNYA.
Pesan bisa berbahasa Indonesia atau Jawa.
Jawab hanya dalam format: nomor|KATEGORI, satu baris per pesan, tanpa penjelasan.

Pesan:
1. ...
2. ...

4. Grader exact match: di kolom skor tulis rumus =IF(TRIM(C2)=TRIM(D2);1;0) lalu tarik ke bawah. Rata-rata kolom skor adalah akurasimu.
5. Untuk jawaban bebas (misalnya balasan ramah ke pelanggan), exact match tidak cocok. Pakai LLM-as-judge dengan prompt berikut:

Kamu penilai balasan customer service toko bawang merah.
Rubrik (masing-masing 0 atau 1):
A. Menjawab pertanyaan pelanggan secara langsung.
B. Tidak mengarang harga atau stok yang tidak disebut di data.
C. Sopan dan singkat (maksimal 3 kalimat).
Pesan pelanggan: [tempel]
Data toko: [tempel]
Balasan yang dinilai: [tempel]
Beri skor A, B, C lalu total 0-3, dan satu kalimat alasan.

6. Ubah sedikit prompt pertama (misalnya tambah 3 contoh), jalankan ulang, bandingkan akurasinya.

Yang perlu diperhatikan: lihat baris yang salah, bukan hanya angkanya. Kesalahan yang berulang di pesan berbahasa Jawa berarti kamu perlu contoh Jawa di prompt. Cek juga 5 penilaian LLM-as-judge secara manual. Kalau penilainya sering beda pendapat denganmu, perbaiki rubriknya dulu.