Jalankan model open-weight di laptop dengan Ollama

Model lokal cocok untuk data yang tidak boleh keluar, misalnya data warga di kantor desa atau nilai siswa. Tidak ada biaya per token, tapi butuh laptop yang cukup kuat.

1. Buka https://ollama.com, unduh versi untuk Windows, Mac, atau Linux, lalu pasang.
2. Buka Terminal (Mac/Linux) atau Command Prompt (Windows). Pilih model kecil dari daftar di situs Ollama. Model berukuran beberapa miliar parameter biasanya muat di laptop dengan RAM 8-16 GB. Jalankan ollama run <nama-model> sesuai nama di halaman model.
3. Tunggu unduhan selesai. Setelah muncul tanda prompt, ketik pertanyaan langsung.
4. Uji dengan prompt di bawah, pakai data karanganmu sendiri (jangan data warga asli saat mencoba).

Kamu asisten administrasi kantor desa di Kecamatan Rejoso, Nganjuk.
Ubah catatan berikut menjadi daftar rapi dengan kolom: nama, keperluan, status.
Jawab dalam bentuk tabel teks, tanpa tambahan penjelasan.

Catatan:
Pak Darto minta surat keterangan usaha, sudah jadi. Bu Sri tanya syarat KK baru, belum lengkap.
Mas Anton urus surat pengantar SKCK, menunggu tanda tangan kades.

5. Jalankan 10 kasus dari eval set kamu di model lokal dan di model cloud. Catat skor dan waktu jawab keduanya di Google Sheets.
6. Ketik /bye untuk keluar.

Yang perlu diperhatikan: model kecil lokal biasanya lebih lemah untuk bahasa Jawa dan penalaran panjang, tapi sering sudah cukup untuk tugas sempit seperti merapikan format atau mengelompokkan. Kalau laptop terasa sangat lambat, coba model yang lebih kecil. Keputusan akhirnya tetap dari angka eval, bukan dari kesan.