LLM on-premise: apa itu dan kapan lebih baik dari cloud

LLM on-premise adalah model bahasa besar yang dijalankan di perangkat milik perusahaan, bukan di pusat data penyedia. Modelnya sama, cara jalannya berbeda, dan akibatnya berbeda untuk data, biaya, serta cara kerja tim.

Perbedaan paling penting untuk tim di Indonesia adalah data. Dengan LLM on-premise, dokumen dan pertanyaan tidak pernah meninggalkan jaringan internal, dan biaya tidak berhenti di akhir bulan.

STRATRONIX STA-100 adalah contoh perangkat yang menjalankan LLM secara lokal. Harga resmi $399 per unit, garansi perangkat keras 2 tahun, tanpa biaya langganan bulanan, dan mendukung model Bahasa Indonesia.

Definisi dan cara kerjanya

Model bahasa besar umumnya dilatih dengan data besar, lalu disimpan sebagai sekumpulan bobot. Bobot itu bisa diunduh, dipindahkan, dan dijalankan di perangkat apa pun yang cukup kuat. LLM on-premise adalah model itu yang dijalankan di server atau perangkat milik sendiri.

Saat pengguna bertanya, perangkat menerima pertanyaan, memprosesnya secara lokal, lalu mengembalikan jawaban. Tidak ada permintaan yang keluar, sehingga tidak ada biaya token dan tidak ada salinan percakapan di pihak lain.

• Model dan bobot disimpan di penyimpanan internal perusahaan
• Inferensi berjalan di perangkat, bukan di server penyedia
• Tidak ada biaya per token atau per pengguna per bulan
• Data, pertanyaan, dan jawaban tidak keluar dari jaringan internal
• Tetap berfungsi tanpa koneksi internet

Kapan on-premise lebih baik dari cloud

On-premise lebih tepat ketika datanya sensitif, regulator atau auditor terlibat, atau biaya langganan sudah terasa memberatkan. Untuk tim 100 pengguna aktif selama tiga tahun, layanan cloud umumnya sekitar Rp 150 juta per bulan atau Rp 5,4 miliar, sedangkan sepuluh unit STA-100 berbiaya $3,990 atau sekitar Rp 64 juta.

Cloud tetap lebih masuk akal untuk tim kecil, beban yang berubah-ubah setiap bulan, atau ketika tidak ada sumber daya untuk mengelola perangkat. Kriteria pemutusnya sederhana: apakah data boleh keluar, dan apakah biaya bulanan masuk akal untuk ukuran tim.

1. Periksa apakah kebijakan data internal melarang data keluar.
2. Hitung biaya cloud yang sudah dibayar selama tiga tahun terakhir.
3. Periksa apakah tim punya waktu untuk mengelola perangkat.
4. Uji satu use case dengan data nyata selama dua minggu.
5. Bandingkan hasilnya dan putuskan arah untuk tim berikutnya.

Model yang bisa dijalankan secara lokal

Perangkat STRATRONIX mendukung model bahasa besar umum seperti Qwen2.5-72B, DeepSeek-V3, ChatGLM4, ERNIE, Llama, dan MiniMax, serta model Bahasa Indonesia seperti Sahabat-AI dan SEA-Lion.

Pemilihan model menentukan kebutuhan perangkat. Model dengan parameter lebih besar butuh memori lebih besar dan waktu proses lebih lama, sementara model kecil lebih ringan untuk tugas peringkasan dan pencarian. Karena itu memilih model selalu dimulai dari pekerjaan yang mau dikerjakan.

Kepatuhan data di Indonesia dan Uni Eropa

UU PDP Nomor 27 Tahun 2022 mengharuskan pemrosesan data pribadi di wilayah Indonesia, dengan denda hingga Rp 50 miliar dan sanksi pidana sampai tujuh tahun bagi pelanggaran. On-premise membantu memenuhi ketentuan ini tanpa perlu perundingan tambahan dengan penyedia.

Untuk perusahaan yang melayani pasar Uni Eropa, GDPR menambah kewajiban pencatatan transfer data. Model yang berjalan sendiri di server Uni Eropa tidak menimbulkan transfer, dan model yang berjalan sendiri di server di Indonesia juga tidak menimbulkan transfer ke negara ketiga.

LLM on-premise bukan sekadar pilihan teknis. Ia menentukan apakah data perusahaan boleh keluar dari kendalinya sendiri.

Perbandingan LLM on-premise dan layanan AI cloud

Pertanyaan yang sering diajukan

Baca juga

• Panduan deploy LLM on-premise 5 langkah
• AI Appliance: apa itu dan bedanya dengan PC
• Perbandingan on-premise dan cloud
• Harga lengkap STA-100
• Hubungi tim penjualan