Model bahasa besar dari Shenzhen yang bisa Anda pakai sendiri
Salah satu perubahan terbesar dalam AI beberapa tahun terakhir adalah tersedianya model yang bisa diunduh dan dijalankan di perangkat milik sendiri. Shenzhen adalah salah satu tempat berkembangnya model ini dengan cepat.
STRATRONIX STA-100 adalah perangkat on-premise yang dibuat untuk kebutuhan ini: menjalankan model seperti MiniMax, Qwen2.5-72B, DeepSeek-V3, ChatGLM4, ERNIE, atau Llama di dalam perangkat, plus model Bahasa Indonesia seperti Sahabat-AI dan SEA-Lion.
Apa arti asal model bagi pengguna
Ketika model dikembangkan di suatu negara, tim lokal punya peluang untuk menyesuaikannya: menambahkan data bahasa setempat, menyesuaikan gaya jawaban, dan memastikan istilah teknis diterjemahkan dengan benar. Model yang dilatih dengan banyak sumber Mandarin dan Asia Timur akhirnya menghasilkan jawaban yang lebih natural bagi pembaca di kawasan ini.
Bagi pembaca di Indonesia, ini berarti dua hal. Model umum yang tersedia dalam daftar perangkat, dan model Bahasa Indonesia khusus yang bisa dipilih langsung. Kemampuan menjalankan model sendiri juga membuat pembaruan model tidak bergantung pada jadwal penyedia cloud.
Model apa saja yang didukung
Perangkat ini mendukung model AI umum seperti Qwen2.5-72B, DeepSeek-V3, ChatGLM4, ERNIE, Llama, dan MiniMax. Model-model ini mencakup berbagai ukuran, dari yang ringan untuk tugas klasifikasi sampai yang besar untuk penalaran dan penulisan panjang.
Selain itu tersedia model Bahasa Indonesia seperti Sahabat-AI dan SEA-Lion. Model khusus ini umumnya lebih ringan, sehingga cocok untuk perangkat dengan sumber daya terbatas, dan menghasilkan jawaban yang lebih tepat untuk konteks Indonesia, termasuk istilah birokrasi dan gaya bahasa resmi.
Mengapa menjalankan model sendiri lebih masuk akal sekarang
Beberapa tahun lalu, menjalankan LLM sendiri berarti membeli perangkat mahal dan mengelola infrastruktur yang rumit. Sekarang perangkat on-premise berbentuk kotak desktop sudah cukup untuk menjalankan model yang dulu hanya bisa diakses di pusat data besar.
Konsekuensi ekonominya jelas. Dengan cloud AI, 100 pengguna aktif berbiaya sekitar Rp 150 juta per bulan, atau Rp 5,4 miliar dalam tiga tahun. Sepuluh unit STA-100 berbiaya $3.990, atau sekitar Rp 64 juta, dan setelah itu tidak ada tagihan. Sekitar Rp 5,3 miliar menjadi selisih yang bisa dipakai untuk hal lain.
Cara memilih model yang sesuai
Mulailah dari tugas yang paling sering tim kerjakan, bukan dari model terbesar. Untuk merangkum dokumen, model berukuran menengah sudah lebih dari cukup. Untuk penalaran angka atau kontrak yang rumit, model besar lebih akurat tetapi lebih berat dan lebih lambat.
Praktik yang baik adalah mencoba dua model untuk satu kasus kerja nyata, membandingkan hasilnya, lalu menetapkan satu sebagai default. Perbedaan antara model biasanya terlihat jelas pada kasus Bahasa Indonesia, di mana model yang dilatih dengan data lokal unggul pada istilah dan formalitas.
Perbandingan model yang berjalan di cloud dan model yang berjalan lokal
| Aspek | Model di cloud | Model di STRATRONIX STA-100 |
|---|---|---|
| Akses | Lewat API dan langganan | Diunduh dan dijalankan sendiri |
| Data prompt | Dikirim ke penyedia | Tetap di perangkat |
| Model umum | Tergantung penyedia | Qwen2.5-72B, DeepSeek-V3, ChatGLM4, ERNIE, Llama, MiniMax |
| Model Bahasa Indonesia | Umumnya tidak tersedia | Sahabat-AI dan SEA-Lion |
| Pembaruan model | Dikerjakan penyedia | Anda yang menentukan waktu |
| Biaya 3 tahun untuk 100 pengguna | ± Rp 5,4 miliar | ± Rp 64 juta |
| Berjalan tanpa internet | Tidak | Ya |
Pertanyaan yang sering diajukan
Model tidak berubah sendiri, tetapi Anda yang memutuskan kapan model baru diunduh. Dalam praktiknya, sebagian besar tim menggunakan satu model yang sudah mapan untuk pekerjaan rutin dan mencadangkan model yang lebih baru untuk kasus yang lebih menantang. Ini memberi Anda kontrol yang tidak dimiliki saat memakai layanan cloud.
Model Bahasa Indonesia seperti Sahabat-AI dan SEA-Lion dilatih dengan data berbahasa Indonesia sehingga istilah administratif, gaya bahasa formal, dan konteks lokal lebih tepat. Model umum seperti Qwen2.5-72B atau MiniMax biasanya lebih kuat untuk tugas penalaran dan penulisan dalam bahasa Inggris, dan tetap bisa menjawab dalam Bahasa Indonesia.
Bisa, tetapi hasilnya bergantung pada perangkat dan ukuran model. Untuk tim kecil dengan beberapa alur kerja ringan, satu unit biasanya cukup. Untuk tim 100 pengguna, pendekatan yang lazim adalah menambah unit dan membaginya per kasus kerja, misalnya unit untuk tim operasional dan unit untuk tim internal yang menangani dokumen sensitif.
Bisa. Model yang berbeda dapat dimuat sesuai kebutuhan, dan Anda dapat menyimpan lebih dari satu model sekaligus bila memorinya cukup. Ini memberi fleksibilitas untuk menguji model baru tanpa membeli perangkat baru, dan untuk mengembalikan model lama ketika model baru ternyata kurang cocok untuk kasus kerja tertentu.
Baca juga
Coba STA-100 di tim Anda
Perangkat AI on-premise: Bahasa Indonesia, jalan lokal tanpa cloud, garansi 2 tahun, harga resmi $399 per unit.
Email sales@stratronix.ai Lihat harga Hubungi kami