Alternatif Perangkat Lunak Ollama: API Tanpa Sensor yang Dihosting

Jawaban singkat

Jika Anda mencari alternatif perangkat lunak ollama, Anda biasanya berada dalam salah satu dari tiga situasi. Anda menginginkan runner lokal lain dengan antarmuka yang lebih baik, Anda menginginkan sesuatu yang dapat diskalakan melampaui satu workstation, atau Anda ingin berhenti mengelola perangkat keras sama sekali. Setiap situasi mengarah ke alat yang berbeda.

Untuk aplikasi desktop dengan browser model, LM Studio adalah pilihan umum. Untuk kendali maksimal atas kuantisasi dan memori, llama.cpp adalah proyek yang menjadi dasar sebagian besar runner lainnya. Untuk banyak pengguna konkuren di server GPU, vLLM dirancang untuk itu. Dan jika Anda lebih suka tidak memiliki GPU, API yang kompatibel dengan OpenAI yang dihosting menghilangkan seluruh pertanyaan perangkat keras. Situs ini menawarkan yang terakhir dari itu, dengan satu model, uncensored, dan tanpa penolakan konten dari API untuk penggunaan dewasa yang sah.

Apa yang diberikan Ollama, dan di mana orang menemui kendala

Ollama mengunduh model bobot terbuka, mengkuantisasi model tersebut secara wajar, dan melayaninya di mesin Anda melalui API HTTP lokal yang kecil. Ollama juga mengekspos endpoint bergaya OpenAI, sehingga banyak antarmuka chat dapat berkomunikasi dengannya. Ini sangat sulit ditandingi untuk eksperimen di laptop.

Hambatan muncul kemudian. Model yang muat dalam 8 GB VRAM adalah model kecil, dan model kecil menghasilkan adegan panjang yang kurang koheren serta mengikuti instruksi kompleks dengan kurang andal. Model yang lebih besar membutuhkan lebih banyak memori daripada yang dimiliki sebagian besar GPU konsumen. Menjalankan model juga menguras mesin: kipas berputar, GPU sibuk, dan game atau render Anda bersaing untuk mendapatkan memori yang sama. Jika Anda ingin model yang sama di ponsel, komputer kedua, atau aplikasi teman, Anda harus mengekspos jaringan rumah Anda, yang merupakan tugas keamanan tersendiri.

Tidak ada dari itu membuat inferensi lokal menjadi ide yang buruk. Ini berarti pertanyaan yang tepat bukan alat mana yang terbaik, tetapi masalah apa yang Anda miliki.

Alternatif lokal sekilas

Tabel ini membatasi diri pada apa yang diketahui secara publik tentang setiap proyek. Periksa situs setiap proyek untuk fitur saat ini.

Opsi	Apa itu	Terbaik ketika	Biaya utama
LM Studio	Aplikasi desktop untuk mengunduh dan mengobrol dengan model lokal	Anda menginginkan GUI dan tanpa pekerjaan terminal	GPU atau RAM Anda sendiri
llama.cpp	Mesin inferensi C/C++ dan server untuk model yang dikuantisasi	Anda menginginkan kendali halus atas memori dan kuantisasi	Waktu Anda untuk bendera dan pembuatan
vLLM	Server inferensi yang ditujukan untuk melayani banyak permintaan di GPU	Anda menjalankan server multi-pengguna Anda sendiri	Sewa atau pembelian server GPU
text-generation-webui	Antarmuka web yang memuat model melalui beberapa backend	Anda suka menyesuaikan pengaturan sampler di browser	Perangkat keras Anda sendiri
API yang dihosting (situs ini)	Endpoint kompatibel dengan OpenAI, satu model, bayar per token	Anda menginginkan tanpa perangkat keras dan klien OpenAI apa pun	Token yang benar-benar Anda gunakan

Sebagian besar alat lokal juga dapat menyajikan server yang kompatibel dengan OpenAI, sehingga klien yang ditulis terhadap salah satunya biasanya berpindah dengan mengubah URL. Portabilitas inilah yang membuat membandingkannya berisiko rendah.

Bagaimana API yang dihosting berbeda

API yang dihosting mengubah siapa yang memikul pekerjaan. Anda mengirim permintaan, penyedia independen menjalankan model bobot terbuka yang disesuaikan untuk menjawab tanpa penolakan konten, dan Anda mendapatkan token kembali. Tidak ada yang perlu diunduh, tidak ada anggaran VRAM, dan tidak ada driver yang perlu diperbarui.

Antarmuka adalah standar. Base URL adalah https://api.ollamansfw.com/v1, ID model adalah uncensored, dan autentikasi menggunakan kunci bearer biasa. Dua metode tersebut adalah POST /v1/chat/completions dan GET /v1/models. Streaming, pemanggilan alat, dan mode JSON bekerja seperti di SDK OpenAI. Jendela konteks adalah 100.000 token, untuk prompt dan output bersama-sama.

Penting untuk menjadi jelas tentang apa ini bukan. Ini adalah satu model, dijalankan oleh penyedia independen. Ini bukan API resmi dari vendor model mana pun dan bukan router di antara beberapa. Ini hanya menangani teks, jadi tidak ada pembuatan gambar, tidak ada embedding, dan tidak ada penalaan halus. Satu aturan keras berlaku: tidak ada konten seksual yang melibatkan anak di bawah umur.

Beralih dalam lima menit

Jika aplikasi Anda sudah berbicara dengan endpoint bergaya OpenAI, pergerakannya adalah perubahan konfigurasi. Berikut semuanya dalam Python dengan SDK resmi.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.ollamansfw.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the plot of a heist story in three lines."}],
)
print(resp.choices[0].message.content)

Dan panggilan yang sama dengan curl, yang berguna untuk memeriksa apakah kunci Anda berfungsi sebelum Anda menyentuh kode aplikasi apa pun.

Copycurl https://api.ollamansfw.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Hello"}]}'

Akun baru dapat mengklaim kredit uji coba sebesar $0,50 dengan satu klik di halaman kunci API. Ini tidak memerlukan pembayaran, berlaku selama 7 hari, dan dibatasi satu per orang. Pendaftaran dilakukan dengan Google atau dengan email dan kata sandi. quickstart mencakup langkah yang sama dengan lebih banyak klien.

Jika permintaan gagal pada upaya pertama Anda, halaman kesalahan umum mencantumkan penyebab umum, seperti /v1 yang hilang di URL dasar.

Biaya: lokal versus dihosting

Harga ter-host sederhana. Input berharga $0,15 per 1 juta token dan output berharga $0,50 per 1 juta. Permintaan dengan 3.000 token input dan 700 token output berharga 3.000 x $0,15 / 1 juta = $0,00045 untuk input ditambah 700 x $0,50 / 1 juta = $0,00035 untuk output, sehingga $0,0008 secara total. Sepuluh ribu permintaan tersebut mencapai $8,00.

Inferensi lokal tidak memiliki biaya per token, tetapi tidak gratis. Anda membayar untuk GPU atau server, untuk listrik, dan untuk waktu Anda sendiri. Jika Anda sudah memiliki GPU yang mampu dan penggunaan Anda ringan, biaya marjinal permintaan lokal benar-benar mendekati nol, dan itu adalah argumen kuat untuk tetap di tempat. Jika Anda perlu membeli atau menyewa perangkat keras hanya untuk menjalankan model sebesar ini, sepuluh ribu permintaan seharga $8,00 adalah angka yang layak dibandingkan dengan tagihan tersebut. Periksa harga saat ini untuk penyewaan atau API lain yang Anda pertimbangkan, karena mereka berubah.

Lihat halaman harga untuk jumlah top-up dan bonus. Kredit adalah saldo prabayar, tidak pernah kedaluwarsa, dan permintaan yang gagal atau ditolak tidak dikenakan biaya. Tidak ada tier tanpa batas gratis.

Kapan tetap lokal, dan kapan beralih ke layanan ter-host

Tetap lokal jika

• Prompt Anda tidak boleh pernah meninggalkan mesin Anda, karena alasan kebijakan Anda sendiri.
• Anda sudah memiliki GPU dengan memori yang cukup dan model yang Anda sukai muat di dalamnya.
• Anda bekerja secara offline atau pada koneksi yang tidak stabil.
• Anda ingin mencoba banyak model terbuka yang berbeda dan beralih di antara mereka setiap hari.

Gunakan layanan ter-host jika

• Anda tidak memiliki perangkat keras yang sesuai, atau Anda tidak ingin perangkat keras tersebut sibuk saat Anda bekerja.
• Anda memerlukan endpoint yang sama dari beberapa perangkat atau dari aplikasi yang telah di-deploy.
• Anda menginginkan jendela konteks panjang hingga 100.000 token tanpa harus menyesuaikan pengaturan memori.
• Penggunaan Anda bersifat bursty, sehingga membayar per token lebih menguntungkan daripada membayar untuk perangkat keras yang menganggur.

Banyak orang melakukan keduanya. Model lokal menangani draf pribadi cepat, dan endpoint ter-host menangani sesi berat. Karena keduanya menggunakan format OpenAI, kode aplikasi tetap identik dan hanya URL dasar yang berbeda.

Untuk privasi sisi ter-host, prompt tidak digunakan untuk pelatihan. Ini adalah pernyataan tentang layanan ini saja, dan Anda harus membaca halaman harga dan ketentuan sebelum mengirimkan apa pun yang sensitif.

Panduan lainnya

• Cara Menggunakan Ollama dengan GUI (dan Cadangan Ter-host)
• Harga API Ollamansfw: Penjelasan Biaya Token
• Panduan API LLM Tanpa Sensor