Ollama Yazılım Alternatifleri: Barındırılan Sansürsüz API

Kısa cevap

Ollama yazılım alternatifleri arıyorsanız, muhtemelen üç durumdan birindesiniz. Daha iyi bir arayüzü olan farklı bir yerel çalıştırıcı istiyorsunuz, tek bir iş istasyonunun ötesine ölçeklenecek bir şey istiyorsunuz veya donanım yönetimini tamamen bırakmak istiyorsunuz. Her durum farklı bir araca işaret eder.

Model tarayıcılı bir masaüstü uygulaması için LM Studio yaygın bir tercihtir. Kuantizasyon ve bellek üzerinde maksimum kontrol için llama.cpp, diğer çoğu çalıştırıcının etrafında inşa edildiği projedir. Bir GPU sunucusunda eşzamanlı birçok kullanıcı için vLLM bu amaçla tasarlanmıştır. Ve eğer bir GPU sahibi olmak istemiyorsanız, barındırılan OpenAI uyumlu bir API tüm donanım sorununu ortadan kaldırır. Bu site, sonuncusunu sunar: bir model, uncensored ve yasal yetişkin kullanım için içerik reddi yok.

Ollama size ne verir ve insanlar nerede duvara çarpar

Ollama açık ağırlıklı modelleri indirir, onları mantıklı bir şekilde kuantize eder ve küçük bir yerel HTTP API ile makinenizde çalıştırır. Ayrıca OpenAI tarzı bir uç nokta da sunar; bu nedenle birçok sohbet ön uç arayüzü onunla iletişim kurabilir. Bir dizüstü bilgisayarda deneme yapmak için yenilemesi zor bir seçenektir.

Sürtünme daha sonra ortaya çıkar. 8 GB VRAM'e sığan bir model küçük bir modeldir ve küçük modeller daha az tutarlı uzun sahneler yazar ve karmaşık talimatları daha az güvenilir şekilde takip eder. Daha büyükleri, çoğu tüketici GPU'sunun sahip olduğundan daha fazla bellek gerektirir. Bir modeli çalıştırmak makineyi meşgul eder: fanlar döner, GPU meşguldür ve kendi oyunlarınız veya renderlarınız aynı bellek için rekabet eder. Aynı modeli telefonunuzda, ikinci bir bilgisayarda veya bir arkadaşınızın uygulamasında istiyorsanız, artık ev ağınızı açığa çıkarmanız gerekir; bu da kendi başına bir güvenlik işidir.

Bunların hiçbiri yerel çıkarımı kötü bir fikir yapmaz. Doğru sorunun hangi aracın en iyi olduğu değil, hangi sorununuzun olduğu anlamına gelir.

Yerel alternatiflere genel bakış

Tablo, her proje hakkında halka açık olarak bilinenlere sadık kalır. Güncel özellikler için her projenin sitesini kontrol edin.

Seçenek	Nedir	En iyi olduğu durum	Ana maliyet
LM Studio	Yerel modelleri indirmek ve sohbet etmek için masaüstü uygulaması	Bir GUI istiyorsunuz ve terminalle uğraşmak istemiyorsunuz	Kendi GPU'nuz veya RAM'iniz
llama.cpp	Kuantize modeller için C/C++ çıkarım motoru ve sunucusu	Bellek ve kuantizasyon üzerinde ince kontrol istiyorsunuz	Bayraklar ve derleme süreçleri için harcadığınız zaman
vLLM	GPU'larda birçok isteği sunmayı hedefleyen çıkarım sunucusu	Kendi çok kullanıcılı sunucunuzu çalıştırıyorsunuz	GPU sunucusu kiralama veya satın alma
text-generation-webui	Modelleri birçok arka uç üzerinden yükleyen web arayüzü	Tarayıcıda örnekleme ayarlarını değiştirmeyi seviyorsunuz	Kendi donanımınız
Barındırılan API (bu site)	OpenAI uyumlu uç nokta, tek model, token başına ödeme	Donanım istemiyorsunuz ve herhangi bir OpenAI istemcisi kullanıyorsunuz	Aslında kullandığınız tokenlar

Yerel araçların çoğu OpenAI uyumlu bir sunucu da sunabilir, bu nedenle bunlardan birine göre yazılmış bir istemci, bir URL değiştirerek genellikle başka birine geçer. Bu taşınabilirlik, bunları karşılaştırmayı riski düşük yapar.

Barındırılan API nasıl farklıdır

Hosted bir API, işi kimin üstlendiğini değiştirir. Bir istek gönderirsiniz, bağımsız bir sağlayıcı, içerik reddedilmesi olmadan cevap vermeye ayarlanmış açık ağırlıklı bir modeli çalıştırır ve token alırsınız. İndirecek bir şey, VRAM bütçesi ve güncellenecek sürücü yoktur.

Arayüz standarttır. Base URL https://api.ollamansfw.com/v1, model ID uncensored ve kimlik doğrulama normal bir bearer anahtarıdır. İki yöntem POST /v1/chat/completions ve GET /v1/models'dir. Akış, fonksiyon çağırma ve JSON modu OpenAI SDK'larında olduğu gibi çalışır. Bağlam penceresi 100.000 token'dır; istem ve tamamlama birlikte.

Bunun ne olmadığını netleştirmek değer. Bu, bağımsız bir sağlayıcı tarafından çalıştırılan tek bir modeldir. Herhangi bir model satıcısının resmi API'si değildir ve birkaçı arasında bir yönlendirici de değildir. Yalnızca metin işler; bu nedenle görüntü oluşturma, gömme veya ince ayar yoktur. Bir katı kural geçerlidir: reşit olmayanlar içeren cinsel içerik yok.

Beş dakikada geçiş

Uygulamanız zaten OpenAI tarzı bir uç noktaya bağlıysa, geçiş bir yapılandırma değişikliğiyle olur. İşte resmi SDK ile Python'da tüm örnek:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.ollamansfw.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the plot of a heist story in three lines."}],
)
print(resp.choices[0].message.content)

Ve anahtarınızın çalışıp çalışmadığını herhangi bir uygulama koduna dokunmadan kontrol etmek için kullanışlı olan curl ile aynı çağrı.

Copycurl https://api.ollamansfw.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Hello"}]}'

Yeni hesaplar, API anahtarı sayfası üzerindeki tek bir tıklamayla $0.50 deneme kredisi talep edebilir. Ödeme gerektirmez, 7 gün geçerlidir ve kişi başı bir kezle sınırlıdır. Kayıt Google veya e-posta ve şifre ile yapılır. hızlı başlangıç daha fazla istemci ile aynı adımları kapsar.

İlk denemenizde bir istek başarısız olursa, yaygın hatalar sayfası, eksik /v1 gibi yaygın nedenleri listeler.

Maliyet: yerel versus barındırılan

Barındırılan fiyatlandırma basittir. Giriş maliyeti 1M token başına $0,15 ve çıkış maliyeti 1M token başına $0,50'dir. 3.000 giriş tokenı ve 700 çıkış tokenı içeren bir istek, giriş için 3.000 x $0,15 / 1M = $0,00045 ve çıkış için 700 x $0,50 / 1M = $0,00035 maliyetinde olur; toplamda $0,0008 eder. On bin tane bu istek $8,00 eder.

Yerel çıkarım token başına ücret gerektirmez, ancak ücretsiz değildir. GPU veya sunucu, elektrik ve kendi zamanınız için ödeme yaparsınız. Zaten yetenekli bir GPU'nuz varsa ve kullanımınız hafifse, yerel bir istek için marjinal maliyet gerçekten sıfıra yakındır ve bu, yerinde kalmak için güçlü bir argümandır. Bu boyutta bir modeli çalıştırmak için donanım satın almanız veya kiralamanız gerekseydi, $8,00 için on bin istek, o fatura ile karşılaştırılmaya değer bir sayıdır. Dikkate aldığınız herhangi bir kiralama veya diğer API için güncel fiyatları kontrol edin, çünkü değişirler.

Bakiye yükleme miktarları ve bonuslar için fiyatlandırma sayfası'ne bakın. Kredi ön ödemelidir, asla sona ermez; başarısız veya reddedilen istekler için ücret alınmaz. Ücretsiz sınırsız bir katman yoktur.

Yerel mi kalınacak, yoksa barındırılan mı tercih edilecek

Yerel kalın

• Politikanızın gereği olarak istemleriniz asla makinenizden ayrılmamalı.
• Zaten yeterli belleğe sahip bir GPU'nuz var ve beğendiğiniz model buna sığıyor.
• Çevrim dışı çalışıyorsunuz veya bağlantınız güvenilir değil.
• Birçok farklı açık modeli denemek ve bunlar arasında günlük olarak geçiş yapmak istiyorsunuz.

Şu durumlarda barındırılan seçeneği tercih edin:

• Uygun donanımınıza sahip değilsiniz veya çalışırken donanımın meşgul olmasını istemiyorsunuz.
• Birden fazla cihazdan veya dağıtılmış bir uygulamadan aynı uç noktaya ihtiyacınız var.
• Bellek ayarlarını değiştirmeden 100.000 token'a kadar uzun bir bağlam penceresi istiyorsunuz.
• Kullanımınız dalgalı olduğundan, boşta kalan donanım için ödeme yapmak yerine token başına ödeme yapmak daha mantıklı.

Çoğu kişi her iki seçeneği de birlikte kullanır. Yerel model hızlı ve özel taslaklar için kullanılırken, barındırılan uç nokta yoğun oturumları yönetir. Her ikisi de OpenAI formatını desteklediğinden uygulama kodu aynı kalır ve yalnızca Base URL değişir.

Barındırılan taraf için gizlilik konusunda, istemler eğitim için kullanılmaz. Bu yalnızca bu hizmet hakkında bir ifadedir ve hassas bir şey göndermeden önce fiyatlandırma ve şartlar sayfalarını okumalısınız.

Daha fazla kılavuz

• GUI ile Ollama Kullanımı (ve Barındırılan Yedekleme)
• Ollamansfw API Fiyatlandırması: Token Maliyetleri Açıklandı
• Sansürsüz LLM API Rehberi