Alternatywy dla Ollamy: Hostowany API bez cenzury

Krótka odpowiedź

Jeśli szukasz alternatyw dla Ollamy, zwykle znajdujesz się w jednej z trzech sytuacji. Chcesz innego lokalnego runnera z lepszym interfejsem, chcesz czegoś, co skaluje się poza jedną stację roboczą, albo chcesz przestać zarządzać sprzętem. Każda sytuacja wskazuje na inne narzędzie.

Dla aplikacji desktopowej z przeglądarką modeli, LM Studio to powszechny wybór. Dla maksymalnej kontroli nad kwantyzacją i pamięcią, llama.cpp to projekt, wokół którego zbudowane są większość innych runnerów. Dla wielu równoległych użytkowników na serwerze GPU, vLLM jest do tego zaprojektowany. A jeśli wolisz nie posiadać GPU, hostowane API kompatybilne z OpenAI usuwa cały problem sprzętowy. Ta strona oferuje ostatnią z tych opcji, z jednym modelem uncensored i bez odrzuceń treści dla prawnego użytku dorosłych.

Co daje Ollama i gdzie ludzie napotykają ograniczenia

Ollama pobiera modele o otwartych wagach, rozsądnie je kwantyzuje i serwuje na Twojej maszynie za pomocą małego lokalnego HTTP API. Udostępnia również endpoint w stylu OpenAI, dlatego tak wiele interfejsów czatu może się z nim komunikować. Dla eksperymentu na laptopie trudno znaleźć lepsze rozwiązanie.

Tarcie pojawia się później. Model mieszczący się w 8 GB VRAM to mały model, a małe modele generują mniej spójne długie fragmenty tekstu i rzadziej wiernie wykonują złożone instrukcje. Większe modele potrzebują więcej pamięci niż większość kart graficznych konsumenckich. Uruchomienie modelu również obciąża maszynę: wentylatory pracują, GPU jest zajęte, a Twoje własne gry lub renderowanie konkurują o tę samą pamięć. Jeśli chcesz mieć ten sam model na telefonie, drugim komputerze lub w aplikacji znajomego, musisz teraz udostępnić swoją sieć domową, co jest osobnym zadaniem bezpieczeństwa.

Żadne z tego nie czyni wnioskowania lokalnego złym pomysłem. Oznacza to, że właściwym pytaniem nie jest, które narzędzie jest najlepsze, ale jaki masz problem.

Alternatywy lokalne na pierwszy rzut oka

Tabela opiera się na tym, co jest publicznie znane o każdym projekcie. Sprawdź stronę każdego projektu pod kątem aktualnych funkcji.

Opcja	Czym jest	Najlepsze, gdy	Główny koszt
LM Studio	Aplikacja desktopowa do pobierania i czatowania z lokalnymi modelami	Chcesz interfejsu graficznego i pracy bez terminala	Twoje własne GPU lub RAM
llama.cpp	Silnik wnioskowania i serwer C/C++ dla modeli skwantyzowanych	Chcesz drobnej kontroli nad pamięcią i kwantyzacją	Twój czas na flagi i kompilacje
vLLM	Serwer wnioskowania przeznaczony do obsługi wielu zapytań na GPU	Uruchamiasz własny serwer dla wielu użytkowników	Wynajem lub zakup serwera GPU
text-generation-webui	Interfejs webowy ładujący modele przez kilka warstw backendowych	Lubisz dostrajać ustawienia samplerów w przeglądarce	Twój własny sprzęt
Hostowane API (ta strona)	Endpoint kompatybilny z OpenAI, jeden model, płatność za tokeny	Nie potrzebujesz sprzętu i dowolnego klienta OpenAI	Tokeny, których faktycznie używasz

Większość narzędzi lokalnych może również prezentować serwer kompatybilny z OpenAI, więc klient napisany pod jeden z nich zwykle przenosi się do innego zmieniając URL. Ta przenośność sprawia, że porównanie ich jest niskim ryzykiem.

Jak różni się hostowane API

Zarządzane API zmienia to, kto wykonuje pracę. Wysyłasz zapytanie, niezależny dostawca uruchamia model o otwartych wagach, który jest dostrajany do odpowiadania bez odrzuceń treści, i otrzymujesz tokeny z powrotem. Nie trzeba nic pobierać, nie ma budżetu VRAM i nie trzeba aktualizować sterowników.

Interfejs jest standardowy. URL bazowy to https://api.ollamansfw.com/v1, ID modelu to uncensored, a uwierzytelnianie to normalny klucz Bearer. Dwie metody to POST /v1/chat/completions i GET /v1/models. Strumieniowanie, wywoływanie narzędzi i tryb JSON działają tak samo jak w SDK OpenAI. Okno kontekstu to 100 000 tokenów, prompt i completion razem.

Warto być jasnym co to nie jest. To jeden model, uruchamiany przez niezależnego dostawcę. To nie jest oficjalne API żadnego dostawcy modeli i nie jest routerem między kilkoma. Obsługuje tylko tekst, więc nie ma generowania obrazów, nie ma embeddings i nie ma fine-tuningu. Jedna surowa zasada obowiązuje: brak treści seksualnych z udziałem nieletnich.

Przejście w pięć minut

Jeśli Twoja aplikacja już rozmawia z endpointem w stylu OpenAI, zmiana to zmiana konfiguracji. Oto całość w Pythonie z oficjalnym SDK.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.ollamansfw.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the plot of a heist story in three lines."}],
)
print(resp.choices[0].message.content)

I to samo wywołanie z curl, co jest przydatne do sprawdzenia, czy Twój klucz działa przed zmianą jakiegokolwiek kodu aplikacji.

Copycurl https://api.ollamansfw.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Hello"}]}'

Nowe konta mogą odebrać $0.50 kredytu próbnego jednym kliknięciem na stronie klucza API. Nie wymaga płatności, trwa 7 dni i jest ograniczony do jednej osoby. Rejestracja odbywa się przez Google lub za pomocą adresu e-mail i hasła. Szybki start opisuje te same kroki z większą liczbą klientów.

Jeśli zapytanie nie powiedzie się przy pierwszej próbie, strona z typowymi błędami wymienia typowe przyczyny, np. brak /v1 w bazowym URL.

Koszt: lokalnie versus hostowane

Ceny hostowane są proste. Wejście kosztuje $0,15 za 1M tokenów, a wyjście kosztuje $0,50 za 1M. Zapytanie z 3 000 tokenami wejściowymi i 700 tokenami wyjściowymi kosztuje 3 000 x $0,15 / 1M = $0,00045 za wejście plus 700 x $0,50 / 1M = $0,00035 za wyjście, więc $0,0008 łącznie. Dziesięć tysięcy takich zapytań daje $8,00.

Lokalna inferencja nie ma opłaty za token, ale nie jest darmowa. Płacisz za GPU lub serwer, za prąd i za swój czas. Jeśli już posiadasz wydajne GPU, a Twoje użycie jest lekkie, koszt brzegowy lokalnego zapytania rzeczywiście jest bliski zeru, co jest silnym argumentem za pozostaniem przy lokalnym rozwiązaniu. Jeśli musiałbyś kupić lub wypożyczyć sprzęt tylko do uruchomienia modelu tego rozmiaru, dziesięć tysięcy zapytań za $8,00 to liczba warta porównania z tym rachunkiem. Sprawdź aktualne ceny dowolnego wypożyczenia lub innego API, które rozważasz, ponieważ się one zmieniają.

Zobacz stronę cenową, aby poznać kwoty doładowań i bonusy. Kredyt jest przedpłacony, nie wygasa, a nieudane lub odrzucone zapytania nie są rozliczane. Nie ma darmowego, nieograniczonego poziomu.

Kiedy zostać lokalnie, a kiedy wybrać hostowane

Zostań lokalnie, jeśli

• Twoje prompty muszą nigdy nie opuszczać Twojej maszyny z powodu Twojej własnej polityki.
• Już masz GPU z wystarczającą pamięcią i model, który lubisz, mieści się na nim.
• Pracujesz offline lub przy użyciu niezbyt stabilnego połączenia.
• Chcesz wypróbować wiele różnych modeli open-source i przełączać się między nimi na co dzień.

Wybierz rozwiązanie hostowane, jeśli

• Nie posiadasz odpowiedniego sprzętu lub nie chcesz, by był on obciążony podczas Twojej pracy.
• Potrzebujesz tego samego endpointu z kilku urządzeń lub z wdrożonej aplikacji.
• Chcesz korzystać z długiego okna kontekstu do 100 000 tokenów bez konieczności dostosowywania ustawień pamięci.
• Twoje użycie jest burstowe, więc opłata za tokeny jest korzystniejsza niż płacenie za sprzęt w stanie bezczynności.

Wielu użytkowników robi jedno i drugie. Lokalny model obsługuje szybkie, prywatne szkice, a endpoint hostowany przejmuje ciężkie sesje. Ponieważ oba obsługują format OpenAI, kod aplikacji pozostaje identyczny, a różni się tylko bazowy URL.

Jeśli chodzi o prywatność po stronie hostowanej, prompty nie są wykorzystywane do trenowania modeli. Jest to informacja dotycząca wyłącznie tej usługi, dlatego przed przesłaniem czegokolwiek wrażliwego przeczytaj strony cennika i regulaminu.

Więcej przewodników

• Jak używać Ollama z GUI (i rezerwowym rozwiązaniem hostowanym)
• Cennik Ollamansfw API: Wyjaśnienie kosztów tokenów
• Przewodnik po API LLM bez cenzury