Ollama-softwarealternatieven: gehoste ongecensureerde API

Het korte antwoord

Als je zoekt naar Ollama-softwarealternatieven, bevind je je meestal in één van drie situaties. Je wilt een andere lokale runner met een mooiere interface, je wilt iets dat schaalbaar is voor meer dan één workstation, of je wilt helemaal stoppen met het beheren van hardware. Elke situatie wijst naar een ander hulpmiddel.

Voor een desktop-app met een modelbrowser is LM Studio een veelgekozen optie. Voor maximale controle over kwantisering en geheugen is llama.cpp het project waar de meeste andere runners omheen zijn gebouwd. Voor veel gelijktijdige gebruikers op een GPU-server is vLLM daarvoor ontworpen. En als je liever geen GPU wilt bezitten, verwijdert een gehoste OpenAI-compatible API de hele hardwarevraag. Deze site biedt de laatste van die opties, met één model, uncensored, en geen inhoudsweigeringen voor wettelijk volwassen gebruik.

Wat Ollama je geeft, en waar mensen de muur oplopen

Ollama downloadt open-weight modellen, kwantiseert ze op een verstandige manier en serveert ze op je machine met een kleine lokale HTTP-API. Het exposeert ook een OpenAI-compatible endpoint, waardoor zoveel chatfrontends ermee kunnen communiceren. Voor een laptopexperiment is dat moeilijk te verslaan.

De wrijving doet zich later voor. Een model dat in 8 GB VRAM past, is een klein model, en kleine modellen schrijven minder coherente lange scènes en volgen complexe instructies minder betrouwbaar. Grotere modellen hebben meer geheugen nodig dan de meeste consumenten-GPU's hebben. Een model draaien houdt ook je machine bezig: fans draaien, de GPU is bezig, en je eigen spellen of renders concurreren om hetzelfde geheugen. Als je hetzelfde model op je telefoon, op een tweede computer, of in de app van een vriend wilt, moet je nu je thuisnetwerk blootstellen, wat op zich een beveiligingstak is.

Niets van dit maakt lokale inferentie een slecht idee. Het betekent dat de juiste vraag niet is welk hulpmiddel het beste is, maar welk probleem je hebt.

Lokale alternatieven in één oogopslag

De tabel houdt zich aan wat publiek bekend is over elk project. Controleer de site van elk project voor huidige functies.

Optie	Wat het is	Beste wanneer	Belangrijkste kosten
LM Studio	Desktop-app voor het downloaden en chatten met lokale modellen	Je wilt een GUI en geen terminalwerk	Je eigen GPU of RAM
llama.cpp	C/C++ inferentie-engine en server voor gekwantiseerde modellen	Je wilt fijne controle over geheugen en kwantisering	Je tijd voor vlaggen en builds
vLLM	Inferentieserver gericht op het bedienen van veel verzoeken op GPU's	Je draait je eigen multi-user server	Huur of aankoop van een GPU-server
text-generation-webui	Webinterface die modellen laadt via verschillende back ends	Je houdt van het afstellen van sampler-instellingen in een browser	Je eigen hardware
Gehoste API (deze site)	OpenAI-compatible endpoint, één model, betaal per token	Je wilt geen hardware en elke OpenAI-client	Tokens die je daadwerkelijk gebruikt

De meeste lokale tools kunnen ook een OpenAI-compatible server presenteren, dus een client die voor één van hen is geschreven, schakelt meestal over naar een andere door een URL aan te passen. Die draagbaarheid is wat het vergelijken ervan risicloos maakt.

Hoe een gehoste API verschilt

Een gehoste API verandert wie het werk draagt. Je stuurt een verzoek, een onafhankelijke provider draait een open-weight model dat is afgestemd om te antwoorden zonder inhoudsweigeringen, en je krijgt tokens terug. Er is niets te downloaden, geen VRAM-budget en geen stuurprogramma om bij te werken.

De interface is de standaardinterface. De base URL is https://api.ollamansfw.com/v1, de model-ID is uncensored en de authenticatie verloopt via een normale bearer-sleutel. De twee methoden zijn POST /v1/chat/completions en GET /v1/models. Streaming, function calling en JSON-modus werken zoals in de OpenAI SDK's. Het contextvenster is 100.000 tokens, voor prompt en response samen.

Het is de moeite waard om duidelijk te maken wat dit niet is. Het is één model, gedraaid door een onafhankelijke provider. Het is niet de officiële API van een modelleverancier en geen router over meerdere. Het verwerkt alleen tekst, dus er is geen image generation, geen embeddings en geen fine-tuning. Een harde regel geldt: geen seksuele content met minderjarigen.

Schakelen in vijf minuten

Als je app al praat met een OpenAI-style endpoint, is de overschakeling een configuratiewijziging. Hier is de hele zaak in Python met de officiële SDK.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.ollamansfw.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the plot of a heist story in three lines."}],
)
print(resp.choices[0].message.content)

En dezelfde aanroep met curl, wat handig is om te controleren of je sleutel werkt voordat je aan enige applicatiecode komt.

Copycurl https://api.ollamansfw.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Hello"}]}'

Nieuwe accounts kunnen $0,50 aan gratis proeftegoed claimen met één klik op de API-sleutelpagina. Er is geen betaling nodig, het geldt 7 dagen en het is beperkt tot één per persoon. Aanmelden kan met Google of met e-mail en wachtwoord. De quickstart behandelt dezelfde stappen met meer clients.

Als een verzoek bij je eerste poging faalt, somt de pagina met veelgemaakte fouten de gebruikelijke oorzaken op, zoals een ontbrekende /v1 in de basis-URL.

Kosten: lokaal versus gehost

Gehoste prijzen zijn eenvoudig. Input kost $0,15 per 1M tokens en output kost $0,50 per 1M. Een verzoek met 3.000 input tokens en 700 output tokens kost 3.000 x $0,15 / 1M = $0,00045 voor input plus 700 x $0,50 / 1M = $0,00035 voor output, dus $0,0008 in totaal. Tienduizend van die verzoeken komen neer op $8,00.

Lokale inferentie heeft geen kosten per token, maar het is niet gratis. Je betaalt voor de GPU of de server, voor elektriciteit en voor je eigen tijd. Als je al een capabele GPU bezit en je gebruik is licht, zijn de marginale kosten van een lokaal verzoek inderdaad bijna nul, en dat is een sterk argument om te blijven waar je bent. Als je hardware zou moeten kopen of huren om alleen maar een model van deze grootte te draaien, is het bedrag van tien duizend verzoeken voor $8,00 een getal dat je tegen die rekening af moet wegen. Controleer de huidige prijzen voor elke huur- of andere API die je overweegt, omdat die veranderen.

Bekijk de prijspagina voor top-up-bedragen en bonussen. Het tegoed is prepaid, verloopt nooit, en mislukte of geweigerde verzoeken worden niet in rekening gebracht. Er is geen gratis abonnement zonder limiet.

Wanneer lokaal blijven, en wanneer gehost kiezen

Blijf lokaal als

• Je prompts mogen je machine nooit verlaten, om redenen van je eigen beleid.
• Je hebt al een GPU met genoeg geheugen en het model dat je leuk vindt past erop.
• Je werkt offline of op een onbetrouwbare verbinding.
• Je wilt veel verschillende open modellen uitproberen en ze dagelijks wisselen.

Kies voor gehost als

• Je geen geschikte hardware hebt, of je wilt niet dat deze bezet is terwijl je werkt.
• Je hetzelfde endpoint nodig hebt vanaf meerdere apparaten of vanuit een gedeployde app.
• Je een lange context van maximaal 100.000 tokens wilt zonder geheugeninstellingen aan te passen.
• Je gebruik is piekachtig, dus betalen per token is goedkoper dan betalen voor stille hardware.

Veel mensen doen beide. Een lokaal model behandelt snelle privéconcepten, en het gehoste endpoint neemt de zware sessies over. Omdat beide het OpenAI-formaat gebruiken, blijft de applicatiecode identiek en verschilt alleen de basis-URL.

Wat betreft privacy aan de gehoste kant: prompts worden niet gebruikt voor training. Dit is een uitspraak over deze service alleen, en je moet de prijzen en voorwaardenpagina's lezen voordat je iets sensitiefs verstuurt.

Meer handleidingen

• Hoe Ollama te gebruiken met een GUI (en een uitwijkoptie)
• Ollamansfw API-prijzen: tokenkosten uitgelegd
• Uncensored LLM API-gids