Ollama-Alternativen: Gehostete unzensierte API

Die kurze Antwort

Wenn du nach Ollama-Software-Alternativen suchst, befindest du dich normalerweise in einer von drei Situationen. Du möchtest einen anderen lokalen Runner mit einer besseren Oberfläche, du möchtest etwas, das über eine einzelne Workstation hinaus skaliert, oder du möchtest das Hardware-Management ganz aufgeben. Jede Situation weist auf ein anderes Tool hin.

Für eine Desktop-App mit Modell-Browser ist LM Studio eine häufige Wahl. Für maximale Kontrolle über Quantisierung und Speicher ist llama.cpp das Projekt, um das sich die meisten anderen Runner drehen. Für viele parallele Anfragen auf einem GPU-Server ist vLLM dafür ausgelegt. Und wenn du lieber keine GPU besitzen möchtest, entfernt eine gehostete OpenAI-kompatible API die gesamte Hardware-Frage. Diese Seite bietet das letzte dieser Optionen, mit einem Modell, uncensored, und ohne Inhaltsfilter für die rechtmäßige Nutzung durch Erwachsene.

Was Ollama dir bietet und wo die Grenzen erreicht sind

Ollama lädt Open-Weight-Modelle herunter, quantisiert sie sinnvoll und stellt sie auf deiner Maschine über eine kleine lokale HTTP-API zur Verfügung. Es stellt auch einen OpenAI-ähnlichen Endpunkt zur Verfügung, weshalb so viele Chat-Frontends damit kommunizieren können. Für ein Laptop-Experiment kaum zu übertreffen.

Der Nachteil zeigt sich später. Ein Modell, das in 8 GB VRAM passt, ist ein kleines Modell, und kleine Modelle schreiben weniger kohärente lange Szenen und folgen komplexen Anweisungen weniger zuverlässig. Größere Modelle benötigen mehr Speicher, als die meisten Consumer-GPUs bieten. Das Ausführen eines Modells belegt zudem den Rechner: Die Lüfter drehen, die GPU ist beschäftigt, und deine eigenen Spiele oder Render-Aufgaben konkurrieren um denselben Speicher. Wenn du dasselbe Modell auf deinem Handy, auf einem zweiten Computer oder in einer App eines Freundes nutzen willst, musst du dein Heimnetzwerk freigeben, was eine eigene Sicherheitsherausforderung darstellt.

Das macht lokale Inferenz nicht zu einer schlechten Idee. Es bedeutet nur, dass die richtige Frage nicht lautet, welches Tool am besten ist, sondern welches Problem du hast.

Lokale Alternativen im Überblick

Die Tabelle beschränkt sich auf öffentlich bekannte Informationen zu jedem Projekt. Prüfe die Website jedes Projekts auf aktuelle Funktionen.

Option	Was es ist	Am besten, wenn	Hauptkosten
LM Studio	Desktop-App zum Herunterladen und Chatten mit lokalen Modellen	Du möchtest eine GUI und keine Terminal-Arbeit	Deine eigene GPU oder RAM
llama.cpp	C/C++-Inferenz-Engine und Server für quantisierte Modelle	Du möchtest feine Kontrolle über Speicher und Quantisierung	Deine Zeit für Flags und Builds
vLLM	Inferenz-Server, der darauf ausgelegt ist, viele Anfragen auf GPUs zu bedienen	Du betreibst deinen eigenen Multi-User-Server	GPU-Server-Miete oder -Kauf
text-generation-webui	Web-Oberfläche, die Modelle über mehrere Backends lädt	Du magst es, Sampler-Einstellungen im Browser zu optimieren	Deine eigene Hardware
Gehostete API (diese Seite)	OpenAI-kompatibler Endpunkt, ein Modell, Bezahlung pro Token	Du möchtest keine Hardware und jeden OpenAI-Client	Tatsächlich genutzte Token

Die meisten lokalen Tools können auch einen OpenAI-kompatiblen Server bereitstellen, sodass ein Client, der für eines dieser Tools geschrieben wurde, normalerweise durch Ändern einer URL zu einem anderen wechseln kann. Diese Portabilität macht den Vergleich zu einer risikoarmen Angelegenheit.

Wie sich eine gehostete API unterscheidet

Eine gehostete API ändert, wer die Arbeit trägt. Du sendest eine Anfrage, ein unabhängiger Anbieter führt ein Open-Weight-Modell aus, das darauf optimiert ist, ohne Inhaltsablehnungen zu antworten, und du erhältst Token zurück. Es gibt nichts herunterzuladen, kein VRAM-Budget und keine Treiber, die aktualisiert werden müssen.

Die Schnittstelle ist die Standard-Schnittstelle. Die Base URL ist https://api.ollamansfw.com/v1, die Modell-ID ist uncensored, und die Authentifizierung erfolgt über einen normalen Bearer-Schlüssel. Die beiden Methoden sind POST /v1/chat/completions und GET /v1/models. Streaming, Function Calling und JSON-Modus funktionieren wie in den OpenAI SDKs. Das Kontextfenster beträgt 100.000 Token, Prompt und Completion zusammen.

Es lohnt sich, klarzustellen, was dies nicht ist. Es ist ein Modell, das von einem unabhängigen Anbieter ausgeführt wird. Es ist nicht die offizielle API eines Modell-Anbieters und kein Router über mehrere hinweg. Es verarbeitet nur Text, daher gibt es keine Bildgenerierung, keine Embeddings und kein Fine-Tuning. Eine harte Regel gilt: Keine sexuellen Inhalte mit Minderjährigen.

Umstellung in fünf Minuten

Wenn deine App bereits mit einem OpenAI-ähnlichen Endpunkt kommuniziert, ist die Änderung eine Konfigurationsänderung. Hier ist das Ganze in Python mit dem offiziellen SDK.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.ollamansfw.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the plot of a heist story in three lines."}],
)
print(resp.choices[0].message.content)

Und derselbe Aufruf mit curl, praktisch zum Testen, ob dein Schlüssel funktioniert, bevor du Anwendungscode änderst.

Copycurl https://api.ollamansfw.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Hello"}]}'

Neue Konten können 0,50 $ Testguthaben mit einem Klick auf der API-Schlüssel-Seite beanspruchen. Keine Zahlung erforderlich, 7 Tage gültig, begrenzt auf einen pro Person. Die Anmeldung erfolgt über Google oder mit E-Mail und Passwort. Die Schnellstart-Anleitung deckt dieselben Schritte mit mehr Clients ab.

Wenn eine Anfrage beim ersten Versuch fehlschlägt, listet die Seite zu häufigen Fehlern die üblichen Ursachen auf, wie etwa ein fehlendes /v1 in der Basis-URL.

Kosten: Lokal versus gehostet

Die gehosteten Preise sind einfach. Input kostet $0,15 pro 1M Token und Output kostet $0,50 pro 1M. Eine Anfrage mit 3.000 Input-Token und 700 Output-Token kostet 3.000 x $0,15 / 1M = $0,00045 für Input plus 700 x $0,50 / 1M = $0,00035 für Output, also insgesamt $0,0008. Zehntausend solcher Anfragen ergeben $8,00.

Lokale Inferenz hat keine Token-Gebühr, ist aber nicht kostenlos. Du zahlst für die GPU oder den Server, für Strom und für deine eigene Zeit. Wenn du bereits eine leistungsfähige GPU besitzt und dein Verbrauch gering ist, sind die Grenzkosten einer lokalen Anfrage tatsächlich nahe null, und das ist ein starkes Argument, um zu bleiben. Wenn du Hardware kaufen oder mieten müsstest, um ein Modell dieser Größe auszuführen, sind zehntausend Anfragen für 8,00 $ einen Vergleich mit dieser Rechnung wert. Prüfe die aktuellen Preise für jede Miete oder andere API, die du in Erwägung ziehst, da sie sich ändern.

Siehe die Preisseite für Aufladebeträge und Boni. Guthaben ist Prepaid, verfällt nie, und fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet. Es gibt keine kostenlose unbegrenzte Ebene.

Wann lokal bleiben und wann gehostet wählen

Bleib lokal, wenn

• Deine Prompts dürfen aus Gründen deiner eigenen Richtlinie deine Maschine niemals verlassen.
• Du hast bereits eine GPU mit ausreichend Speicher und das Modell, das du magst, passt darauf.
• Du arbeitest offline oder bei einer unzuverlässigen Verbindung.
• Du möchtest viele verschiedene Open-Weight-Modelle ausprobieren und täglich zwischen ihnen wechseln.

Wähle die gehostete Lösung, wenn

• Du keine geeignete Hardware besitzt oder diese nicht ausgelastet haben möchtest, während du arbeitest.
• Du denselben Endpunkt von mehreren Geräten oder einer bereitgestellten Anwendung benötigst.
• Du möchtest einen langen Kontext von bis zu 100.000 Token, ohne die Speichereinstellungen anpassen zu müssen.
• Deine Nutzung ist burstartig, daher ist die Bezahlung pro Token besser als die Bezahlung für ungenutzte Hardware.

Viele Nutzer kombinieren beides. Ein lokales Modell erledigt schnelle private Entwürfe, während der gehostete Endpunkt die rechenintensiven Sessions übernimmt. Da beide das OpenAI-Format sprechen, bleibt der Anwendungscode identisch und unterscheidet sich nur in der Base URL.

Bezüglich der Privatsphäre auf der gehosteten Seite werden Prompts nicht zum Training verwendet. Das ist eine Aussage nur zu diesem Dienst, und du solltest die Preisseite und die Nutzungsbedingungen lesen, bevor du etwas Sensibles sendest.

Weitere Anleitungen

• So nutzt du Ollama mit einer GUI (und einem gehosteten Fallback)
• Ollamansfw API-Preise: Token-Kosten erklärt
• Anleitung zur unzensierten LLM API