Alternativas ao Ollama: API hospedada sem censura

A resposta curta

Se você procura alternativas ao software ollama, geralmente está em uma de três situações. Você quer um executor local diferente com uma interface mais agradável, quer algo que escale além de uma única estação de trabalho ou quer deixar de gerenciar hardware de vez. Cada situação aponta para uma ferramenta diferente.

Para um aplicativo de desktop com um navegador de modelos, o LM Studio é uma escolha comum. Para controle máximo sobre quantização e memória, o llama.cpp é o projeto em torno do qual a maioria dos outros executores é construída. Para muitos usuários simultâneos em um servidor GPU, o vLLM é projetado para isso. E se você preferir não possuir uma GPU, uma API hospedada compatível com OpenAI remove toda a questão do hardware. Este site oferece a última dessas opções, com um único modelo, uncensored, e sem recusas de conteúdo para uso adulto lícito.

O que o Ollama oferece e onde as pessoas batem de frente com uma barreira

O Ollama baixa modelos de pesos abertos, os quantiza de forma sensata e os serve na sua máquina com uma pequena API HTTP local. Ele também expõe um endpoint estilo OpenAI, por isso muitos front-ends de chat podem se comunicar com ele. Para um experimento em laptop, é difícil de superar.

O atrito aparece depois. Um modelo que cabe em 8 GB de VRAM é um modelo pequeno, e modelos pequenos geram cenas longas menos coerentes e seguem instruções complexas com menos confiabilidade. Modelos maiores precisam de mais memória do que a maioria das GPUs de consumo possui. Executar um modelo também ocupa a máquina: as ventoinhas giram, a GPU está ocupada e seus próprios jogos ou renderizações competem pela mesma memória. Se você quiser o mesmo modelo no seu telefone, em um segundo computador ou dentro do aplicativo de um amigo, agora você precisa expor sua rede doméstica, o que é uma tarefa de segurança por si só.

Nada disso torna a inferência local uma má ideia. Significa que a pergunta certa não é qual ferramenta é a melhor, mas qual problema você tem.

Alternativas locais em visão geral

A tabela mantém-se fiel ao que é publicamente conhecido sobre cada projeto. Verifique o site de cada projeto para recursos atuais.

Opção	O que é	Melhor quando	Custo principal
LM Studio	Aplicativo de desktop para baixar e conversar com modelos locais	Você quer uma GUI e sem trabalho de terminal	Sua própria GPU ou RAM
llama.cpp	Motor de inferência C/C++ e servidor para modelos quantizados	Você quer controle fino sobre memória e quantização	Seu tempo para flags e compilações
vLLM	Servidor de inferência focado em servir muitas requisições em GPUs	Você executa seu próprio servidor multiusuário	Aluguel ou compra de servidor GPU
text-generation-webui	Interface web que carrega modelos por meio de vários back-ends	Você gosta de ajustar configurações do amostrador no navegador	Seu próprio hardware
API hospedada (este site)	Endpoint compatível com OpenAI, um modelo, pague por token	Você não precisa de hardware e quer qualquer cliente OpenAI	Tokens que você realmente usa

A maioria das ferramentas locais também pode apresentar um servidor compatível com OpenAI, então um cliente desenvolvido para um deles geralmente migra para outro alterando apenas a URL. Essa portabilidade é o que torna a comparação de baixo risco.

Como uma API hospedada difere

Uma API hospedada muda quem carrega o trabalho. Você envia uma requisição, um provedor independente executa um modelo de pesos abertos ajustado para responder sem recusas de conteúdo, e você recebe tokens de volta. Não há nada para baixar, sem orçamento de VRAM e sem driver para atualizar.

A interface é a padrão. A URL base é https://api.ollamansfw.com/v1, o ID do modelo é uncensored e a autenticação é uma chave bearer normal. Os dois métodos são POST /v1/chat/completions e GET /v1/models. Streaming, chamada de funções e modo JSON funcionam como nos SDKs da OpenAI. A janela de contexto é de 100.000 tokens, incluindo prompt e conclusão juntos.

Vale a pena deixar claro o que isto não é. É um modelo, executado por um provedor independente. Não é a API oficial de nenhum fornecedor de modelo e não é um roteador entre vários. Lida apenas com texto, então não há geração de imagem, embeddings nem ajuste fino. Uma regra rígida se aplica: sem conteúdo sexual envolvendo menores de idade.

Migração em cinco minutos

Se seu app já conversa com um endpoint estilo OpenAI, a mudança é uma alteração de configuração. Aqui está tudo em Python com o SDK oficial.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.ollamansfw.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the plot of a heist story in three lines."}],
)
print(resp.choices[0].message.content)

E a mesma chamada com curl, que é útil para verificar se sua chave funciona antes de tocar qualquer código de aplicativo.

Copycurl https://api.ollamansfw.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Hello"}]}'

Novas contas podem resgatar $0,50 de crédito de teste com um clique na página da chave de API. Não precisa de pagamento, dura 7 dias e é limitado a um por pessoa. O cadastro é feito com Google ou com e-mail e senha. O quickstart cobre os mesmos passos com mais clientes.

Se uma requisição falhar na sua primeira tentativa, a página de erros comuns lista as causas habituais, como a falta de /v1 na URL base.

Custo: local versus hospedado

A hospedagem tem preços simples. Entrada custa $0,15 por 1M de tokens e saída custa $0,50 por 1M. Uma requisição com 3.000 tokens de entrada e 700 tokens de saída custa 3.000 x $0,15 / 1M = $0,00045 de entrada mais 700 x $0,50 / 1M = $0,00035 de saída, totalizando $0,0008. Dez mil dessas requisições chegam a $8,00.

A inferência local não tem taxa por token, mas não é gratuita. Você paga pela GPU ou pelo servidor, pela eletricidade e pelo seu próprio tempo. Se você já possui uma GPU capaz e seu uso é leve, o custo marginal de uma solicitação local realmente é próximo de zero, e essa é uma forte argumentação para ficar onde está. Se você precisasse comprar ou alugar hardware apenas para executar um modelo desse tamanho, dez mil requisições por $8,00 é um número que vale a pena comparar com essa conta. Verifique os preços atuais de qualquer aluguel ou outra API que você esteja considerando, pois eles mudam.

Veja a página de preços para valores de recarga e bônus. Crédito é pré-pago, nunca expira, e requisições falhas ou recusadas não são cobradas. Não há plano gratuito ilimitado.

Quando permanecer local e quando ir para hospedado

Fique local se

• Seus prompts nunca devem sair da sua máquina, por motivos da sua própria política.
• Você já tem uma GPU com memória suficiente e o modelo que você gosta cabe nela.
• Você trabalha offline ou em uma conexão instável.
• Você quer testar vários modelos abertos diferentes e alternar entre eles diariamente.

Escolha a versão hospedada se

• Você não possui hardware adequado ou não quer que ele fique ocupado enquanto você trabalha.
• Você precisa do mesmo endpoint em vários dispositivos ou em um aplicativo implantado.
• Você quer um contexto longo de até 100.000 tokens sem ajustar as configurações de memória.
• Seu uso é intermitente, então pagar por token é mais vantajoso do que pagar por hardware ocioso.

Muitas pessoas fazem ambas as coisas. Um modelo local lida com rascunhos privados rápidos, e o endpoint hospedado cuida das sessões mais pesadas. Como ambas as opções usam o formato OpenAI, o código do aplicativo permanece idêntico e apenas a base URL muda.

Sobre privacidade na parte hospedada, os prompts não são usados para treinamento. Esta é uma declaração sobre este serviço apenas, e você deve ler as páginas de preços e termos antes de enviar qualquer coisa sensível.

Mais guias

• Como usar o Ollama com uma GUI (e um fallback hospedado)
• Preços da API Ollamansfw: Custos por token explicados
• Guia da API LLM sem censura