Alternative software a Ollama: API ospitata senza censura

La risposta breve

Se stai cercando alternative software a Ollama, di solito ti trovi in una di queste tre situazioni. Vuoi un runner locale diverso con un'interfaccia migliore, vuoi qualcosa che scalhi oltre una workstation, o vuoi smettere di gestire l'hardware. Ogni situazione punta a uno strumento diverso.

Per un'app desktop con un browser di modelli, LM Studio è una scelta comune. Per il massimo controllo su quantizzazione e memoria, llama.cpp è il progetto su cui sono costruiti la maggior parte degli altri runner. Per molti utenti concorrenti su un server GPU, vLLM è progettato per quello. E se preferisci non possedere una GPU, un'API ospitata compatibile con OpenAI elimina del tutto la questione hardware. Questo sito offre l'ultima di queste, con un modello, uncensored, e senza rifiuti di contenuto per uso adulto lecito.

Cosa ti offre Ollama e dove le persone si scontrano

Ollama scarica modelli a pesi aperti, li quantizza in modo sensato e li serve sulla tua macchina con una piccola API HTTP locale. Espone anche un endpoint in stile OpenAI, motivo per cui così tante interfacce chat possono parlargli. Per un esperimento su laptop è difficile da battere.

L'attrito si presenta dopo. Un modello che entra in 8 GB di VRAM è un modello piccolo, e i modelli piccoli scrivono scene lunghe meno coerenti e seguono istruzioni complesse in modo meno affidabile. Quelli più grandi hanno bisogno di più memoria di quanta ne abbiano la maggior parte delle GPU consumer. Eseguire un modello occupa anche la macchina: le ventole girano, la GPU è occupata e i tuoi giochi o render competono per la stessa memoria. Se vuoi lo stesso modello sul tuo telefono, su un secondo computer o dentro l'app di un amico, ora devi esporre la tua rete domestica, che è un compito di sicurezza a sé stante.

Niente di tutto ciò rende l'inferenza locale una cattiva idea. Significa che la domanda giusta non è quale strumento sia il migliore, ma quale problema hai.

Alternative locali a colpo d'occhio

La tabella si attiene a ciò che è pubblicamente noto su ciascun progetto. Controlla il sito di ciascun progetto per le funzionalità attuali.

Opzione	Cos'è	Migliore quando	Costo principale
LM Studio	App desktop per scaricare e chattare con modelli locali	Vuoi un'interfaccia grafica e zero lavoro da terminale	La tua GPU o RAM
llama.cpp	Motore di inferenza C/C++ e server per modelli quantizzati	Vuoi un controllo fine su memoria e quantizzazione	Il tuo tempo per flag e build
vLLM	Server di inferenza pensato per servire molte richieste su GPU	Gestisci il tuo server multi-utente	Noleggio o acquisto di server GPU
text-generation-webui	Interfaccia web che carica modelli attraverso diversi back end	Ti piace modificare le impostazioni del sampler nel browser	Il tuo hardware
API ospitata (questo sito)	Endpoint compatibile con OpenAI, un modello, pagamento per token	Vuoi zero hardware e qualsiasi client OpenAI	Token che usi effettivamente

La maggior parte degli strumenti locali può anche presentare un server compatibile con OpenAI, quindi un client scritto contro uno di questi di solito passa a un altro cambiando un URL. Questa portabilità è ciò che rende il confronto a basso rischio.

Come differisce un'API ospitata

Un'API ospitata cambia chi si carica il lavoro. Invii una richiesta, un provider indipendente esegue un modello a pesi aperti ottimizzato per rispondere senza rifiuti di contenuto, e ricevi token indietro. Non c'è nulla da scaricare, nessun budget VRAM e nessun driver da aggiornare.

L'interfaccia è quella standard. L'URL di base è https://api.ollamansfw.com/v1, l'ID del modello è uncensored e l'autenticazione è una normale chiave bearer. I due metodi sono POST /v1/chat/completions e GET /v1/models. Streaming, tool calling e modalità JSON funzionano come negli SDK OpenAI. La finestra di contesto è di 100.000 token, prompt e completion insieme.

Vale la pena essere chiari su cosa non sia. È un modello, eseguito da un fornitore indipendente. Non è l'API ufficiale di alcun fornitore di modelli e non è un router tra diversi. Gestisce solo testo, quindi non c'è generazione di immagini, né embedding e né fine-tuning. Una regola rigida si applica: nessun contenuto sessuale che coinvolga minorenni.

Passaggio in cinque minuti

Se la tua app parla già con un endpoint in stile OpenAI, il passaggio è una modifica di configurazione. Ecco tutto in Python con l'SDK ufficiale.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.ollamansfw.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the plot of a heist story in three lines."}],
)
print(resp.choices[0].message.content)

E la stessa chiamata con curl, utile per verificare che la tua chiave funzioni prima di toccare il codice dell'applicazione.

Copycurl https://api.ollamansfw.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Hello"}]}'

I nuovi account possono richiedere $0,50 di credito di prova con un clic sulla pagina chiave API. Non richiede pagamento, dura 7 giorni ed è limitato a uno per persona. L'accesso è con Google o con email e password. La guida rapida copre gli stessi passaggi con più client.

Se una richiesta fallisce al primo tentativo, la pagina errori comuni elenca le cause più frequenti, come la mancanza di /v1 nell'URL di base.

Costi: locale vs ospitato

La tariffazione per il servizio ospitato è semplice. L'input costa $0,15 per 1M di token e l'output costa $0,50 per 1M. Una richiesta con 3.000 token di input e 700 token di output costa 3.000 x $0,15 / 1M = $0,00045 per l'input più 700 x $0,50 / 1M = $0,00035 per l'output, per un totale di $0,0008. Diecimila di queste richieste ammontano a $8,00.

L'inferenza locale non ha una tariffa per token, ma non è gratis. Paghi per la GPU o il server, per l'elettricità e per il tuo tempo. Se possiedi già una GPU capace e il tuo utilizzo è leggero, il costo marginale di una richiesta locale è davvero vicino allo zero, ed è un forte argomento per restare fermi. Se dovessi comprare o noleggiare hardware solo per eseguire un modello di queste dimensioni, diecimila richieste per $8,00 è un numero da confrontare con quella fattura. Controlla i prezzi attuali per qualsiasi noleggio o altra API che stai considerando, perché cambiano.

Vedi la pagina prezzi per gli importi di ricarica e i bonus. Il credito è prepagato, non scade mai, e le richieste fallite o rifiutate non vengono addebitate. Non c'è un piano gratuito illimitato.

Quando restare locale e quando andare ospitato

Rimani locale se

• I tuoi prompt non devono mai lasciare la tua macchina, per motivi della tua stessa politica.
• Hai già una GPU con memoria sufficiente e il modello che ti piace ci entra.
• Lavori offline o su una connessione non affidabile.
• Vuoi provare molti modelli open diversi e cambiarli quotidianamente.

Scegli l'hosted se

• Non possiedi hardware adatto o non vuoi che sia occupato mentre lavori.
• Hai bisogno dello stesso endpoint da più dispositivi o da un'app distribuita.
• Vuoi un contesto lungo fino a 100.000 token senza dover regolare le impostazioni di memoria.
• Il tuo utilizzo è a picchi, quindi pagare per token è meglio che pagare per hardware inattivo.

Molti fanno entrambe le cose. Un modello locale gestisce bozze private veloci, mentre l'endpoint ospitato si occupa delle sessioni più pesanti. Poiché entrambi usano il formato OpenAI, il codice dell'applicazione rimane identico e cambia solo l'URL di base.

Per la privacy del lato ospitato, i prompt non vengono utilizzati per l'addestramento. Questa è un'affermazione relativa a questo servizio e dovresti leggere le pagine tariffazione e dei termini prima di inviare qualsiasi dato sensibile.

Altre guide

• Come usare Ollama con un'interfaccia grafica (e un fallback hosted)
• Prezzi API Ollamansfw: spiegazione dei costi per token
• Guida API LLM senza censura