Ollama 軟體替代方案：託管式無審查 API

簡短答案

如果你正在尋找 ollama 軟體替代方案，你通常會處於以下三種情況之一。你想要一個具有更好介面的不同本地執行器，你想要能擴展超過單一工作站的方案，或者你想完全停止管理硬體。每種情況都指向不同的工具。

對於具有模型瀏覽器的桌面應用程式，LM Studio 是常見選擇。對於量化和記憶體的最大控制，llama.cpp 是其他大多數執行器所基於的專案。對於 GPU 伺服器上的許多並行使用者，vLLM 為此設計。如果你更不想擁有 GPU，則託管的 OpenAI 相容 API 消除了整個硬體問題。本網站提供最後一種選擇，僅有一個模型 uncensored，且針對合法成人用途無內容拒絕。

Ollama 為您提供什麼，以及人們遇到的瓶頸

Ollama 下載開放權重模型，進行合理的量化處理，並透過小型本地 HTTP API 在你的機器上提供服務。它也提供 OpenAI 風格的端點，因此許多聊天前端都能與之連線。對於筆記型電腦上的實驗來說，這很難被超越。

摩擦點稍後才會出現。能裝入 8 GB VRAM 的模型屬於小型模型，而小型模型在撰寫較長的段落時較不連貫，也較無法可靠地遵循複雜指令。較大的模型需要比多數消費型 GPU 更多的記憶體。執行模型也會佔用機器資源：風扇轉動、GPU 忙碌，而你自己的遊戲或渲染工作也會與之競爭相同的記憶體。如果你想在手機、第二台電腦或朋友的應用程式中使用相同的模型，現在你必須暴露你的家庭網路，這本身就是一項安全任務。

這並不意味著本地推理是一個壞主意。這意味著正確的問題不是哪個工具最好，而是你面臨什麼問題。

本地替代方案一覽

該表格僅列出每個專案的公開已知資訊。請查看每個專案的網站以獲取當前功能。

選項	它是什麼	最佳場景	主要成本
LM Studio	用於下載和本地模型互動的桌面應用程式	您需要 GUI 且無需終端操作	您自己的 GPU 或 RAM
llama.cpp	用於量化模型的 C/C++ 推理引擎和伺服器	您需要對記憶體和量化進行細粒度控制	您需要花費時間處理標誌和構建
vLLM	旨在在 GPU 上服務許多請求的推理伺服器	您運行自己的多用戶伺服器	GPU 伺服器租賃或購買
text-generation-webui	通過多個後端載入模型的 Web 介面	您喜歡在瀏覽器中調整採樣器設定	您自己的硬體
託管 API（本網站）	OpenAI 相容端點，單一模型，按 token 付費	您不需要硬體且使用任何 OpenAI 客戶端	您實際使用的 token

大多數本地工具也可以提供 OpenAI 相容伺服器，因此針對其中一個編寫的客戶端通常只需更改 URL 即可遷移。這種可移植性使得比較它們的風險很低。

託管 API 的差異

託管 API 改變了承擔工作的一方。您發送請求，獨立供應商運行經過調校的開放權重模型以無審查回應，您則獲得 token 返回。無需下載，沒有 VRAM 預算，也不需要更新驅動程式。

介面是標準的。基礎 URL 是 https://api.ollamansfw.com/v1，模型 ID 是 uncensored，驗證方式是普通的 bearer key。兩種方法是 POST /v1/chat/completions 和 GET /v1/models。串流輸出、函式呼叫和 JSON 模式的運作方式與 OpenAI SDKs 相同。上下文視窗為 100,000 token，包含提示詞和補全。

有必要清楚說明這不是什麼。這是一個由獨立供應商運行的單一模型。它不是任何模型供應商的官方 API，也不是跨多個模型的路由器。它僅處理文本，因此沒有圖像生成、沒有嵌入也沒有微調。一條硬性規則適用：禁止涉及未成年人的色情內容。

五分鐘內切換

如果你的應用程式已經能與 OpenAI 風格的端點進行通訊，那麼轉換只是設定上的變更。以下是使用官方 SDK 的 Python 程式碼。

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.ollamansfw.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the plot of a heist story in three lines."}],
)
print(resp.choices[0].message.content)

以及使用 curl 的相同呼叫，這在觸及任何應用程式程式碼之前，非常適合用來檢查你的金鑰是否運作正常。

Copycurl https://api.ollamansfw.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Hello"}]}'

新帳戶可以在 API 金鑰頁面 上一鍵領取 $0.50 的免費試用額度。它不需要付款，有效期為 7 天，每人限領一次。註冊方式為使用 Google 或電子郵件與密碼。快速入門 涵蓋了更多用戶端的相同步驟。

如果你的請求在第一次嘗試時失敗，常見錯誤頁面 列出了常見原因，例如基礎 URL 中缺少 /v1。

成本：本地與託管

託管定價很簡單。輸入每 1M token 成本為 $0.15，輸出每 1M token 成本為 $0.50。包含 3,000 個輸入 token 和 700 個輸出 token 的請求，輸入成本為 3,000 x $0.15 / 1M = $0.00045，輸出成本為 700 x $0.50 / 1M = $0.00035，總計 $0.0008。一萬次此類請求總計為 $8.00。

本地推理沒有每 token 的費用，但並非免費。你需要為 GPU 或伺服器、電費以及你自己的時間付費。如果你已經擁有具備能力的 GPU 且使用量較低，本地請求的邊際成本確實接近零，這是一個堅持留在本地的有力論點。如果你需要購買或租賃硬體才能執行這種規模的模型，那麼一萬次請求 $8.00 的費用是值得與該帳單比較的數字。請查看任何你考慮的租賃或其他 API 的當前價格，因為它們會變動。

請參閱 定價頁面 以了解儲值金額和獎金。額度為預付額度，不會過期，失敗或被拒絕的請求不會收費。沒有免費的無限制方案。

何時保持本地，何時選擇託管

如果以下情況請保持本地：

• 基於你自己的政策考量，你的提示詞不得離開你的機器。
• 你已經擁有記憶體足夠的 GPU，且你喜歡的模型可以運行其上。
• 你在離線環境或網路連線不穩定時工作。
• 你想嘗試許多不同的開放模型，並每天在它們之間切換。

若符合以下條件，請選擇託管式服務

• 你沒有合適的硬體，或者你不希望在工作時讓它佔用資源。
• 你需要從多部裝置或已部署的應用程式存取相同的端點。
• 你想要高達 100,000 token 的長上下文，且無需調整記憶體設定。
• 你的使用量呈突發性，因此按 token 付費比為閒置硬體付費更划算。

許多人兩者兼用。本機模型可處理快速的私人草稿，而託管端點則處理沉重的任務。由於兩者皆採用 OpenAI 格式，應用程式程式碼保持相同，僅 Base URL 不同。

關於託管端的隱私，提示詞不會用於訓練。這是針對此服務的聲明，在傳送任何敏感資料之前，請閱讀 定價和條款頁面。

更多指南

• 如何使用 Ollama 搭配圖形介面（以及託管備援）
• Ollamansfw API 定價：Token 成本解析
• 無審查 LLM API 指南