Ollama ソフトウェアの代替：ホスト型無検閲 API

短い答え

Ollama ソフトウェアの代替をお探しの場合、通常は 3 つの状況のいずれかに該当します。インターフェースが優れた別のローカルランナーが欲しい、1 つのワークステーションを超えてスケーリングできるものが欲しい、あるいはハードウェアの管理を完全にやめたい、という状況です。それぞれの状況は異なるツールを指します。

モデルブラウザを備えたデスクトップアプリの場合、LM Studioは一般的な選択肢です。量子化とメモリを最大限に制御するには、llama.cppが他のランナーの多くを構築する基盤となっています。GPUサーバー上で多くの同時ユーザーに対応するには、vLLMがそのために設計されています。そしてGPUを所有したくない場合は、ホスト型OpenAI互換APIがハードウェアの問題をすべて解消します。当サイトは、その最後の選択肢を提供しており、1つのモデルuncensoredのみで、合法な成人利用に対してコンテンツ拒否はありません。

Ollama が提供するもの、および行き詰まる場所

Ollama はオープンウェイトモデルをダウンロードし、適切に量子化し、小さなローカル HTTP API であなたのマシン上で提供します。OpenAI 風のエンドポイントも公開しているため、多くのチャットフロントエンドがそれと通信できます。ラップトップでの実験にはこれを超えるものはありません。

摩擦は後で現れます。VRAM 8GBに収まるモデルは小規模モデルであり、小規模モデルは一貫性の低い長い文章を書き、複雑な指示に従う信頼性が低くなります。より大きなモデルは、一般的な消費者向けGPUが持つよりも多くのメモリを必要とします。モデルを実行するとマシンが占有され、ファンが回転し、GPUがビジー状態になり、自分のゲームやレンダリングが同じメモリを奪い合います。同じモデルをスマートフォンや2台目のコンピュータ、あるいは友人のアプリで実行したい場合、今度は自宅のネットワークを公開する必要があり、それはそれ自体が独立したセキュリティ上の課題です。

それらがローカル推論を悪いアイデアにするわけではありません。それは、どのツールが最良かという問いではなく、あなたが抱えている問題は何かという問いが適切であることを意味します。

ローカル代替手段の概要

この表は各プロジェクトについて公に知られている情報に限定しています。現在の機能については各プロジェクトのサイトを確認してください。

オプション	それとは何か	適している場合	主なコスト
LM Studio	ローカルモデルのダウンロードとチャット用のデスクトップアプリ	GUI が欲しい、ターミナル作業をしたくない	自分の GPU または RAM
llama.cpp	量子化モデル用の C/C++ 推論エンジンおよびサーバー	メモリと量子化の微細な制御が欲しい	フラグとビルドのための自分の時間
vLLM	GPU 上で多くのリクエストを提供するための推論サーバー	マルチユーザーサーバーを自分で運用する	GPU サーバーのレンタルまたは購入
text-generation-webui	複数のバックエンドを通じてモデルを読み込む Web インターフェース	ブラウザでサンプリラー設定をいじるのが好き	自分のハードウェア
ホスト型 API（このサイト）	OpenAI 互換のエンドポイント、1 つのモデル、トークン単位の課金	ハードウェア不要、任意の OpenAI クライアント	実際に使用したトークン

ローカルツールの多くは OpenAI 互換サーバーも提示できるため、それらのいずれかに合わせて書かれたクライアントは、URL を変更するだけで通常は移行できます。この移植性が、それらを比較するリスクが低い理由です。

ホスト型 API の違い

ホスト型 API は、作業を誰が負担するかを変えます。あなたはリクエストを送信し、独立したプロバイダがコンテンツ拒否を行わずに回答するように調整されたオープンウェイトモデルを実行し、あなたはトークンを返します。ダウンロードする必要も、VRAM の予算も、ドライバの更新も不要です。

インターフェースは標準的なものです。Base URLはhttps://api.ollamansfw.com/v1、モデルIDはuncensored、認証は通常のベアラーキーです。2つのメソッドはPOST /v1/chat/completionsとGET /v1/modelsです。ストリーミング、ツール呼び出し、JSONモードはOpenAI SDKで行われるのと同じように機能します。コンテキストウィンドウは100,000トークンで、プロンプトと応答を合わせた合計です。

これが何ではないかを明確にしておく価値があります。これは 1 つのモデルで、独立したプロバイダが実行しています。任意のモデルベンダーの公式 API ではなく、複数のモデルをルーターするものでもありません。テキストのみを処理するため、画像生成、埋め込み、ファインチューニングはありません。1 つの厳格なルールがあります：未成年者を含む性的コンテンツはありません。

5 分で切り替え

アプリがすでにOpenAI互換のエンドポイントと通信している場合、その移行は設定変更です。以下に、公式SDKを使用したPythonでの全体を示します。

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.ollamansfw.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the plot of a heist story in three lines."}],
)
print(resp.choices[0].message.content)

また、アプリケーションコードに触れる前にキーが機能することを確認するのに便利な curl での同じ呼び出しも示します。

Copycurl https://api.ollamansfw.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Hello"}]}'

新規アカウントは、API キーページでワンクリックして $0.50 の無料トライアルクレジットを請求できます。支払い不要で、7 日間有効、1 人あたり 1 回限りの制限があります。Google またはメールとパスワードでログインできます。クイックスタートには、より多くのクライアントでの同じ手順が記載されています。

リクエストが最初の試行で失敗した場合、よくある間違いページには、Base URLに/v1が含まれていないなどの一般的な原因がリストされています。

コスト：ローカル対ホスト型

ホスト型の価格設定はシンプルです。入力は 1M トークン当たり $0.15、出力は 1M トークン当たり $0.50 です。入力トークン 3,000 と出力トークン 700 のリクエストは、入力で 3,000 x $0.15 / 1M = $0.00045、出力で 700 x $0.50 / 1M = $0.00035 かかり、合計 $0.0008 です。そのようなリクエストが 10,000 件なら $8.00 になります。

ローカル推論にはトークン単位の料金はありませんが、無料ではありません。GPU またはサーバー、電気、そして自分の時間に対して支払います。すでに能力のある GPU を所有しており、使用量が軽量であれば、ローカルリクエストの限界コストは本当にゼロに近いものであり、それが留まるための強力な論拠となります。このサイズのモデルを実行するためにハードウェアを購入またはレンタルする必要がある場合、10,000 件のリクエストで $8.00 という数字は、その請求書と比較する価値があります。検討中のレンタルや他の API の現在の価格を確認してください。それらは変化します。

チャージ金額とボーナスについては 価格ページ を参照してください。クレジットは前払いで、期限切れにならず、失敗または拒否されたリクエストには課金されません。無制限の無料ティアはありません。

ローカルに留めるべき時とホスト型に移行すべき時

ローカルを維持する場合

• ポリシーの理由により、プロンプトは常にあなたのマシンから離れてはなりません。
• 十分なメモリを持つ GPU をすでに所有しており、お気に入りのモデルがそれに乗っています。
• オフラインで作業するか、接続が不安定な環境です。
• さまざまなオープンモデルを試して、毎日切り替えたいと考えています。

ホスト版を選ぶべきなのは

• 適切なハードウェアを所有していない、または作業中にハードウェアを占有したくない場合です。
• 複数のデバイスやデプロイされたアプリケーションから同じエンドポイントにアクセスする必要がある場合です。
• メモリ設定を調整せずに、最大100,000トークンの長いコンテキストウィンドウが必要な場合です。
• 使用量がバースト状になるため、アイドル状態のハードウェアに支払うよりもトークンごとの課金の方が適している場合です。

多くのユーザーは両方を使用しています。ローカルモデルは迅速なプライベートな下書きを処理し、ホストエンドポイントは重いセッションを担当します。どちらもOpenAI形式に対応しているため、アプリケーションコードは同じまま保たれ、Base URLのみが異なります。

ホスト側のプライバシーについては、プロンプトはトレーニングに使用されません。これは当サービスに関する声明のみであり、機密性の高いデータを送信する前に、価格表と利用規約ページをお読みください。

その他のガイド

• GUIを使用したOllamaの使用方法（およびホスト版のフォールバック）
• Ollamansfw APIの料金表：トークンコストの解説
• 無検閲LLM APIガイド