Альтернативы Ollama: размещённый API без цензуры

Краткий ответ

Если вы ищете альтернативы Ollama, вы обычно находитесь в одной из трех ситуаций. Вам нужен другой локальный раннер с удобным интерфейсом, вам нужно решение, масштабируемое за пределы одной рабочей станции, или вы хотите полностью прекратить управление оборудованием. Каждая ситуация указывает на свой инструмент.

Для десктопного приложения с браузером моделей LM Studio — распространённый выбор. Для максимального контроля над квантованием и памятью проект llama.cpp является основой для большинства других раннеров. Для множества одновременных пользователей на сервере с GPU создан vLLM. А если вы предпочитаете не владеть GPU, хостинговый API, совместимый с OpenAI, снимает весь вопрос с оборудованием. Этот сайт предлагает последний вариант: одна модель, uncensored и отсутствие отказов в генерации для законного использования взрослыми.

Что дает Ollama и где люди упираются в стену

Ollama загружает модели с открытыми весами, разумно их квантует и обслуживает на вашем компьютере через небольшой локальный HTTP API. Он также предоставляет эндпоинт в стиле OpenAI, поэтому многие интерфейсы чата могут с ним работать. Для экспериментов на ноутбуке это сложно превзойти.

Трение проявляется позже. Модель, помещающаяся в 8 ГБ VRAM, — это маленькая модель, и маленькие модели пишут менее связные длинные сцены и менее надёжно следуют сложным инструкциям. Большие модели требуют больше памяти, чем есть у большинства потребительских GPU. Запуск модели также связывает машину: работают вентиляторы, GPU занят, а ваши игры или рендеры конкурируют за ту же память. Если вы хотите использовать ту же модель на телефоне, на втором компьютере или внутри приложения друга, вам теперь придётся открывать домашнюю сеть, что является отдельной задачей по безопасности.

Ничто из этого не делает локальный инференс плохой идеей. Это означает, что правильный вопрос не в том, какой инструмент лучший, а в том, какая у вас проблема.

Локальные альтернативы вкратце

Таблица опирается на общедоступную информацию о каждом проекте. Проверяйте сайты проектов для получения актуальных функций.

Вариант	Что это такое	Лучше всего, когда	Основная стоимость
LM Studio	Десктопное приложение для загрузки и общения с локальными моделями	Вам нужен графический интерфейс и отсутствие работы в терминале	Ваш собственный GPU или RAM
llama.cpp	Движок инференса C/C++ и сервер для квантованных моделей	Вам нужен тонкий контроль над памятью и квантованием	Ваше время на флаги и сборку
vLLM	Сервер инференса, ориентированный на обслуживание множества запросов на GPU	Вы управляете собственным многопользовательским сервером	Аренда или покупка сервера с GPU
text-generation-webui	Веб-интерфейс, загружающий модели через несколько бэкендов	Вам нравится настраивать параметры сэмплирования в браузере	Ваше собственное оборудование
Размещённый API (этот сайт)	Эндпоинт, совместимый с OpenAI, одна модель, оплата за токены	Вам не нужно оборудование, а подойдёт любой клиент OpenAI	Токены, которые вы фактически используете

Большинство локальных инструментов также могут предоставлять сервер, совместимый с OpenAI, поэтому клиент, написанный для одного из них, обычно легко переносится на другой путем изменения URL. Эта переносимость делает сравнение малорискованным.

Чем отличается размещённый API

Размещённый API меняет того, кто выполняет работу. Вы отправляете запрос, независимый провайдер запускает модель с открытыми весами, настроенную на ответы без отказов по контенту, и вы получаете токены обратно. Ничего не нужно загружать, нет бюджета VRAM и не нужно обновлять драйверы.

Интерфейс стандартный. Базовый URL — https://api.ollamansfw.com/v1, идентификатор модели — uncensored, а аутентификация — обычным Bearer-ключом. Доступны два метода: POST /v1/chat/completions и GET /v1/models. Потоковая передача, вызов функций и JSON-режим работают так же, как в SDK OpenAI. Контекстное окно рассчитано на 100 000 токенов, включая промпт и завершение.

Стоит чётко понимать, что это не так. Это одна модель, запускаемая независимым провайдером. Это не официальный API какого-либо вендора моделей и не роутер между несколькими. Сервис обрабатывает только текст, поэтому здесь нет генерации изображений, эмбеддингов и дообучения. Действует одно строгое правило: запрет на сексуальный контент с участием несовершеннолетних.

Переключение за пять минут

Если ваше приложение уже общается с эндпоинтом в стиле OpenAI, переход — это изменение конфигурации. Вот весь код на Python с официальным SDK.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.ollamansfw.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the plot of a heist story in three lines."}],
)
print(resp.choices[0].message.content)

И тот же вызов с помощью curl, что удобно для проверки работоспособности ключа перед изменением кода приложения.

Copycurl https://api.ollamansfw.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Hello"}]}'

Новые аккаунты могут получить $0,50 пробного баланса в один клик на странице API-ключ. Для этого не нужен платёжный метод, срок действия — 7 дней, лимит — один на человека. Регистрация доступна через Google или по электронной почте и паролю. Быстрый старт описывает те же шаги с упоминанием большего числа клиентов.

Если запрос не сработал с первой попытки, на странице распространённых ошибок указаны обычные причины, такие как отсутствие /v1 в базовом URL.

Стоимость: локальная против размещённой

Тарификация хостинга проста. Ввод стоит $0,15 за 1M токенов, а вывод — $0,50 за 1M. Запрос с 3 000 входными токенами и 700 выходными токенами стоит 3 000 x $0,15 / 1M = $0,00045 за ввод плюс 700 x $0,50 / 1M = $0,00035 за вывод, итого $0,0008. Десять тысяч таких запросов обойдутся в $8,00.

Локальный инференс не имеет платы за токен, но он не бесплатный. Вы платите за GPU или сервер, за электричество и за свое время. Если у вас уже есть мощный GPU и нагрузка небольшая, предельная стоимость локального запроса действительно близка к нулю, и это сильный аргумент в пользу сохранения локального запуска. Если вам нужно купить или арендовать оборудование только для запуска модели такого размера, десять тысяч запросов за $8,00 — это цифра, которую стоит сравнить со счетом за оборудование. Проверяйте текущие цены на аренду или другие API, которые вы рассматриваете, так как они меняются.

Посмотрите страницу с ценами, чтобы узнать суммы пополнения и бонусы. Кредит предоплаченный, не истекает, за неудачные или отклонённые запросы не списываются средства. Нет бесплатного тарифа без ограничений.

Когда оставаться локально, а когда переходить на размещённый API

Оставайтесь локально, если

• Ваши промпты никогда не должны покидать ваш компьютер по причинам вашей политики.
• У вас уже есть GPU с достаточным объёмом памяти, и нужная вам модель помещается в него.
• Вы работаете офлайн или при нестабильном соединении.
• Вы хотите попробовать множество разных открытых моделей и переключаться между ними ежедневно.

Выберите хостинг, если

• У вас нет подходящего оборудования или вы не хотите, чтобы оно было загружено, пока вы работаете.
• Вам нужен тот же эндпоинт с нескольких устройств или из развёрнутого приложения.
• Вам нужен длинный контекст до 100 000 токенов без настройки параметров памяти.
• Ваша нагрузка скачкообразная, поэтому оплата за токены выгоднее, чем оплата за простаивающее оборудование.

Многие делают и то, и другое. Локальная модель обрабатывает быстрые приватные черновики, а хостинговый эндпоинт — тяжёлые сессии. Поскольку оба варианта используют формат OpenAI, код приложения остаётся неизменным, меняется только базовый URL.

Что касается конфиденциальности на стороне хостинга, промпты не используются для обучения. Это утверждение относится только к этому сервису, поэтому перед отправкой чего-либо конфиденциального ознакомьтесь со страницами тарифов и условий.

Дополнительные руководства

• Как использовать Ollama с графическим интерфейсом (и хостинговым резервным вариантом)
• Тарифы Ollamansfw API: стоимость токенов объяснена
• Руководство по API uncensored LLM