Ollama 대체 소프트웨어: 호스팅된 무검열 API

짧은 답변

ollama 대체 소프트웨어를 찾고 있다면, 일반적으로 세 가지 상황 중 하나에 해당합니다. 더 나은 인터페이스를 가진 다른 로컬 실행 환경을 원하거나, 단일 워크스테이션을 넘어 확장 가능한 솔루션이 필요하거나, 하드웨어 관리 자체를 중단하고 싶을 수 있습니다. 각 상황은 서로 다른 도구를 가리킵니다.

모델 브라우저가 있는 데스크톱 앱의 경우 LM Studio가 일반적입니다. 양자화 및 메모리 제어의 경우 llama.cpp가 가장 적합합니다. GPU 서버에서 많은 동시 사용자를 위해 vLLM이 설계되었습니다. GPU를 소유하지 않으려면 호스팅된 OpenAI 호환 API가 하드웨어 문제를 제거합니다. 이 사이트는 하나의 모델 uncensored과 합법적인 성인 사용에 대한 콘텐츠 거부 없이 마지막 옵션을 제공합니다.

Ollama가 제공하는 것과 사람들이 벽에 부딪히는 지점

Ollama는 오픈 웨이트 모델을 다운로드하고 합리적으로 양자화하며, 작은 로컬 HTTP API를 통해 로컬 머신에서 제공합니다. 또한 OpenAI 스타일의 엔드포인트를 노출하므로 많은 채팅 프론트 엔드가 이를 사용할 수 있습니다. 노트북 실험에는 이를 이기기 어렵습니다.

이러한 마찰은 나중에 나타납니다. VRAM 8GB에 맞는 모델은 작은 모델이며, 작은 모델은 긴 장면의 일관성을 덜 유지하고 복잡한 지시를 덜 일관되게 따릅니다. 더 큰 모델은 대부분의 소비자용 GPU가 가진 것보다 더 많은 메모리가 필요합니다. 모델을 실행하면 머신이 점유됩니다: 팬이 돌아가고 GPU가 바쁘며, 자신의 게임이나 렌더링이 같은 메모리를 경쟁합니다. 같은 모델을 휴대폰이나 두 번째 컴퓨터, 또는 친구의 앱에서 사용하고 싶다면 이제 홈 네트워크를 노출해야 하는데, 이는 자체 보안 작업입니다.

이것이 로컬 추론이 나쁜 아이디어라는 의미는 아닙니다. 올바른 질문은 어떤 도구가 가장 좋은지가 아니라, 어떤 문제가 있는지입니다.

로컬 대체재 요약

이 표는 각 프로젝트에 대해 공개적으로 알려진 사실만 다룹니다. 최신 기능은 각 프로젝트 사이트를 확인하세요.

옵션	무엇인가	언제 가장 좋은가	주요 비용
LM Studio	로컬 모델 다운로드 및 채팅용 데스크톱 앱	GUI가 필요하고 터미널 작업이 필요 없음	자신의 GPU 또는 RAM
llama.cpp	양자화된 모델용 C/C++ 추론 엔진 및 서버	메모리와 양자화에 대한 정교한 제어를 원함	플래그와 빌드에 시간이 필요함
vLLM	GPU에서 많은 요청을 처리하는 것을 목표로 하는 추론 서버	자체 다중 사용자 서버를 실행함	GPU 서버 임대 또는 구매
text-generation-webui	여러 백엔드를 통해 모델을 로드하는 웹 인터페이스	브라우저에서 샘플러 설정을 조정하는 것을 선호함	자신의 하드웨어
호스팅 API (이 사이트)	OpenAI 호환 엔드포인트, 단일 모델, 토큰 단위 과금	하드웨어가 필요 없고 모든 OpenAI 클라이언트를 사용함	실제 사용 토큰

대부분의 로컬 도구도 OpenAI 호환 서버를 제공할 수 있으므로, 이러한 도구 중 하나로 작성된 클라이언트는 URL 변경만으로 다른 도구로 이동할 수 있습니다. 이러한 이식성이 비교 시 위험이 낮게 만드는 이유입니다.

호스팅 API와의 차이점

호스팅 API는 작업 부담을 지는 주체를 바꿉니다. 요청을 보내면 독립적인 제공자가 콘텐츠 거부 없이 답변하도록 튜닝된 오픈 웨이트 모델을 실행하고, 토큰을 받아봅니다. 다운로드할 것이 없고, VRAM 예산이 없으며, 드라이버를 업데이트할 필요도 없습니다.

인터페이스는 표준입니다. 베이스 URL은 https://api.ollamansfw.com/v1, 모델 ID는 uncensored이며, 인증은 일반 베어러 키입니다. 두 메서드는 POST /v1/chat/completions 및 GET /v1/models입니다. 스트리밍, 함수 호출 및 JSON 모드는 OpenAI SDK에서 작동하는 방식과 동일합니다. 컨텍스트 창은 프롬프트 및 완료와 함께 100,000 토큰입니다.

이것이 무엇인지 명확히 하는 것이 중요합니다. 이는 독립적인 제공자가 실행하는 하나의 모델입니다. 어떤 모델 벤더의 공식 API가 아니며 여러 모델을 라우팅하는 라우터도 아닙니다. 텍스트만 처리하므로 이미지 생성, 임베딩, 파인튜닝이 없습니다. 하나의 엄격한 규칙이 적용됩니다: 미성년자가 관련된 성 콘텐츠는 금지됩니다.

5분 만에 전환하기

앱이 이미 OpenAI 스타일 엔드포인트와 통신한다면, 전환은 구성 변경입니다. 공식 SDK를 사용한 Python 전체 예제는 다음과 같습니다.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.ollamansfw.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the plot of a heist story in three lines."}],
)
print(resp.choices[0].message.content)

curl로 동일한 호출을 수행하면 키가 작동하는지 확인하는 데 편리합니다. 이는 애플리케이션 코드를 건드리기 전에 수행할 수 있습니다.

Copycurl https://api.ollamansfw.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Hello"}]}'

새 계정은 API 키 페이지에서 한 번의 클릭으로 $0.50의 무료 체험 크레딧을 청구할 수 있습니다. 결제가 필요 없으며, 7일 동안 유효하고, 사람당 하나만 제한됩니다. 로그인은 Google 또는 이메일과 비밀번호로 합니다. quickstart은 더 많은 클라이언트로 동일한 단계를 다룹니다.

첫 번째 시도에서 요청이 실패하면 자주 하는 실수 페이지에 누락된 /v1과 같은 일반적인 원인이 나열되어 있습니다.

비용: 로컬 대 호스팅

호스팅 가격은 단순합니다. 입력은 토큰 100만 개당 $0.15, 출력은 토큰 100만 개당 $0.50입니다. 입력 토큰 3,000개와 출력 토큰 700개로 구성된 요청의 비용은 입력에 대해 3,000 x $0.15 / 1M = $0.00045, 출력에 대해 700 x $0.50 / 1M = $0.00035이므로 총 $0.0008입니다. 이러한 요청 10,000건의 비용은 $8.00입니다.

로컬 추론에는 토큰당 요금이 없지만 무료도 아닙니다. GPU나 서버, 전기, 자신의 시간에 대해 지불합니다. 이미 성능 좋은 GPU를 보유하고 사용량이 적다면 로컬 요청의 한계 비용은 실제로 0에 가깝고, 이는 현재 상태를 유지할 강력한 근거입니다. 이러한 크기의 모델을 실행하기 위해 하드웨어를 구매하거나 임대해야 한다면, 10,000건 요청에 $8.00은 비교해 볼 만한 숫자입니다. 고려 중인 임대 또는 다른 API의 현재 가격을 확인하세요. 가격은 변동됩니다.

충전 금액과 보너스는 가격 책정 페이지를 참조하세요. 크레딧은 선불이며, 만료되지 않으며, 실패하거나 거부된 요청에는 요금이 부과되지 않습니다. 무료 무제한 티어는 없습니다.

로컬을 유지할 때와 호스팅으로 전환할 때

로컬을 유지하세요

• 귀하의 정책상 프롬프트는 절대 귀하의 머신을 벗어나서는 안 됩니다.
• 이미 충분한 메모리가 있는 GPU를 보유하고 있으며 좋아하는 모델이 그 위에 맞습니다.
• 오프라인에서 작업하거나 연결이 불안정한 상태에서 작업합니다.
• 다양한 오픈 모델을 여러 개 시도하고 매일 모델을 전환하고 싶은 경우입니다.

다음과 같은 경우 호스팅된 서비스를 선택하세요.

• 적합한 하드웨어를 보유하고 있지 않거나, 작업 중 하드웨어가 사용 중인 상태를 원하지 않는 경우입니다.
• 여러 기기 또는 배포된 애플리케이션에서 동일한 엔드포인트가 필요한 경우입니다.
• 메모리 설정을 조정하지 않고 최대 100,000 토큰의 긴 컨텍스트를 원합니다.
• 사용 패턴이 불규칙하여 유휴 하드웨어에 대한 비용 지불보다 토큰 단위 과금이 더 효율적인 경우입니다.

많은 사용자가 두 가지 방식을 모두 사용합니다. 로컬 모델은 빠른 비공개 초안을 처리하고, 호스팅된 엔드포인트는 무거운 세션을 처리합니다. 둘 다 OpenAI 형식을 지원하므로 애플리케이션 코드는 동일하게 유지되며 Base URL만 다릅니다.

호스팅 측면의 프라이버시에 대해, 프롬프트는 학습에 사용되지 않습니다. 이는 이 서비스에 대한 설명일 뿐이며, 민감한 데이터를 보내기 전에 요금제 및 약관 페이지를 읽어보시기 바랍니다.

더 많은 가이드

• GUI와 호스팅된 폴백을 사용한 Ollama 사용법
• Ollamansfw API 가격 정책: 토큰 비용 설명
• 무검열 LLM API 가이드