Các giải pháp thay thế Ollama: API không kiểm duyệt dạng lưu trữ
Ollama là một cách để chạy mô hình trọng số mở trên máy của bạn. Trang này so sánh các giải pháp thay thế chính, bao gồm API lưu trữ không cần GPU, và chỉ ra khi nào mỗi cái là lựa chọn tốt hơn.
Không cần thẻ. Sau khi đăng ký, nhận $0,50 tín dụng dùng thử miễn phí bằng một cú nhấp chuột (một lần mỗi người).
Lấy khóa APIĐiểm chính
- Các công cụ chạy cục bộ (LM Studio, llama.cpp, vLLM) mang lại cho bạn quyền kiểm soát và quyền riêng tư với cái giá là phần cứng và công tác bảo trì.
- API dạng lưu trữ đánh đổi quyền kiểm soát đó để không cần thiết lập: bạn thay đổi base URL và trả tiền theo token.
- Dịch vụ này tính $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra từ tín dụng trả trước.
- Nếu bạn đã sở hữu một GPU mạnh và chạy các tác vụ nhẹ, việc ở lại cục bộ thường là con đường rẻ hơn và đơn giản hơn.
Câu trả lời ngắn gọn
Nếu bạn đang tìm kiếm các giải pháp thay thế cho Ollama, bạn thường rơi vào một trong ba tình huống. Bạn muốn một công cụ chạy cục bộ khác với giao diện đẹp hơn, bạn muốn thứ gì đó mở rộng quy mô vượt quá một máy trạm, hoặc bạn muốn ngừng quản lý phần cứng. Mỗi tình huống dẫn đến một công cụ khác nhau.
Đối với ứng dụng máy tính để bàn có trình duyệt mô hình, LM Studio là một lựa chọn phổ biến. Để kiểm soát tối đa việc lượng tử hóa và bộ nhớ, llama.cpp là dự án mà hầu hết các trình chạy khác được xây dựng xung quanh. Đối với nhiều người dùng đồng thời trên máy chủ GPU, vLLM được thiết kế cho việc đó. Và nếu bạn muốn không sở hữu GPU, API tương thích OpenAI được lưu trữ loại bỏ hoàn toàn câu hỏi về phần cứng. Trang web này cung cấp cái cuối cùng trong số đó, với một mô hình, uncensored, và không từ chối nội dung cho mục đích người trưởng thành hợp pháp.
Ollama mang lại cho bạn gì, và nơi mọi người gặp khó khăn
Ollama tải xuống các mô hình trọng số mở, lượng tử hóa chúng một cách hợp lý và phục vụ chúng trên máy của bạn với một API HTTP cục bộ nhỏ. Nó cũng cung cấp một endpoint kiểu OpenAI, đó là lý do tại sao nhiều giao diện người dùng chat có thể giao tiếp với nó. Đối với một thí nghiệm trên máy tính xách tay thì rất khó có thể sánh bằng.
Điểm hạn chế xuất hiện sau đó. Một mô hình vừa với 8 GB VRAM là mô hình nhỏ, và các mô hình nhỏ viết các cảnh dài kém mạch lạc hơn và tuân theo các hướng dẫn phức tạp kém tin cậy hơn. Các mô hình lớn hơn cần nhiều bộ nhớ hơn hầu hết các GPU tiêu dùng có. Chạy một mô hình cũng chiếm dụng máy: quạt quay, GPU bận rộn, và các trò chơi hoặc quá trình render của bạn cạnh tranh cùng bộ nhớ đó. Nếu bạn muốn cùng một mô hình trên điện thoại của bạn, trên một máy tính khác, hoặc bên trong ứng dụng của bạn bè, bạn bây giờ phải mở rộng mạng gia đình của mình, đây là một nhiệm vụ bảo mật riêng của nó.
Điều đó không có nghĩa là suy luận cục bộ là một ý tưởng tồi. Nó có nghĩa là câu hỏi đúng không phải là công cụ nào tốt nhất, mà là vấn đề nào bạn đang gặp phải.
Các giải pháp thay thế cục bộ trong cái nhìn tổng quan
Bảng này chỉ đề cập đến những gì được biết công khai về từng dự án. Hãy kiểm tra trang web của từng dự án để biết các tính năng hiện tại.
| Tùy chọn | Đó là gì | Phù hợp nhất khi | Chi phí vận hành |
|---|---|---|---|
| LM Studio | Ứng dụng máy tính để bàn để tải xuống và trò chuyện với các mô hình cục bộ | Bạn muốn GUI và không cần dùng terminal | GPU hoặc RAM của riêng bạn |
| llama.cpp | Công cụ suy luận và máy chủ C/C++ cho các mô hình đã lượng tử hóa | Bạn muốn kiểm soát tinh tế bộ nhớ và lượng tử hóa | Thời gian của bạn cho các cờ và bản dựng |
| vLLM | Máy chủ suy luận nhằm phục vụ nhiều yêu cầu trên GPU | Bạn chạy máy chủ đa người dùng của riêng mình | Thuê hoặc mua máy chủ GPU |
| text-generation-webui | Giao diện web tải các mô hình thông qua nhiều backend | Bạn thích tinh chỉnh các cài đặt bộ lấy mẫu trong trình duyệt | Phần cứng của riêng bạn |
| API lưu trữ (trang web này) | Endpoint tương thích OpenAI, một mô hình, trả tiền theo token | Bạn muốn không có phần cứng và bất kỳ khách hàng OpenAI nào | Token bạn thực sự sử dụng |
Hầu hết các công cụ cục bộ cũng có thể trình bày máy chủ tương thích OpenAI, vì vậy một khách hàng được viết cho một trong số chúng thường di chuyển sang cái khác bằng cách thay đổi URL. Tính di động đó là điều khiến việc so sánh chúng có rủi ro thấp.
API lưu trữ khác biệt như thế nào
API lưu trữ thay đổi ai là người gánh công việc. Bạn gửi một yêu cầu, một nhà cung cấp độc lập chạy một mô hình trọng số mở được tinh chỉnh để trả lời mà không từ chối nội dung, và bạn nhận lại token. Không có gì để tải xuống, không có ngân sách VRAM và không có trình điều khiển nào cần cập nhật.
Giao diện là giao diện tiêu chuẩn. Base URL là https://api.ollamansfw.com/v1, model ID là uncensored, và xác thực là một khóa bearer chuẩn. Hai phương thức là POST /v1/chat/completions và GET /v1/models. Streaming, gọi công cụ và chế độ JSON hoạt động như trong các SDK OpenAI. Cửa sổ ngữ cảnh là 100.000 token, bao gồm cả prompt và completion.
Nên làm rõ điều này không phải là gì. Đây là một mô hình, do một nhà cung cấp độc lập chạy. Đây không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào và không phải là bộ định tuyến qua nhiều mô hình. Nó chỉ xử lý văn bản, vì vậy không có tạo hình ảnh, không có embedding và không có fine-tuning. Một quy tắc cứng áp dụng: không có nội dung tình dục liên quan đến người chưa thành niên.
Chuyển đổi trong năm phút
Nếu ứng dụng của bạn đã kết nối với một endpoint kiểu OpenAI, việc di chuyển chỉ là thay đổi cấu hình. Dưới đây là toàn bộ mã Python với SDK chính thức.
from openai import OpenAI
client = OpenAI(
base_url="https://api.ollamansfw.com/v1",
api_key="YOUR_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarize the plot of a heist story in three lines."}],
)
print(resp.choices[0].message.content)Và cùng một lệnh gọi với curl, rất hữu ích để kiểm tra xem khóa của bạn có hoạt động trước khi bạn sửa đổi bất kỳ mã ứng dụng nào.
curl https://api.ollamansfw.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Hello"}]}'Tài khoản mới có thể nhận $0.50 tín dụng dùng thử chỉ với một cú nhấp chuột trên trang khóa API. Nó không cần thanh toán, kéo dài 7 ngày và giới hạn một lần cho mỗi người. Đăng ký bằng Google hoặc bằng email và mật khẩu. Hướng dẫn bắt đầu nhanh bao gồm các bước tương tự với nhiều khách hàng hơn.
Nếu một yêu cầu thất bại ở lần thử đầu tiên, trang các lỗi thường gặp liệt kê các nguyên nhân thường gặp, chẳng hạn như thiếu /v1 trong base URL.
Chi phí: cục bộ so với lưu trữ
Giá cả lưu trữ rất đơn giản. Đầu vào tốn $0.15 cho mỗi 1 triệu token và đầu ra tốn $0.50 cho mỗi 1 triệu. Một yêu cầu với 3.000 token đầu vào và 700 token đầu ra tốn 3.000 x $0.15 / 1 triệu = $0.00045 cho đầu vào cộng 700 x $0.50 / 1 triệu = $0.00035 cho đầu ra, tổng cộng là $0.0008. Mười nghìn yêu cầu như vậy tốn $8.00.
Suy luận cục bộ không có phí theo token, nhưng nó không miễn phí. Bạn trả tiền cho GPU hoặc máy chủ, điện và thời gian của chính bạn. Nếu bạn đã sở hữu một GPU đủ mạnh và mức sử dụng của bạn nhẹ, chi phí biên của một yêu cầu cục bộ thực sự gần bằng không, và đó là một lập luận mạnh mẽ để ở lại. Nếu bạn cần mua hoặc thuê phần cứng chỉ để chạy một mô hình có kích thước này, mười nghìn yêu cầu với giá $8,00 là một con số đáng so sánh với hóa đơn đó. Hãy kiểm tra giá hiện tại cho bất kỳ dịch vụ thuê hoặc API khác mà bạn đang xem xét, vì chúng thay đổi.
Xem trang giá cả để biết số tiền nạp và bonus. Tín dụng là trả trước, không bao giờ hết hạn, và các yêu cầu thất bại hoặc bị từ chối không bị tính phí. Không có gói không giới hạn miễn phí.
Khi nào nên ở lại cục bộ, và khi nào nên dùng lưu trữ
Ở lại cục bộ nếu
- Các prompt của bạn không bao giờ rời khỏi máy của bạn, vì lý do chính sách của riêng bạn.
- Bạn đã có GPU đủ bộ nhớ và mô hình bạn thích vừa với nó.
- Bạn làm việc ngoại tuyến hoặc trên kết nối không ổn định.
- Bạn muốn thử nhiều mô hình mở khác nhau và chuyển đổi giữa chúng hàng ngày.
Hãy dùng dịch vụ lưu trữ nếu
- Bạn không sở hữu phần cứng phù hợp, hoặc bạn không muốn nó bận rộn trong khi bạn làm việc.
- Bạn cần cùng một endpoint từ nhiều thiết bị hoặc từ một ứng dụng đã triển khai.
- Bạn muốn một ngữ cảnh dài lên đến 100.000 token mà không cần tinh chỉnh cài đặt bộ nhớ.
- Lượng sử dụng của bạn theo dạng bùng nổ, vì vậy trả tiền theo token hiệu quả hơn là trả tiền cho phần cứng nhàn rỗi.
Nhiều người làm cả hai. Một mô hình cục bộ xử lý các bản nháp nhanh chóng, riêng tư, và endpoint lưu trữ xử lý các phiên làm việc nặng. Vì cả hai đều sử dụng định dạng OpenAI, mã ứng dụng vẫn giữ nguyên và chỉ có base URL là khác nhau.
Về quyền riêng tư cho phía lưu trữ, các prompt không được sử dụng để huấn luyện. Đây là tuyên bố chỉ dành cho dịch vụ này, và bạn nên đọc trang giá cả và điều khoản trước khi gửi bất kỳ dữ liệu nhạy cảm nào.
Hướng dẫn khác
Hỏi đáp
API lưu trữ có phải là giải pháp thay thế trực tiếp cho Ollama không?
Đối với các ứng dụng sử dụng định dạng chat OpenAI, có: thay đổi base URL, khóa và model ID. Bất cứ thứ gì phụ thuộc vào việc kéo hoặc quản lý các tệp mô hình cục bộ đều không có cách tương đương, vì máy chủ chạy một mô hình cho bạn.
API chạy mô hình nào?
Một mô hình trọng số mở, do một nhà cung cấp độc lập chạy và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Bạn chọn nó bằng model ID uncensored. Đây không phải là API chính thức của nhà cung cấp.
Phương thức thanh toán nào hoạt động?
Trang web này chỉ chấp nhận tiền mã hóa, sử dụng USDT trên TRC20 hoặc USDC trên Base. Nạp tiền là bất kỳ số nguyên nào từ $20 đến $500.
Có gói miễn phí không?
Có một tín dụng dùng thử một lần trị giá $0.50, được nhận chỉ với một cú nhấp chuột sau khi đăng ký, có hiệu lực trong 7 ngày. Ngoài ra, bạn trả tiền theo token từ tín dụng trả trước.
