Ollama सॉफ़्टवेयर विकल्प: होस्टेड बिना सेंसर API

संक्षिप्त उत्तर

यदि आप ollama सॉफ़्टवेयर विकल्पों की तलाश में हैं, तो आप आमतौर पर तीन स्थितियों में से किसी एक में हैं। आपको एक अलग स्थानीय रनर चाहिए जिसका इंटरफ़ेस बेहतर हो, आपको ऐसी चीज़ चाहिए जो एक वर्कस्टेशन से आगे स्केल कर सके, या आप बिल्कुल हार्डवेयर प्रबंधन बंद करना चाहते हैं। प्रत्येक स्थिति एक अलग टूल की ओर इशारा करती है।

मॉडल ब्राउज़र वाले एक डेस्कटॉप ऐप के लिए, LM Studio एक सामान्य विकल्प है। क्वांटीज़ेशन और मेमोरी पर अधिकतम नियंत्रण के लिए, llama.cpp वह प्रोजेक्ट है जिसके आसपास अन्य अधिकांश रनर बने हैं। GPU सर्वर पर कई समानांतर उपयोगकर्ताओं के लिए, vLLM उसी के लिए डिज़ाइन किया गया है। और यदि आप GPU खरीदना नहीं चाहते, तो एक होस्टेड OpenAI-कम्पैटिबल API पूरी हार्डवेर की समस्या को हटा देता है। यह साइट उनमें से अंतिम विकल्प प्रदान करती है, एक मॉडल के साथ, uncensored, और कानूनी वयस्क उपयोग के लिए कोई सामग्री अस्वीकृति नहीं।

Ollama आपको क्या देता है, और जहाँ लोग दीवार से टकराते हैं

Ollama ओपन-वेट मॉडल डाउनलोड करता है, उन्हें उचित रूप से क्वांटाइज़ करता है, और एक छोटे स्थानीय HTTP API के माध्यम से आपके मशीन पर उन्हें सर्व करता है। यह एक OpenAI-शैली एंडपॉइंट भी प्रकट करता है, इसलिए इतने सारे चैट फ्रंट एंड इसे समझ सकते हैं। एक लैपटॉप प्रयोग के लिए जो बेहतर नहीं हो सकता।

झंझट बाद में सामने आता है। 8 GB VRAM में फिट होने वाला एक मॉडल एक छोटा मॉडल है, और छोटे मॉडल कम संगत लंबे दृश्य लिखते हैं और जटिल निर्देशों का पालन कम विश्वसनीय तरीके से करते हैं। बड़े मॉडलों को अधिक मेमोरी की आवश्यकता होती है, जो अधिकांश उपभोक्ता GPU में नहीं होती। एक मॉडल चलाने से मशीन भी व्यस्त रहती है: फैन चलते हैं, GPU व्यस्त होता है, और आपकी अपनी गेम्स या रेंडर एक ही मेमोरी के लिए प्रतिस्पर्धा करते हैं। यदि आप उसी मॉडल को अपने फोन पर, दूसरे कंप्यूटर पर, या किसी मित्र के ऐप के अंदर चाहते हैं, तो आपको अब अपने होम नेटवर्क को एक्सपोज़ करना होगा, जो अपनी एक सुरक्षा कार्य है।

इनमें से कोई भी बात स्थानीय इनफरेंस को एक बुरा विचार नहीं बनाती। इसका मतलब है कि सही प्रश्न यह नहीं है कि कौन सा टूल सबसे अच्छा है, बल्कि यह है कि आपकी समस्या क्या है।

स्थानीय विकल्प एक नज़र में

यह तालिका प्रत्येक प्रोजेक्ट के बारे में सार्वजनिक रूप से ज्ञात तथ्यों तक सीमित है। वर्तमान विशेषताओं के लिए प्रत्येक प्रोजेक्ट की साइट जाँचें।

विकल्प	यह क्या है	जब सबसे अच्छा है	मुख्य लागत
LM Studio	स्थानीय मॉडल डाउनलोड और चैट करने के लिए डेस्कटॉप ऐप	आपको GUI चाहिए और टर्मिनल काम नहीं	अपना GPU या RAM
llama.cpp	क्वांटाइज़्ड मॉडल के लिए C/C++ इनफरेंस इंजन और सर्वर	आप मेमोरी और क्वांटीज़ेशन पर बारीक नियंत्रण चाहते हैं	फ्लैग और बिल्ड में आपका समय
vLLM	GPU पर कई अनुरोधों को सर्व करने के लिए उद्देशित इन्फरेंस सर्वर	आप अपना मल्टी-यूजर सर्वर चलाते हैं	GPU सर्वर किराया या खरीद
text-generation-webui	कई बैक एंड के माध्यम से मॉडल लोड करने वाला वेब इंटरफ़ेस	आप ब्राउज़र में सैम्पलर सेटिंग्स ट्वीक करना पसंद करते हैं	अपना हार्डवेयर
होस्टेड API (यह साइट)	OpenAI-कम्पैटिबल एंडपॉइंट, एक मॉडल, टोकन के हिसाब से भुगतान	आपको कोई हार्डवेयर नहीं चाहिए और किसी भी OpenAI क्लाइंट की जरूरत है	वे टोकन जो आप वास्तव में उपयोग करते हैं

स्थानीय उपकरणों में से अधिकांश एक OpenAI-कम्पैटिबल सर्वर भी प्रस्तुत कर सकते हैं, इसलिए एक क्लाइंट जो उनमें से किसी एक के लिए लिखा गया है, आमतौर पर URL बदलकर दूसरे पर चला जाता है। वह पोर्टेबिलिटी ही तुलना को कम जोखिम वाली बनाती है।

होस्टेड API कैसे अलग है

होस्टेड API यह बदल देता है कि काम किसके पास है। आप एक अनुरोध भेजते हैं, एक स्वतंत्र प्रदाता एक ओपन-वेट मॉडल चलाता है जिसे बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून किया गया है, और आपको टोकन वापस मिलते हैं। कुछ भी डाउनलोड करने की जरूरत नहीं है, VRAM बजट नहीं है, और ड्राइवर अपडेट करने की जरूरत नहीं है।

इंटरफ़ेस मानक है। बेस URL https://api.ollamansfw.com/v1 है, मॉडल ID uncensored है, और प्रमाणीकरण एक सामान्य बियरर कुंजी है। दो विधियाँ POST /v1/chat/completions और GET /v1/models हैं। स्ट्रीमिंग, फ़ंक्शन कॉलिंग और JSON मोड OpenAI SDKs में जैसे काम करते हैं, वैसे ही काम करते हैं। कॉन्टेक्स्ट विंडो 100,000 टोकन की है, प्रॉम्प्ट और पूर्णता दोनों मिलाकर।

यह क्या नहीं है, यह स्पष्ट करना उचित है। यह एक मॉडल है, जो एक स्वतंत्र प्रदाता द्वारा चलाया जाता है। यह किसी मॉडल विक्रेता की आधिकारिक API नहीं है और न ही यह कई मॉडल के बीच एक राउटर है। यह केवल पाठ संभालता है, इसलिए कोई इमेज जनरेशन नहीं, कोई एम्बेडिंग नहीं और कोई फाइन-ट्यूनिंग नहीं है। एक कठोर नियम लागू होता है: नाबालिगों से संबंधित यौन सामग्री नहीं।

पाँच मिनट में स्विच करें

यदि आपका एप्लिकेशन पहले से ही एक OpenAI-शैली एंडपॉइंट से बात करता है, तो यह स्थानांतरण एक कॉन्फ़िगरेशन बदलाव है। यहाँ आधिकारिक SDK के साथ पूरा कोड Python में दिया गया है।

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.ollamansfw.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the plot of a heist story in three lines."}],
)
print(resp.choices[0].message.content)

और curl के साथ वही कॉल, जो किसी भी एप्लिकेशन कोड को छूने से पहले यह जाँचने के लिए उपयोगी है कि आपकी API कुंजी काम कर रही है या नहीं।

Copycurl https://api.ollamansfw.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Hello"}]}'

नए खातों में API कुंजी पृष्ठ पर एक क्लिक से $0.50 का मुफ़्त ट्रायल क्रेडिट प्राप्त कर सकते हैं। इसके लिए भुगतान की आवश्यकता नहीं है, यह 7 दिनों तक मान्य रहता है, और यह प्रति व्यक्ति एक ही सीमित है। साइन-अप Google या ईमेल और पासवर्ड से होता है। क्विकस्टार्ट में समान चरण अधिक क्लाइंट्स के साथ दिए गए हैं।

यदि आपका पहला अनुरोध विफल हो जाता है, तो सामान्य त्रुटियाँ पृष्ठ पर आमतौर पर निम्नलिखित कारणों की सूची दी गई है, जैसे कि बेस URL में /v1 की कमी।

लागत: स्थानीय बनाम होस्टेड

होस्टेड मूल्य निर्धारण सरल है। इनपुट की लागत 1M टोकन के लिए $0.15 है और आउटपुट की लागत 1M के लिए $0.50 है। 3,000 इनपुट टोकन और 700 आउटपुट टोकन वाले एक अनुरोध की लागत इनपुट के लिए 3,000 x $0.15 / 1M = $0.00045 और आउटपुट के लिए 700 x $0.50 / 1M = $0.00035 है, इसलिए कुल मिलाकर $0.0008। उनमें से दस हजार अनुरोध $8.00 आते हैं।

स्थानीय इनफरेंस में प्रति टोकन शुल्क नहीं है, लेकिन यह मुफ़्त नहीं है। आप GPU या सर्वर के लिए, बिजली के लिए, और अपने समय के लिए भुगतान करते हैं। यदि आपके पास पहले से एक सक्षम GPU है और आपका उपयोग हल्का है, तो एक स्थानीय अनुरोध की सीमांत लागत वास्तव में शून्य के करीब है, और यह वहीं रहने के लिए एक मजबूत तर्क है। यदि आपको इस आकार के मॉडल को चलाने के लिए हार्डवेयर खरीदना या किराए पर लेना पड़ता है, तो $8.00 के दस हजार अनुरोध एक संख्या है जिसकी तुलना उस बिल से करने के लायक है। किसी भी किराए या अन्य API के लिए वर्तमान कीमतें जाँचें जिसे आप विचार कर रहे हैं, क्योंकि वे बदल जाती हैं।

टॉप-अप राशि और बोनस के लिए मूल्य निर्धारण पृष्ठ देखें। क्रेडिट प्रीपेड है, कभी समाप्त नहीं होता है, और विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है। कोई मुफ़्त अनलिमिटेड टियर नहीं है।

कब स्थानीय रहें, और कब होस्टेड जाएं

लोकल रहें यदि

• आपके प्रॉम्प्ट अपनी नीति के कारण कभी भी आपकी मशीन से बाहर नहीं जाने चाहिए।
• आपके पास पहले से एक GPU है जिसमें पर्याप्त मेमोरी है और आपका पसंदीदा मॉडल उस पर फिट बैठता है।
• आप ऑफ़लाइन काम करते हैं या अस्थिर कनेक्शन पर।
• आप कई अलग-अलग ओपन मॉडल आज़माना चाहते हैं और उन्हें दैनिक आधार पर बदलना चाहते हैं।

होस्टेड जाएं यदि

• आपके पास उपयुक्त हार्डवेयर नहीं है, या आप नहीं चाहते कि यह काम करते समय व्यस्त रहे।
• आपको कई डिवाइसों या एक तैनात एप्लिकेशन से समान एंडपॉइंट की जरूरत है।
• आपको मेमोरी सेटिंग्स को ट्यून किए बिना 100,000 टोकन तक लंबे संदर्क्ष की आवश्यकता है।
• आपका उपयोग बर्स्टी है, इसलिए टोकन के लिए भुगतान करना आइडल हार्डवेयर के लिए भुगतान करने से बेहतर है।

कई लोग दोनों करते हैं। एक स्थानीय मॉडल तेज़ निजी ड्राफ्ट्स संभालता है, और होस्टेड एंडपॉइंट भारी सत्रों को संभालता है। क्योंकि दोनों OpenAI प्रारूप का समर्थन करते हैं, एप्लिकेशन कोड समान रहता है और केवल बेस URL अलग होता है।

होस्टेड साइड की गोपनीयता के लिए, प्रॉम्प्ट्स को ट्रेनिंग के लिए उपयोग नहीं किया जाता है। यह केवल इस सेवा के बारे में एक बयान है, और कुछ भी संवेदनशील भेजने से पहले आपको मूल्य निर्धारण और नियम पृष्ठ पढ़ने चाहिए।

अधिक गाइड

• GUI (और होस्टेड फॉलबैक) के साथ Ollama का उपयोग कैसे करें
• Ollamansfw API प्राइसिंग: टोकन लागत की व्याख्या
• अनसेंसर्ड LLM API गाइड