ทางเลือกซอฟต์แวร์ Ollama: API แบบโฮสต์ที่ไม่มีการเซ็นเซอร์

คำตอบแบบสั้น

หากคุณกำลังมองหา ทางเลือกซอฟต์แวร์ Ollama คุณมักอยู่ในสถานการณ์หนึ่งในสามสถานการณ์ คุณต้องการ local runner อื่นที่มี interface ที่ดีกว่า คุณต้องการสิ่งที่ขยายขนาดได้เกินกว่าหนึ่งเครื่อง หรือคุณต้องการหยุดจัดการฮาร์ดแวร์เลย สถานการณ์แต่ละอย่างชี้ไปยังเครื่องมือที่แตกต่างกัน

สำหรับแอปเดสก์ท็อปที่มี model browser LM Studio เป็นตัวเลือกทั่วไป สำหรับการควบคุมการ quantization และหน่วยความจำสูงสุด llama.cpp เป็นโปรเจกต์ที่ runner อื่นๆ ส่วนใหญ่สร้างรอบ สำหรับผู้ใช้พร้อมกันจำนวนมากบนเซิร์ฟเวอร์ GPU vLLM ออกแบบมาสำหรับสิ่งนั้น และหากคุณไม่ต้องการเป็นเจ้าของ GPU API ที่เข้ากันได้กับ OpenAI แบบโฮสต์จะตัดปัญหาฮาร์ดแวร์ออกเลย เว็บไซต์นี้เสนอสิ่งสุดท้ายนั้น โดยมีโมเดลหนึ่งตัว uncensored และไม่มีข้อปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย

สิ่งที่คุณได้จาก Ollama และจุดที่ผู้คนติดขัด

Ollama ดาวน์โหลดโมเดลแบบเปิดน้ำหนัก ควอนไทซ์อย่างเหมาะสม และให้บริการบนเครื่องของคุณผ่าน API HTTP ขนาดเล็กแบบท้องถิ่น นอกจากนี้ยังเปิดเผยเอนด์พอยต์รูปแบบ OpenAI ซึ่งเป็นเหตุผลที่หน้าเว็บแชทจำนวนมากสามารถทำงานร่วมกับมันได้ สำหรับการใช้งานทดลองบนแล็ปท็อปที่ยากจะเอาชนะ

ความฝืดเคืองปรากฏขึ้นในภายหลัง โมเดลที่พอดีกับ VRAM 8 GB เป็นโมเดลขนาดเล็ก และโมเดลขนาดเล็กเขียนฉากยาวที่เชื่อมโยงกันน้อยกว่าและปฏิบัติตามคำแนะนำที่ซับซ้อนได้น้อยลง โมเดลที่ใหญ่กว่าต้องการหน่วยความจำมากกว่าที่ GPU ผู้บริโภคส่วนใหญ่มี การรันโมเดลยังผูกเครื่องไว้: พัดลมหมุน GPU กำลังทำงาน และเกมหรือเรนเดอร์ของคุณเองแข่งขันสำหรับหน่วยความจำเดียวกัน หากคุณต้องการโมเดลเดียวกันบนโทรศัพท์ของคุณ บนคอมพิวเตอร์เครื่องที่สอง หรือภายในแอปของเพื่อน คุณต้องเปิดเผย home network ของคุณ ซึ่งเป็นการจัดการด้านความปลอดภัยในตัวของมันเอง

สิ่งเหล่านี้ไม่ได้ทำให้การอนุมานแบบติดตั้งเองเป็นแนวคิดที่ไม่ดี มันหมายความว่าคำถามที่เหมาะสมไม่ใช่ว่าเครื่องมือใดดีที่สุด แต่คุณมีปัญหาอะไร

ทางเลือกแบบติดตั้งเองโดยสังเขป

ตารางยึดติดกับสิ่งที่เป็นที่รู้จักโดยสาธารณะเกี่ยวกับแต่ละโปรเจกต์ ตรวจสอบเว็บไซต์ของโปรเจกต์แต่ละแห่งสำหรับฟีเจอร์ปัจจุบัน

ตัวเลือก	สิ่งที่มันคือ	ดีที่สุดเมื่อ	ต้นทุนหลัก
LM Studio	แอปพลิเคชันเดสก์ท็อปสำหรับดาวน์โหลดและแชทกับโมเดลแบบติดตั้งเอง	คุณต้องการ GUI และไม่ต้องทำงานผ่านเทอร์มินัล	การ์ดจอหรือ RAM ของคุณเอง
llama.cpp	เครื่องยนต์อนุมานและเซิร์ฟเวอร์ C/C++ สำหรับโมเดลที่ผ่านการควอนไทซ์แล้ว	คุณต้องการควบคุมหน่วยความจำและการควอนไทซ์อย่างละเอียด	เวลาของคุณสำหรับการตั้งค่าแฟลกและการสร้าง
vLLM	เซิร์ฟเวอร์อนุมานที่มุ่งให้บริการคำขอจำนวนมากบนการ์ดจอ	คุณรันเซิร์ฟเวอร์หลายผู้ใช้ของคุณเอง	ค่าเช่าหรือซื้อเซิร์ฟเวอร์ GPU
text-generation-webui	อินเทอร์เฟซเว็บที่โหลดโมเดลผ่านแบ็กเอนด์หลายตัว	คุณชอบปรับตั้งค่าตัวสุ่มตัวอย่างในเบราว์เซอร์	ฮาร์ดแวร์ของคุณเอง
API แบบโฮสต์ (เว็บไซต์นี้)	เอนด์พอยต์ที่เข้ากันได้กับ OpenAI โมเดลเดียว จ่ายตามโทเคน	คุณไม่ต้องการฮาร์ดแวร์และใช้ไคลเอนต์ OpenAI ใดๆ ได้	โทเคนที่คุณใช้งานจริง

เครื่องมือส่วนใหญ่ที่ทำงานในเครื่องสามารถแสดงเซิร์ฟเวอร์ที่เข้ากันได้กับ OpenAI ได้เช่นกัน ดังนั้นไคลเอนต์ที่เขียนขึ้นสำหรับเครื่องมือหนึ่งๆ จึงสามารถย้ายไปใช้อีกเครื่องมือหนึ่งได้โดยการเปลี่ยน URL ความสามารถในการย้ายไปมาได้นี้ทำให้การเปรียบเทียบมีความเสี่ยงต่ำ

วิธีที่ API แบบโฮสต์แตกต่างกัน

API แบบโฮสต์เปลี่ยนผู้รับผิดชอบงาน คุณส่งคำขอ ผู้ให้บริการอิสระจะรันโมเดลแบบเปิดน้ำหนักที่ปรับแต่งมาให้ตอบโดยไม่มีการปฏิเสธเนื้อหา และคุณจะได้รับโทเคนกลับคืนมา ไม่ต้องดาวน์โหลด ไม่มีงบประมาณ VRAM และไม่ต้องอัปเดตไดรเวอร์

อินเทอร์เฟซเป็นแบบมาตรฐาน Base URL คือ https://api.ollamansfw.com/v1, รหัสโมเดลคือ uncensored, และการตรวจสอบสิทธิ์คือคีย์ Bearer มาตรฐาน วิธีการสองวิธีคือ POST /v1/chat/completions และ GET /v1/models การสตรีม การเรียกใช้เครื่องมือ และโหมด JSON ทำงานเหมือนกับใน SDK ของ OpenAI หน้าต่างบริบทคือ 100,000 โทเคน ทั้งพรอมต์และการสร้างข้อความรวมกัน

คุ้มค่าที่จะชัดเจนเกี่ยวกับสิ่งนี้ไม่ใช่ เป็นโมเดลหนึ่งตัวที่ดำเนินการโดยผู้ให้บริการอิสระ ไม่ใช่ API ทางการของโมเดล vendor ใด ๆ และไม่ใช่ router ข้ามหลายตัว จัดการเฉพาะข้อความเท่านั้น ดังนั้นจึงไม่มีการสร้างภาพ ไม่มีการ embeddings และไม่มีการ fine-tuning กฎแข็งข้อหนึ่งใช้: ไม่มีเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์

การเปลี่ยนภายในห้านาที

หากแอปของคุณสื่อสารกับเอนด์พอยต์สไตล์ OpenAI อยู่แล้ว การย้ายคือการเปลี่ยนแปลงการกำหนดค่า นี่คือโค้ดทั้งหมดใน Python ด้วย SDK อย่างเป็นทางการ

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.ollamansfw.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the plot of a heist story in three lines."}],
)
print(resp.choices[0].message.content)

และคำขอเดียวกันด้วย curl ซึ่งมีประโยชน์สำหรับการตรวจสอบว่าคีย์ของคุณใช้งานได้ก่อนที่คุณจะแตะต้องโค้ดแอปพลิเคชันใดๆ

Copycurl https://api.ollamansfw.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Hello"}]}'

บัญชีใหม่สามารถรับ $0.50 ของเครดิตทดลองใช้ด้วยคลิกเดียวบน หน้าคีย์ API ไม่ต้องการการชำระเงิน มีอายุ 7 วัน และจำกัดหนึ่งต่อคน การลงทะเบียนใช้ Google หรืออีเมลและรหัสผ่าน คู่มือเริ่มต้น ครอบคลุมขั้นตอนเดียวกันกับไคลเอนต์มากขึ้น

หากคำขอล้มเหลวในการพยายามครั้งแรก หน้า หน้าข้อผิดพลาดทั่วไป จะระบุสาเหตุทั่วไป เช่น การขาด /v1 ใน URL พื้นฐาน

ต้นทุน: เครื่องในเครื่องเทียบกับแบบโฮสต์

ราคาแบบโฮสต์นั้นเรียบง่าย ราคาอินพุตคือ $0.15 ต่อ 1M โทเคน และราคาเอาต์พุตคือ $0.50 ต่อ 1M โทเคน คำขอที่มีโทเคนอินพุต 3,000 และโทเคนเอาต์พุต 700 มีต้นทุนอินพุต 3,000 x $0.15 / 1M = $0.00045 บวกต้นทุนเอาต์พุต 700 x $0.50 / 1M = $0.00035 รวมเป็น $0.0008 คำขอจำนวน 10,000 คำขอจะมีต้นทุนรวม $8.00

การอนุมานในเครื่อง ไม่มีค่าธรรมเนียมต่อโทเคน แต่ไม่ใช่ฟรี คุณจ่ายสำหรับ GPU หรือเซิร์ฟเวอร์ ไฟฟ้า และเวลาของคุณเอง หากคุณเป็นเจ้าของ GPU ที่สามารถทำงานได้และการใช้งานของคุณเบา ค่าส่วนเพิ่มของคำขอในเครื่องจริงๆ แล้วใกล้ศูนย์ และนั่นเป็นข้อโต้แย้งที่แข็งแกร่งสำหรับการคงอยู่ หากคุณต้องซื้อหรือเช่าฮาร์ดแวร์เพียงเพื่อรันโมเดลขนาดนี้ การ request หนึ่งหมื่นครั้งในราคา $8.00 เป็นตัวเลขที่คุ้มค่าที่จะเปรียบเทียบกับบิลนั้น ตรวจสอบราคาปัจจุบันสำหรับการเช่าหรือ API อื่นๆ ที่คุณกำลังพิจารณา เพราะพวกเขาเปลี่ยนแปลง

ดูหน้า หน้าราคา สำหรับจำนวนเงินเติมเงินและโบนัส เครดิตแบบเติมเงินล่วงหน้าจะไม่หมดอายุ และคำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน ไม่มีระดับฟรีแบบไม่จำกัด

เมื่อใดควรอยู่ในเครื่อง และเมื่อใดควรไปแบบโฮสต์

อยู่ในเครื่องถ้า

• พรอมต์ของคุณต้องไม่ออกจากเครื่องของคุณ ด้วยเหตุผลของนโยบายของคุณเอง
• คุณมี GPU ที่มีหน่วยความจำเพียงพออยู่แล้วและโมเดลที่คุณชอบพอดีกับมัน
• คุณทำงานแบบออฟไลน์หรือบนการเชื่อมต่อที่ไม่เสถียร
• คุณต้องการลองโมเดลแบบเปิดหลายแบบและสลับระหว่างโมเดลเหล่านั้นทุกวัน

ไปแบบโฮสต์หาก

• คุณไม่มีฮาร์ดแวร์ที่เหมาะสม หรือคุณไม่ต้องการให้มันทำงานอยู่ขณะที่คุณทำงาน
• คุณต้องการเอนด์พอยต์เดียวกันจากอุปกรณ์หลายเครื่องหรือจากแอปที่ปรับใช้
• คุณต้องการ context ยาวถึง 100,000 โทเคน โดยไม่ต้องปรับ memory settings
• การใช้งานของคุณมีลักษณะเป็นช่วงๆ ดังนั้นการจ่ายตามโทเคนจึงคุ้มค่ากว่าการจ่ายสำหรับฮาร์ดแวร์ที่รอใช้งาน

หลายคนใช้ทั้งสองวิธี โมเดลแบบเปิดน้ำหนักในเครื่องจัดการร่างข้อความส่วนตัวที่รวดเร็ว และเอนด์พอยต์แบบโฮสต์จัดการเซสชันที่ใช้ทรัพยากรหนัก เนื่องจากทั้งสองอย่างใช้รูปแบบ OpenAI โค้ดแอปพลิเคชันจึงเหมือนกันทุกประการ และเปลี่ยนเพียง Base URL เท่านั้น

เกี่ยวกับ privacy สำหรับด้าน hosted prompts ไม่ถูกใช้สำหรับการ training นั่นเป็นข้อความเกี่ยวกับบริการนี้เท่านั้น และคุณควรอ่าน หน้าราคา และหน้าข้อกำหนดก่อนส่งข้อมูลใดๆ ที่ละเอียดอ่อน

คู่มือเพิ่มเติม

• วิธีใช้ Ollama กับ GUI (และตัวเลือกสำรองแบบโฮสต์)
• ราคา API Ollamansfw: อธิบายต้นทุนโทเคน
• คู่มือ API LLM แบบไม่เซ็นเซอร์