ไทยThaiGPT+
EN
ลงทะเบียน

การกำหนดเส้นทางอัจฉริยะ

โมเดลที่ถูกที่สุดที่ผ่านเกณฑ์

ตัวกำหนดเส้นทางคือความต่างระหว่างแพลตฟอร์ม AI กับใบเรียกเก็บเงินค่า AI ThaiGPT+ จำแนกประเภทของทุกคำขอ ให้คะแนนเทียบกับสิ่งที่โมเดลแต่ละตัวในตระกูลทำได้จริง แล้วส่งไปยังโมเดลที่เล็กที่สุดที่จะตอบได้ถูก จากนั้นตรวจคำตอบ และยกระดับขึ้นถ้าตอบไม่ผ่าน หน้านี้อธิบายว่าการตัดสินใจนั้นเกิดขึ้นอย่างไร และคุณบังคับอะไรได้บ้าง

สี่การตัดสินใจ ก่อนสร้างโทเคนแรก

1

โมเดลไหน

Lite สำหรับการเรียบเรียงใหม่ Base สำหรับงานส่วนใหญ่ Pro เมื่อบริบทยาวเกิน Vision เมื่อมีรูปภาพ Voice เมื่อมีเสียง และ Reason เมื่อต้องมีคนตรวจสอบลำดับเหตุผล

2

ทำงานที่ไหน

บนเครื่องถ้าเครื่องทำได้ ในประเทศถ้าเครื่องทำไม่ได้ และไม่ทำที่ไหนเลยถ้าพื้นที่ทำงานตรึงภูมิภาคไว้และคำขอนั้นจะต้องออกนอกภูมิภาค

3

ราคาเท่าไร

ตัวกำหนดเส้นทางรู้ราคาของทุกโมเดลเป็นเงินบาท และรู้ยอดคงเหลือในบัญชี คำขอราคาถูกจะไม่ถูกส่งไปยังโมเดลราคาแพงเพียงเพื่อความสบายใจ

4

ควรยกระดับหรือไม่

คำตอบแรกถูกตรวจเทียบกับคำขอ ถ้าไม่ผ่านจะถูกส่งต่อขึ้นไปและระบุไว้ในการตอบกลับ คุณเห็นว่ามันเกิดขึ้น และเห็นว่าราคาเท่าไร

มันอ่านอะไรบ้าง

แปดสัญญาณ โดยไม่ต้องให้คุณอธิบายคำขอของตัวเองเลย ทั้งแปดปรากฏในการตอบกลับ การตัดสินใจกำหนดเส้นทางจึงเป็นสิ่งที่คุณโต้แย้งได้ ไม่ใช่สิ่งที่เกิดขึ้นกับคุณโดยไม่รู้ตัว

task

ประเภทงาน

ร่าง สรุป แปล สกัดข้อมูล จำแนก ให้เหตุผล ระบบอนุมานเอง และคุณแทนที่ได้

dialect

อักษรและภาษาถิ่น

ภาษากลาง อีสาน คำเมือง ใต้ ไทยปนอังกฤษ หรือภาษาไทยที่เขียนด้วยอักษรโรมัน

modality

รูปแบบข้อมูล

ข้อความ รูปภาพ PDF ที่สแกนมา เสียง รูปภาพในคำขอตัดโมเดลที่รับแต่ข้อความออกทั้งหมด

tokens

ความยาวบริบท

วัดด้วยโทเคนไนเซอร์ภาษาไทย ไม่ใช่ประมาณจากจำนวนตัวอักษร ซึ่งเป็นจุดที่แพลตฟอร์มต่างชาติคำนวณผิด

pdpa

ความอ่อนไหวของข้อมูล

เลขประจำตัวประชาชน เวชระเบียน เลขประจำตัวผู้เสียภาษี ตรวจจับในเครื่อง และตรึงเส้นทางไว้ก่อนที่คำขอจะถูกส่งออกไปที่ใด

network

การเชื่อมต่อ

ออฟไลน์ ประหยัดข้อมูล หรือเต็มรูปแบบ ตัวกำหนดเส้นทางลดขนาดโมเดล ไม่ใช่ลดคุณภาพคำตอบ

baht

งบประมาณ

ยอดเติมเงินคงเหลือเป็นบาท และเพดานต่อคำขอที่บัญชีตั้งไว้

ttft

ข้อกำหนดด้านเวลาตอบสนอง

คำตอบด้วยเสียงต้องได้โทเคนแรกภายในไม่ถึงหนึ่งวินาที งานประมวลผลกลางคืนไม่ต้อง

ตารางการกำหนดเส้นทาง

เป็นตัวอย่างประกอบ ตารางจริงถูกส่งมาจากแพลตฟอร์มและเปลี่ยนเมื่อมีโมเดลใหม่เพิ่มเข้ามา ซึ่งคือเหตุผลทั้งหมดที่ไม่ควรระบุชื่อโมเดลไว้ในไคลเอนต์ของคุณ

คำขอส่งไปที่เพราะอะไร
“เรียบเรียงข้อความนี้ใหม่ให้สุภาพ”ThaiLLM-Lite · บนเครื่องสั้น ไม่ต้องค้นคืน ไม่ต้องใช้เครือข่าย
“สรุปหนังสือเวียน 6 หน้านี้”ThaiLLM-Baseพอดีกับบริบท และต้องมีแหล่งอ้างอิง
“ข้อไหนเปลี่ยนไปบ้างใน 400 หน้านี้”ThaiLLM-Proบริบทยาวเกินกว่าที่ Base รับได้
[รูปถ่ายแบบฟอร์มที่ประทับตรา]ThaiLLM-Vision → Baseอ่านภาพก่อน แล้วจึงให้เหตุผลจากสิ่งที่อ่านได้
[เสียงพูด พูดเป็นภาษาอีสาน]ThaiLLM-Voice → Baseตรวจพบภาษาถิ่น ถอดเสียง แล้วตอบด้วยภาษาถิ่นที่ได้ยิน
“การจัดซื้อนี้เข้าเกณฑ์หรือไม่”ThaiLLM-Reasonต้องมีคนตรวจสอบได้ทีละขั้น
อะไรก็ตามที่มีเลขประจำตัวประชาชนบนเครื่อง หรือปฏิเสธนโยบายของพื้นที่ทำงาน บังคับใช้ก่อนการส่งข้อมูล

เส้นทางที่มันได้รับอนุญาตให้ปฏิเสธ

ตัวกำหนดเส้นทางอื่น ๆ ทั้งหมดปรับให้เหมาะกับต้นทุนและเวลาตอบสนอง ตัวนี้มีแกนที่สาม และเป็นแกนที่หน่วยงานกำลังจ่ายเงินซื้อจริง ๆ พื้นที่ทำงานประกาศได้ว่าคำขอของตนจะไม่ออกนอก th-bkk-1 และตัวกำหนดเส้นทางจะคืนค่าความผิดพลาดกลับมา แทนที่จะแอบไปหาโมเดลที่อื่น การปฏิเสธคือคุณสมบัติ และเป็นรูปแบบเดียวของการกำหนดที่ตั้งข้อมูลที่อยู่รอดเมื่อเจอกับตัวกำหนดเส้นทาง

409 route_forbidden · workspace pinned to th-bkk-1

บันไดการยกระดับ

การยกระดับมองเห็นได้และคิดค่าใช้จ่ายตามที่ใช้จริง ไม่ใช่ตามอัตราของโมเดลบนสุด ถ้าตัวกำหนดเส้นทางตัดสินใจผิด คุณจะเห็นว่ามันผิด

ThaiLLM-Lite×1
ThaiLLM-Base×4
ThaiLLM-Pro×11
ThaiLLM-Reason×26

แต่ละขั้นจะเกิดขึ้นก็ต่อเมื่อคำตอบของขั้นก่อนหน้าไม่ผ่านการตรวจของตัวเอง

และคุณสั่งทับได้เสมอ

ส่งชื่อโมเดลมา แล้วตัวกำหนดเส้นทางจะหลีกทางให้ ส่งนโยบายมา แล้วมันจะทำตามนั้นแทน การกำหนดเส้นทางเป็นค่าตั้งต้น ไม่ใช่กรงขัง แต่ค่าตั้งต้นนั้นคือสิ่งที่ 81% ของการเรียกใช้ในรุ่นก่อนเปิดตัวใช้จริง

POST /v1/messages
{
  "model": "auto",                    // default: the router decides
  "route": {
    "region": "th-bkk-1",             // refuse rather than leave
    "max_baht": 0.75,                 // per-request ceiling
    "prefer": "cheapest_passing"      // or "fastest" | "best"
  }
}

// The decision comes back with the answer, every time:
// { "routed_to": "ThaiLLM-Base", "considered": ["Lite", "Base", "Pro"],
//   "reason": "context 4.1k > Lite 8k window at 0.62 confidence",
//   "escalated": false, "region": "th-bkk-1", "usage": { "baht": 0.11 } }

แหล่งอ้างอิง

เอกสารประกอบสำหรับอ่านเพิ่มเติมเกี่ยวกับโมเดลมัลติโมดัล จากเอกสารต้นทางและงานวิจัยที่วงการนี้สร้างขึ้นมาจาก เป็นลิงก์ภายนอก ไม่มีความเกี่ยวข้องกับ ThaiGPT+

arXiv 2406.18665RouteLLM: Learning to Route LLMs with Preference Data

ปี 2024 — การกำหนดเส้นทางระหว่างโมเดลที่แข็งแรงกับโมเดลที่อ่อนกว่า และประหยัดได้เท่าไร

arXiv 1701.06538Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer

ปี 2017 — การกำหนดเส้นทางภายในโมเดลแทนที่จะอยู่ข้างหน้าโมเดล และเป็นต้นตระกูลของแนวคิดนี้

CloudflareAI Gateway — Cloudflare documentation

เอกสารสำหรับใช้งานจริงในการวางชั้นกำหนดเส้นทางและแคชไว้หน้าโมเดล

IBMWhat is a multimodal LLM? — IBM

นิยามสั้นที่ชัดเจนที่สุดของโมเดลภาษาขนาดใหญ่แบบมัลติโมดัล และใช้ทำอะไร

หน้าแรก มัลติโมดัล

โครงการรุ่นก่อนเปิดตัว

เลือกวิธีเข้าร่วมของคุณ

เปิดรับสามกลุ่ม เลือกกลุ่มหนึ่งแล้วแบบฟอร์มด้านล่างจะถูกตั้งค่าให้ — เปลี่ยนได้ที่นั่น