การ์ด Jev 1.13

ราคา บริบท และขีดจำกัดอัตราการเรียก

อินพุตราคา $42 ต่อหนึ่งพันล้านโทเค็น หรือ $0.042 ต่อล้านโทเค็น โทเค็นเอาต์พุตไม่มีค่าใช้จ่าย คำขอที่เกินขีดจำกัดตามเอกสาร 250,000 โทเค็นต่อวินาทีหรือ 1,200 คำขอต่อนาทีจะได้รับ 429 Too Many Requests SDK ทางการจะลองใหม่โดยเพิ่มช่วงหน่วงและทำตาม retry-after หากมี TypeSafe เตือนว่าขีดจำกัดกำลังปรับแบบไดนามิกในช่วงที่ความต้องการสูงและมีการจัดหาทรัพยากร GPU เพิ่ม จึงอาจเปลี่ยนได้โดยไม่แจ้งล่วงหน้า แผนแบบกำหนดเองและองค์กรสามารถขอเพิ่มเพดานได้ทาง sales@typesafe.ai

แต่ละคำขอรองรับบริบท 64k โทเค็น และมีงบอีก 32k โทเค็นสำหรับ state รวมกับคำถามที่ยาวที่สุด Jev รับ state หนึ่งครั้งแล้วประเมินทุกคำถามเทียบกับข้อมูลนั้นพร้อมกัน ดังนั้นหน้าต่าง 64k จึงครอบคลุม state รวมกับคำถามทั้งหมด เมื่อ state มีรายละเอียดที่ไม่เกี่ยวข้องเพิ่มขึ้น ความแม่นยำจะลดลง โดยโหมดความล้มเหลวนี้ระบุไว้ในหน้า jaggedness ควรรวมคำถามสั้นๆ จำนวนมากด้วย speculative fan-out แทนการยัดคลังข้อมูลทั้งก้อนลงในช่องข้อมูลเดียว

อินพุตรองรับเฉพาะข้อความ ได้แก่ สตริง ออบเจ็กต์ JSON หรืออาร์เรย์ของค่าข้อความ ไม่รองรับภาพ เสียง หรือวิดีโอ ให้แปลงข้อมูลที่ไม่ใช่ข้อความเป็นฟิลด์ก่อนเรียกใช้ ภาษาอังกฤษเป็นภาษาหลักที่ใช้ฝึก ภาษาอื่นรวมถึง CJK รองรับด้วยความแม่นยำที่ต่ำกว่า จึงควรวัดความเชื่อมั่นก่อนทำคิวภาษาที่ไม่ใช่อังกฤษให้เป็นอัตโนมัติ

นามแฝงและการแสดงรายชื่อโมเดล

นามแฝงคือชื่อโมเดลที่ชี้ไปยัง ID ระบุรุ่น ส่งชื่อนี้ในฟิลด์ model ได้เหมือนชื่ออื่น jev-latest หมายถึงรุ่นทางการเสถียรล่าสุด jev-preview หมายถึงรุ่นล่าสุดไม่ว่าจะเป็นทางการหรือไม่ และจะล้ำหน้า jev-latest เมื่อมีรุ่นพรีวิว ขณะนี้ทั้งสองชื่อชี้ไปที่ jev-1.13.0

นามแฝงจะเปลี่ยนปลายทางเมื่อออกรุ่นใหม่ ดังนั้นคำตอบที่อยู่หลังชื่อนั้นอาจเปลี่ยนโดยที่โค้ดฝั่งคุณไม่เปลี่ยน ฟิลด์ model ในการตอบกลับจะรายงาน ID ระบุรุ่นที่ตอบจริง ให้บันทึก ID นั้น หากปรับเกณฑ์ความเชื่อมั่นจาก jev-1.13.0 ไว้แล้ว ให้ส่ง jev-1.13.0 ต่อไปจนกว่าจะปรับเกณฑ์ใหม่

GET /v1/models ส่งคืนชื่อที่บัญชีของคุณใช้เรียกได้ พร้อมคำอธิบายและวันที่เผยแพร่ ขณะนี้รายการดังกล่าวแสดงนามแฝง ระบบยอมรับ ID ระบุรุ่นอย่าง jev-1.13.0 ในฟิลด์ model ไม่ว่าจะปรากฏในรายการนั้นหรือไม่

การจัดการข้อมูลและการปรับแต่ง

Jev ไม่ได้ไฟน์จูนหรือปรับด้วย LoRA จากข้อมูลลูกค้า และไม่ได้ฝึกด้วยคำขอหรือการตอบกลับของลูกค้า ทุกบัญชีใช้ค่าน้ำหนัก RLCD ชุดเดียวกัน คุณปรับให้เหมาะกับงานผ่านเนื้อหา state คำสั่ง เกณฑ์ และการประกอบด้วยโค้ด ดัชนีข้อกฎหมายของ TypeSafe ครอบคลุม DPA นโยบายความเป็นส่วนตัว และการไม่เก็บรักษาข้อมูลสำหรับลูกค้าองค์กร

เวลาตอบสนองตั้งแต่ต้นจนจบระบุไว้ที่ 70ms-500ms โดยคำขอส่วนใหญ่อยู่ราว 100ms ช่วงดังกล่าวเป็นคำกล่าวที่เผยแพร่ในเอกสารเปิดตัว ไม่ใช่ SLO ด้านเวลาแฝงจากการวัดของวิกินี้เอง ให้อ่านควบคู่กับหมายเหตุเรื่องขีดจำกัดอัตรา: ปริมาณงานและ RPM อาจเปลี่ยนระหว่างที่ TypeSafe ขยายการให้บริการช่วงทดลองใช้ก่อนเปิดทั่วไป

ควรส่งชื่อใดในระบบจริง

ส่ง jev-1.13.0 เมื่อเกณฑ์ที่คุณปรับไว้เมื่อสัปดาห์ก่อนต้องยังมีความหมายเดิมในสัปดาห์หน้า ส่ง jev-latest เมื่อต้องการรุ่นทางการปัจจุบันของ TypeSafe และพร้อมตรวจฮิสโตแกรมความเชื่อมั่นใหม่ทุกครั้งที่นามแฝงเปลี่ยนปลายทาง ส่ง jev-preview เฉพาะเมื่อพร้อมใช้รุ่นที่ไม่เป็นทางการ วันนี้ชื่อนี้ชี้ไปยังปลายทางเดียวกับ jev-latest

บันทึก response.model ทุกครั้งที่เรียก ฟิลด์นี้คือ ID ระบุรุ่นที่ตอบจริง แม้คุณจะส่งนามแฝง ให้เชื่อมกับ requestId เมื่อตรวจแก้ 429 หรือผล Noul ที่ผิดคาด GET /v1/models อาจไม่แสดง jev-1.13.0 เสมอไป แม้ปลายทางจะยอมรับค่านี้

คิดราคาเฉพาะฝั่งอินพุต โทเค็นเอาต์พุตไม่มีค่าใช้จ่าย ดังนั้น fan-out จึงประหยัดกว่าโมเดลแชตที่คิดค่าการสร้างคำตอบ ลูปแบบ Doom ที่ 10 คำขอต่อวินาทีและราคา $0.042/MTok คือตัวอย่างด้านต้นทุนจากการเปิดตัว อย่างไรก็ดี ต้องรักษาขีดจำกัด 1,200 RPM และ 250,000 โทเค็นต่อวินาที และคาดว่าตัวเลขเหล่านี้อาจเปลี่ยนโดยไม่แจ้งล่วงหน้าระหว่างช่วงทดลองใช้ก่อนเปิดตัว

เมื่อฝ่ายขายเสนอขีดจำกัดแบบกำหนดเอง ตัวเลขนั้นจะยังไม่อยู่ในการ์ดนี้จนกว่า TypeSafe จะเผยแพร่บน docs.typesafe.ai/models ระหว่างนี้ตัวเลขสาธารณะคือ 250,000 โทเค็นต่อวินาทีและ 1,200 คำขอต่อนาที พร้อมคำเตือนชัดเจนว่าอาจเปลี่ยนโดยไม่แจ้งล่วงหน้า การไม่เก็บรักษาข้อมูลสำหรับองค์กรเป็นหัวข้อในดัชนีข้อกฎหมาย ไม่ใช่สวิตช์บนการ์ดโมเดล

ภาษาอังกฤษยังเป็นภาษาที่โมเดลนี้ทำได้ดีที่สุด หากให้บริการทิกเก็ต CJK ให้ตั้งเกณฑ์ความเชื่อมั่นเข้มขึ้นและสุ่มตรวจคิวของคุณเองก่อนตัดมนุษย์ออก โมเดลรับอักขระเหล่านี้ได้ แต่หมายเหตุเรื่องความแม่นยำคือเหตุผลที่ต้องวัดผล ไม่ใช่ข้อจำกัด 403 ที่ซ่อนอยู่

การเปลี่ยนปลายทางของนามแฝงถือเป็นเหตุการณ์ออกรุ่น อ่านหน้าโมเดลอีกครั้งเมื่อ TypeSafe ออก ID ระบุรุ่นใหม่ แล้วตัดสินว่าเกณฑ์ของคุณยังใช้ได้หรือไม่ การ์ดในหน้านี้คือ Jev 1.13 ไม่ใช่คำรับรองเกี่ยวกับ 1.14

โทเค็นเอาต์พุตยังไม่มีค่าใช้จ่ายตามการ์ดนี้ จึงมักถูกกว่าหากเพิ่มคำถามเข้าไปแทนการเรียกโมเดลสร้างข้อความอีกครั้ง