Mẫu và fan-out

Bốn mẫu đã công bố

fan-out suy đoán: gửi nhiều câu hỏi trong một lệnh gọi, kể cả các câu mang tính suy đoán, rồi để mã của bạn quyết định câu nào liên quan. Theo TypeSafe, lợi ích là chi phí và tốc độ. Bản demo nhà thông minh là ví dụ hoàn chỉnh. Với câu "Tắt toàn bộ đèn trong nhà", bạn vẫn hỏi đồng thời về danh mục, miền, thiết bị và hành động, kể cả câu hỏi về hành động trước khi biết lời nói đó đề cập đến đèn. Các lệnh gọi tuần tự sẽ phải chờ. Điểm mấu chốt là đánh giá song song rồi lọc bằng mã.

Định tuyến theo ngưỡng tin cậy: dùng độ tin cậy làm trục thứ hai để quyết định có hành động hay không. Lợi ích là độ ổn định và an toàn. Một nhãn không có ngưỡng tin cậy sẽ kích hoạt ngay cả trên phân bố phẳng. Hãy ghép Choice hoặc Score với các ngưỡng tăng theo rủi ro và giữ Noul trên trục riêng.

Chấm điểm tổng hợp: chia một phán đoán thành các điểm nguyên tử rồi kết hợp trọng số bằng mã. Lợi ích là chi phí, độ ổn định và tốc độ. Đừng yêu cầu Jev đưa ra một điểm chất lượng khổng lồ từ 1-100. Hãy dùng Score riêng cho bằng chứng, mức phù hợp chính sách và mức độ nghiêm trọng, rồi cộng lại. Định tuyến ý định: phân loại ý định và chuyển đến logic, một LLM hoặc con người. Lợi ích là chi phí và tốc độ. Jev quyết định trình xử lý nào chạy; nó không trở thành trình xử lý viết câu trả lời.

Các quyết định mẫu từ bản đồ trường hợp sử dụng

Bản đồ trường hợp sử dụng của TypeSafe liệt kê ví dụ theo ngành, không phải một bộ primitive thứ hai. Hỗ trợ khách hàng phân loại phiếu, phát hiện mức khẩn cấp và yêu cầu hoàn tiền, rồi định tuyến hàng đợi. Bảo hiểm phân loại ghi chú FNOL và chuyển hồ sơ rủi ro cao lên cấp trên. Phòng chống tội phạm tài chính chấm điểm nội dung cảnh báo và định tuyến các trường hợp KYC mơ hồ. Pháp lý và tuân thủ phát hiện điều khoản còn thiếu cùng các tuyên bố bị cấm. Sàn thương mại điện tử chuẩn hóa tin đăng và đánh dấu tín hiệu hàng giả.

Kiểm duyệt áp dụng tiêu chí riêng của công ty theo mức độ nghiêm trọng. Quảng cáo kiểm tra an toàn thương hiệu và độ khớp giữa quảng cáo với trang đích. Trò chơi kiểm duyệt trò chuyện, chấm điểm mức bực bội và định tuyến hỗ trợ người chơi. Tuyển dụng chấm điểm hồ sơ theo tiêu chí công việc rõ ràng. Tạo khách hàng tiềm năng đối chiếu hồ sơ với một ICP. Định tuyến mô hình chọn LLM nhận prompt. Rào chắn LLM phát hiện jailbreak, chèn lệnh và vi phạm chính sách.

Tìm kiếm và truy xuất chấm điểm mức liên quan giữa truy vấn và ứng viên. Trích xuất đặc trưng biến ngôn ngữ thành đặc trưng xác suất cho ML cổ điển. Đánh giá rủi ro chuyển ghi chú sự cố thành chỉ báo. Đồ thị phân loại quan hệ và phát hiện mâu thuẫn. Kiểm tra mã theo ngữ nghĩa chạy các quy tắc riêng của nhóm trong CI. Dự báo nhu cầu trích xuất đặc trưng ý định và mức khẩn cấp. Mỗi hàng là một dạng quyết định, không phải quy trình được lưu trữ. Bạn vẫn chịu trách nhiệm về mã thực thi hành động.

Kết hợp bằng mã, không dồn vào một prompt

Fan-out kết hợp định tuyến theo độ tin cậy là cặp thường dùng trong production: hỏi nhiều hơn mức cần thiết, loại các Noul không liên quan, rồi chỉ tự động hành động khi độ tin cậy của Choice vượt ngưỡng cao. Bên dưới là chấm điểm tổng hợp, dùng khi một Score duy nhất sẽ che lấp ba phán đoán khác nhau. Định tuyến ý định là cửa vào quyết định Jev, LLM hay con người sẽ xử lý phần còn lại của yêu cầu.

Các nhóm eval được công bố trên evals.typesafe.ai gồm Sự cố bảo mật, Khả năng quan sát dấu vết tác tử, Xử lý hóa đơn và Dịch vụ khách hàng. Các số liệu 193.6x / 444.6x trên trang chủ của TypeSafe lấy từ những eval quy trình đó khi so với mức trung bình của Astra và Fable. Hãy coi đây là kết quả so sánh do TypeSafe công bố, không phải số liệu wiki này tự chạy lại.

Nếu mẫu bạn cần không nằm trong bốn mẫu này, vẫn có thể kết hợp các primitive. Hãy giữ luồng điều khiển mới trong kho mã của bạn. Gửi ghi chú cho TypeSafe nếu muốn đưa mẫu đó vào mục lục tài liệu. Các cách kết hợp bổ sung vẫn nằm trong mã ứng dụng cho đến khi TypeSafe công bố một mẫu có tên khác.

Chọn mẫu cho một quy trình

Hãy bắt đầu bằng speculative fan-out mỗi khi nhiều câu hỏi dùng chung một trạng thái và một số câu có thể không áp dụng. Đây là lựa chọn mặc định cho trợ lý, bot xử lý phiếu hỗ trợ và mọi hệ thống giống tổng đài chuyển mạch. Hãy thêm cơ chế định tuyến theo ngưỡng tin cậy ngay khi câu trả lời có thể kích hoạt tác dụng phụ: hoàn tiền, cấm, chuyển khoản, triển khai.

Dùng chấm điểm tổng hợp khi một Score duy nhất sẽ trộn lẫn các chiều không tương đồng. Chất lượng bằng chứng, mức phù hợp chính sách và mức độ nghiêm trọng với khách hàng là ba Score, sau đó bạn tự tính tổng có trọng số. Dùng định tuyến ý định ở rìa hệ thống hỗn hợp có cả LLM hoặc hàng đợi cho con người, để Jev chọn nơi xử lý thay vì tự làm công việc của nơi đó.

18 quyết định mẫu trên trang này là sơ đồ của TypeSafe, không phải các endpoint bổ sung. Hỗ trợ khách hàng, yêu cầu bồi thường, cơ chế bảo vệ, tìm kiếm và trò chơi vẫn gọi POST /v1/systemone với Choice, Score và Noul. Hãy sao chép cấu trúc quyết định, rồi viết tiêu chí dựa trên văn bản chính sách của bạn thay vì thư viện prompt chung.

Fan-out là mặc định. Thêm cổng độ tin cậy khi một nhãn có thể tiêu tiền hoặc cấm người dùng. Tách các Score nếu một thang chú giải duy nhất sẽ trộn những trục không tương đồng. Đặt định tuyến ý định tại ranh giới với LLM. Bốn câu này là toàn bộ bộ mẫu đã công bố.

Sơ đồ trường hợp sử dụng gồm mười tám cấu trúc quyết định, không phải mười tám API. Mỗi hàng vẫn trở thành một hoặc nhiều câu hỏi gửi tới POST /v1/systemone. Hãy đưa cấu trúc đó vào miền của bạn, rồi viết tiêu chí từ chính sách. Một prompt kiểm duyệt chung không dựa trên chính sách của bạn sẽ không khớp sơ đồ này.

fan-out suy đoán là mẫu có tên trùng với H1 của trang này, vì đây là mẫu được TypeSafe giới thiệu trước tiên. Ba mẫu còn lại nằm dưới nó, đóng vai trò là các cách sử dụng câu trả lời sau khi lệnh gọi duy nhất trả về.

Mười tám quyết định mẫu dùng chung một tên họ là automation, vì chúng là các phán đoán phần mềm chứ không phải dòng sản phẩm thứ hai.