패턴과 fan-out

공개된 4가지 패턴

Speculative fan-out: 당장 필요하지 않을 수 있는 질문까지 한 번의 호출로 모두 보내고, 관련성은 코드에서 판단합니다. TypeSafe이 제시하는 이점은 비용과 속도입니다. 스마트 홈 데모가 실전 예시입니다. "집 안의 모든 조명을 꺼 줘"라는 요청에서도 범주, 도메인, 기기, 동작을 한꺼번에 질문합니다. 발화가 조명에 관한 것인지 알기 전부터 동작 질문도 포함합니다. 순차 호출이라면 매번 기다려야 합니다. 핵심은 병렬 평가와 코드의 필터를 함께 사용하는 것입니다.

Confidence 게이트 라우팅: 실행 여부를 결정하는 두 번째 축으로 confidence을 사용합니다. 장점은 신뢰성과 안전성입니다. confidence 게이트가 없는 라벨은 평탄한 분포에서도 작동합니다. Choice 또는 Score에 위험도에 따라 조정되는 임계값을 결합하고, Noul은 별도의 축으로 유지하세요.

복합 점수화: 판단을 원자적 점수로 나누고 코드에서 가중치를 조합합니다. 장점은 비용, 신뢰성, 속도입니다. Jev에게 거대한 단일 1-100 품질 점수를 요구하지 마세요. Score 증거, 정책 적합성, 심각도를 따로 평가한 뒤 합산하세요. 의도 라우팅: 의도를 분류하고 로직, LLM 또는 사람에게 전달합니다. 장점은 비용과 속도입니다. Jev은 실행할 처리기를 정할 뿐, 직접 답변을 작성하는 처리기가 되지는 않습니다.

사용 사례 지도의 판단 예시

TypeSafe의 사용 사례 지도는 두 번째 Primitives 모음이 아니라 업계별 예시를 나열합니다. 고객 지원에서는 티켓을 분류하고 긴급도와 환불 여부를 감지해 대기열로 라우팅합니다. 보험금 청구에서는 FNOL 메모를 분류하고 고위험 파일을 상향 처리합니다. 금융 범죄 대응에서는 경보 내용을 점수화하고 모호한 KYC를 라우팅합니다. 법무 및 규정 준수에서는 누락된 조항과 금지된 주장을 감지합니다. 전자상거래 마켓플레이스에서는 상품 정보를 표준화하고 위조품 징후를 표시합니다.

콘텐츠 검토에서는 심각도와 함께 회사별 기준을 적용합니다. 광고에서는 브랜드 안전성과 광고-랜딩 페이지 일치도를 확인합니다. 게임에서는 채팅을 검토하고 불만 수준을 점수화해 플레이어 지원으로 라우팅합니다. 채용에서는 명시적인 직무 관련 기준에 따라 이력서를 평가합니다. 잠재 고객 발굴에서는 프로필을 ICP와 매칭합니다. 모델 라우팅에서는 프롬프트를 받을 LLM을 선택합니다. LLM 가드레일에서는 탈옥, 인젝션, 정책 위반을 감지합니다.

검색 및 검색 결과 선별에서는 쿼리와 후보의 관련성을 점수화합니다. 특징 추출은 언어를 전통적 ML용 확률적 특징으로 변환합니다. 위험 평가에서는 사고 메모를 지표로 바꿉니다. 그래프에서는 관계를 분류하고 모순을 감지합니다. 의미론적 코드 린팅은 CI에서 팀별 검사를 실행합니다. 수요 예측에서는 의도와 긴급도 특징을 추출합니다. 각 행은 판단의 형태이지 호스팅된 워크플로가 아닙니다. 실제로 동작하는 코드는 직접 관리해야 합니다.

하나의 프롬프트가 아니라 코드에서 조합하세요.

팬아웃과 confidence 라우팅은 일반적인 프로덕션 조합이다. 필요한 것보다 많이 질문하고 관련 없는 Nouls를 버린 뒤, Choice confidence이 높은 기준을 넘을 때만 자동으로 실행한다. 하나의 Score으로 서로 다른 세 판단이 가려질 때는 그 아래에 복합 점수화를 둔다. 인텐트 라우팅은 요청의 나머지를 Jev, LLM, 사람 중 누가 처리할지 정하는 관문이다.

evals.typesafe.ai에 공개된 평가군에는 보안 사고, 에이전트 추적 관측성, 청구서 처리, 고객 서비스가 있다. TypeSafe 홈페이지의 193.6x / 444.6x 수치는 해당 워크플로 평가에서 Astra 및 Fable 평균과 비교한 결과다. 이 위키에서 재검증한 수치가 아니라 TypeSafe이 공개한 비교 결과로 사용해야 한다.

필요한 패턴이 네 가지에 없어도 프리미티브를 조합할 수 있다. 새로운 제어 흐름은 저장소에 유지한다. 문서 색인에 올리고 싶다면 TypeSafe에 의견을 남긴다. TypeSafe이 이름을 붙인 새 패턴을 공개하기 전까지 추가 조합은 애플리케이션 코드에 둔다.

워크플로에 맞는 패턴 선택

여러 질문이 하나의 state을 공유하고 그중 일부가 적용되지 않을 수도 있다면 항상 speculative fan-out부터 시작하세요. 도우미, 문의 봇, 교환대처럼 작동하는 모든 시스템의 기본 패턴입니다. 답변이 환불, 차단, 송금, 배포 같은 부수 효과를 일으킬 수 있는 순간부터 confidence 기반 라우팅을 추가하세요.

하나의 Score에 서로 다른 차원이 섞일 때는 복합 점수화를 사용한다. 근거 품질, 정책 부합도, 고객 문제의 심각도를 각각 Score로 구한 뒤 직접 관리하는 가중합으로 결합한다. LLM이나 사람 대기열도 포함된 혼합 시스템의 경계에서는 인텐트 라우팅을 사용해, Jev이 목적지의 작업을 직접 작성하지 않고 목적지만 결정하게 한다.

이 페이지의 18가지 결정 예시는 추가 엔드포인트가 아니라 TypeSafe의 활용 지도다. 고객 지원, 보험금 청구, 가드레일, 검색, 게임 모두 여전히 Choice, Score, Noul과 함께 POST /v1/systemone을 호출한다. 결정 구조를 복사하되 기준은 범용 프롬프트 라이브러리가 아니라 실제 정책 문구로 작성한다.

기본값은 팬아웃이다. 레이블 하나로 비용이 지출되거나 사용자가 차단될 수 있다면 confidence 관문을 추가한다. 하나의 범례에 서로 다른 축이 섞이면 Scores를 분리한다. LLM과 맞닿는 경계에는 인텐트 라우팅을 둔다. 공개된 패턴 세트는 이 네 문장이 전부다.

사용 사례 지도는 18개의 API가 아니라 18가지 결정 구조다. 각 행은 여전히 POST /v1/systemone에 보내는 하나 이상의 질문이 된다. 구조를 자신의 도메인에 옮긴 뒤 정책에 따라 기준을 작성한다. 실제 정책이 아닌 범용 조정 프롬프트는 이 지도와 맞지 않는다.

Speculative fan-out은 이 페이지의 H1과 이름이 같은 패턴으로, TypeSafe이 가장 먼저 소개하는 방식이기 때문입니다. 나머지 세 패턴은 단일 호출의 결과가 반환된 뒤 답변을 활용하는 방법으로 그 아래에 배치되어 있습니다.

18개의 결정 예시는 모두 소프트웨어가 내리는 판단이며 별도의 두 번째 제품군이 아니므로, automation이라는 하나의 제품군 이름을 공유합니다.