Jev決定モデルの分岐設計と限界

Jevは、定められた選択肢と確率を返すTypeSafe AIの判断モデルです。自然言語による判断をコードの分岐条件につなげる場合に適しています。出力形式は制限しますが、判断の正確さは保証しません。

価格は2026年9月15日の発表、限界は9月17日に確認した文書に基づきます。

Jevはどのような役割を担うモデルですか？

Jevは入力内容を読み、あらかじめ定義した質問に構造化された答えを返します。評価する内容はstateに入れます。判断基準はquestionsで定義します。返された答えは分類や優先順位の決定に使えます。

TypeSafe AIはこの方式をSystem Oneモデルと呼びます。学習方式はRLCDという名前で説明しています。これは判断確率の補正に重点を置いた強化学習です。ただし、サービスごとの正確さは別途検証する必要があります。

公式のIntroduction文書では、設計原則を次のように表現しています。

個々の質問をコードで組み合わせます

TypeSafe AI, Introduction

これは、質問ごとに1つの判断を担わせるという意味です。複数の判断の組み合わせはコードで処理します。1つのリクエストに含まれる質問は、同じ状態をそれぞれ独立して評価します。詳しい構造はTypeSafe AI Introductionで確認できます。

Choice·Score·Noulの比較

質問の種類は、返された答えをコードでどう使うかに応じて選んでください。担当部署はカテゴリーを選ぶ問題です。深刻度は順序のある評価に当たります。特定の要求の有無は真と偽に分けられます。

Choiceの選択肢はどう決めますか？

Choiceでは、1つの質問に最大255個の選択肢を指定できます。選択肢の名前と説明を併せて評価します。一覧にない入力もあり得る場合は、otherのような項目を検討してください。これは無理な分類を減らすための設計です。

Choiceは与えられた候補から1つを選びます。すべての候補が不適切かどうかも別途判断するには、質問を追加する必要があります。返される確率の合計は1です。定義と制限はChoiceの文書に記載されています。

ScoreとNoulはどう違いますか？

Scoreは、説明が付いた段階の中で位置を評価します。段階番号は0から始まります。結果は段階番号の確率加重平均です。そのため、整数ではないスコアを返すこともあります。

Noulは、条件が真である確率を0から1の間で返します。0.5付近は、真と偽の確率が近いことを意味します。不満の程度が中くらいという意味に解釈してはいけません。程度を測るならScore、有無を問うならNoulを使ってください。

通常のコード・生成モデルとの役割比較

正確な計算はコードに任せ、意味の判断だけをモデルに任せてください。文章を新たに作成する作業は生成モデルの役割です。Jevは答えの範囲が決まった判断に適しています。この区分を基準に、既存機能を置き換える範囲を決められます。

文字列の出力を処理する際には、形式を検証するコードが必要になることがあります。Jevは定義された答えの形式を直接返す仕組みです。だからといって、すべての検証や再試行が不要になるわけではありません。公式SDKも通信エラーなどに備えた再試行ポリシーを提供しています。

外部入力の検証と業務ルールのチェックは、引き続き分けて設計してください。モデルの答えが型に合っていても、業務上は間違っている可能性があります。この区分は、公式のClient SDKsとモデルの限界に関する文書に基づく設計上の解釈です。

TypeScriptの質問定義と答えの型

TypeScript SDKは質問の定義から戻り値の型を推論します。Choiceの選択肢のキーが、答えとして許される値に結び付きます。その結果、許されていない文字列との比較をコンパイル時に検出できます。SDKに必要な環境はNode.js 20以上です。

次は、公式SDKの呼び出し形式を応用した説明用のコードです。実行結果や正確さを測定した例ではありません。環境変数TYPESAFE_API_KEYの設定が必要です。

import { TypeSafeClient, choice } from "@typesafe-ai/sdk";

const api = new TypeSafeClient();

async function classifyMessage(message: string) {
  const result = await api.systemOne({
    model: "jev-1.13.0",
    state: { message },
    questions: {
      topic: choice("Classify the subject of message.", {
        account: "Account access or password problems",
        delivery: "Shipment tracking or delivery problems",
        other: "Any subject outside those categories",
      }),
    },
  });

  return result.answers.topic;
}

この例のchoiceの型はaccount | delivery | otherです。文字列は実際のTypeScriptでは引用符で表記されるリテラル型です。ただし、型チェックでは問い合わせを正しく分類したかどうかは判断できません。インストール方法と呼び出し仕様はJavaScript SDKの文書で確認してください。

信頼度の計算例とよくある間違い

confidenceは返された確率を要約した値です。選ばれた答えの確率と同じ数値ではありません。実際の正答率としてそのまま解釈してもいけません。この違いは、自動実行の基準を作る際に特に注意が必要です。

Choiceの公式の計算式は次のとおりです。

confidence = (最大確率 - 1 / 選択肢の数) / (1 - 1 / 選択肢の数)

公式文書の確率分布は0.6, 0.3, 0.1です。選択肢は3個です。最大確率0.6を代入すると、confidenceは0.4になります。選択された答えの確率60%と信頼度0.4は異なる指標です。

数値の意味は公式のConfidenceの文書に基づきます。権限チェックを分けるという内容は、それを運用に適用した設計上の提案です。

価格と応答時間はどう比較しますか？

発表された価格は入力トークン100万個あたり0.042ドルです。出力トークンは無料と案内されています。発表された応答時間の範囲は70~500ミリ秒です。これらの数値は2026年9月15日の会社発表に基づきます。

会社による倍率の比較は、特定のワークフローの評価から得られたものです。実際の正解ではなく、別の大規模モデルの平均予測を基準にしました。速度の評価は主に米国西部で実施されました。したがって、あらゆる業務での正確さや韓国内での応答時間を示すものではありません。

価格だけを比較すると、確認作業が増える状況を見落とす可能性があります。導入の判断には、処理結果まで含めた費用が必要です。発表数値の条件はJevの公開発表文に明記されています。

Jev 1.13の9つの限界

公式文書は、Jev 1.13の失敗の種類を9つにまとめています。この一覧は2026年9月17日に確認した内容に基づきます。一部の事例で成功しても、その作業での信頼性が保証されるわけではありません。

同じ意味でも、NoulとChoiceでは確率が異なることがあります。ある種類で調整したしきい値を、別の種類にそのまま移さないでください。根拠はJev 1.13 jaggednessです。

韓国語サービスへの適用条件

韓国語の入力は処理しますが、英語と同等の性能は保証されません。公式文書では、主な学習言語は英語だと説明しています。韓国語を含むCJK文字圏での性能差も明記しています。一般的な韓国語の正確さを示す数値は提示していません。

韓国語への適用可否は、自社のサンプルで判断してください。遠回しな表現や省略のある問い合わせも含めるとよいでしょう。翻訳文だけを評価すると、実際の顧客の文体との差を見落とす可能性があります。これは言語ごとの性能差を考慮した評価上の提案です。

• 明確な要求と曖昧な要求を分けて評価
• 部署の分類と感情の評価を別々に集計
• 英語で決めたしきい値を韓国語で再検証
• モデル変更の前後で同じサンプルを使って比較

jev-latestは新しいバージョンが出ると、参照するモデルが変わります。しきい値を特定のバージョンに合わせた場合は、バージョンの固定を検討してください。言語とバージョンの方針は公式のModelsの文書で確認できます。

モデルの切り替え評価で見落としやすい自動処理率

モデルを切り替える際は、全体の正確さと自動処理率を併せて見る必要があります。曖昧な案件をすべて人に回すと、自動処理量は減ります。自動処理の範囲を広げると、誤って実行する事例が増える可能性があります。以下は、公式文書の信頼度による分岐を拡張した評価方法です。

自動処理件数がなければ、自動処理の誤判定率は計算できません。この場合は0%ではなく、計算不可と記録してください。指標の分母を残すことで、モデル間の比較が可能になります。

評価は次の順序で進められます。

1. 実際の業務サンプルに人が正解を付けてください。
2. 質問の文言と選択肢の定義を固定してください。
3. モデルのバージョン、確率、最終的な分岐を記録してください。
4. しきい値ごとの自動処理率と誤判定率を比較してください。
5. 許容するエラーの水準に合わせて運用基準を決めてください。

普遍的に適切なしきい値はありません。誤って実行した場合の影響を基準に反映する必要があります。出発点となる分岐の原則はConfidenceの文書で確認できます。