Jevはどれだけ優秀なif文か?軽量モデルを分類器用途で比較してみた

TypeSafe AI が公開した判断専用モデル Jev を、Claude Haiku 4.5 / GPT-5.6 Luna / Gemini 3.5 Flash-Lite / Qwen3.7 Flash と同じ 4 タスク 208 件で比較しました。精度は軽量 LLM と同等、レイテンシは約 3〜4 倍速く、確信度は閾値運用に使える一方、コストでは Qwen3.7 Flash に負けます。「賢い if 文」として使える範囲を実測で確かめた記事です。

こんにちは、HelloCloud Lab のリサーチャーです。HelloCloud Lab は、株式会社HelloCloud で最新の LLM 推論基盤やモデル、CLI ツール、SaaS プロダクトなどを研究・利用検証する R&D 組織です。

先日、TypeSafe AI から Jev というモデルが早期アクセスとして公開されました。まさに彗星のごとく現れた新顔という感じで、話題をさらっていますね。文章を一切生成せず、選択肢と確率だけを返すモデルです。

https://typesafe.ai/

LLM をルーターや判定器として使っていると、欲しいのは文章ではなく構造化出力の結果だけ、という場面が多いのではないでしょうか。Jev はそのようなユースケースに向けて、型安全な分類に特化しています。

この記事では同じタスクを Jev と軽量 LLM に解かせて、精度・レイテンシ・コスト・確信度という評価軸に沿ってパフォーマンス比較をしてみました。

Jevの概要と適する場面

Jev は、元 OpenAI の Diogo Almeida が率いる TypeSafe AI が 2026 年 9 月 15 日に公開したモデルです。同社はこれを「System One Model」と呼んでいます。テキスト生成をせず、状態(state)に対する型付きの質問に答えるだけの設計です。

https://typesafe.ai/blog/introducing-system-one-models-and-jev

質問の型は Choice(最大 255 択から 1 つ選ぶ)、Score(順序つきの段階で採点)、Noul(命題が真である確率)の 3 つです。1 回の呼び出しに複数の質問を混ぜられます。価格は入力 100 万トークンあたり $0.042 で出力は無料、公称レイテンシは 70〜500ms です。重みは非公開で、ホストされた API は米国リージョンのみです。早期アクセス中のため、価格とレート制限は変わりうるとドキュメントに注記があります。

https://docs.typesafe.ai/models

TypeSafe が向いている場面として挙げるのは、ルーティングや判定器、ゲートのような処理です。答えの候補が最初から決まっていて、同じ状態に対して何度も判断する、という共通点があります。一方でドキュメントの「model jaggedness」ページには、苦手なことも率直に書かれています。数え上げ、数値の近さ、日付の計算は信頼できず、state に無関係な情報が多いと精度が落ちる、という内容です。

https://docs.typesafe.ai/model-jaggedness/jev-1.13

ここが if 文の比喩で肝になる点だと考えています。if 文の条件式には、数値や日付の比較と、この文章はどのカテゴリかという意味判定の 2 種類があります。Jev が置き換えるのは後者だけで、前者は自分のコードで書く、というのが TypeSafe の想定です。

分類器としての性能検証

すでに海外で出ている応用事例

1 つめはモデルルーティングです。クラスメソッドさんは、NVIDIA NeMo Switchyard の難易度分類器を Jev でリプレイスした記事を公開されていました。4 段階(simple / medium / complex / reasoning)で 40 件すべて正解、中央値レイテンシは 0.64〜0.67 秒です。比較対象の Gemini 3.5 Flash は 2.1 秒、DeepSeek V4 Flash は 7.2 秒でした。

ただし各段階のサンプルは 1 種類の使い回しで、著者も精度検証としては限定的だと注記しています。

https://dev.classmethod.jp/en/articles/jev-for-llm-model-routing/

本番のコードに入った例では、OSS の notra がチャットのルーター、フィードバック分類、判定器の 3 か所を Jev に置き換えました。手動ラベル 153 件でルーターは 1.3 秒から 307ms、精度は 81.7% から 90% に上がったと PR に書かれています。LLM の呼び出しは 2.5 秒のタイムアウトつきで予備として残しています。前段に Jev を置いて LLM への逃げ道を残す形が、当面の落としどころになるのではないかと考えています。

https://github.com/usenotra/notra/pull/1106

2 つめはゲーム操作です。TypeSafe は DOOM を 10Hz、つまり 100ms ごとに判断させるデモを公開しました。エンジン内部の敵の位置や距離を JSON で渡し、前進や射撃を選ばせる仕組みで、1 時間あたり約 $7 かかります。

TypeSafe 自身が、画像ではなく構造化されたゲーム状態を渡していること、従来の非 AI ボットの方が上手いことを説明しています。目的は、数秒かかる LLM では成立しないリアルタイムのループで判断できることの実演です。The Register も入力が画像でない点を報じています。

https://www.theregister.com/ai-and-ml/2026/09/16/typesafe-ai-debuts-model-for-machines-that-plays-doom/5296711

ちなみに、2026 年 4 月には Jev と無関係の論文も出ています。130 万パラメータの ModernBERT 系モデルが、DOOM で Nemotron-120B や GPT-4o-mini を大差で上回ったという報告です。Jev のデモも、リアルタイム制御では小さな特化モデルが汎用 LLM に勝つ、という流れの一部だと考えています。

https://arxiv.org/abs/2604.07385

3 つめはそれ以外の判定です。他の例として、ニュース記事のテキスト分類、Claude Code の tool call のうち有効性がないものの除去(Compaction)、記事のモデレーションなどがあります。

検証手段・検証ケース

比較の条件を揃えるため、小さなハーネスを用意しました。同じラベル説明を Jev には Choice の criteria として、LLM にはシステムプロンプトとして渡します。

LLM 側は JSON schema で {label, confidence} の形を強制し、confidence は自己申告の確信度として扱っています。レイテンシはクライアント側の計測値、コストは各社の公開単価からの算出です。

Jev へのリクエストは次のような形です。ラベルの説明を criteria に書き、state に判定対象を入れます。

{
  "state": "Convert 5 km to miles.",
  "model": "jev-latest",
  "questions": {
    "label": {
      "type": "choice",
      "instructions": "Which difficulty tier should this user request be routed to?",
      "criteria": {
        "simple": "A single-fact lookup, greeting, trivial conversion, or one-line definition.",
        "medium": "Needs a paragraph of explanation, a short code snippet, a regex, ...",
        "complex": "Long or multi-part deliverable: multi-file code changes, system design, ...",
        "reasoning": "Needs careful multi-step logical or mathematical deduction, ..."
      }
    }
  }
}

返ってくるのは choice と各選択肢の probabilities、それに confidence だけです。LLM には同じラベル説明をシステムプロンプトに書き、{"label": "simple", "confidence": 0.95} の形の JSON を返させています。

タスクは 4 つです。

  • routing: ユーザーの依頼文を simple / medium / complex / reasoning の 4 段階に分ける。日英各 20 件、計 40 件で、DevelopersIO の再現に日本語を足したもの。

  • support: 問い合わせを billing / technical / sales / account / other の 5 部署に振り分ける。件数は routing と同じで、quickstart の題材。

  • doom-numeric: 体力・弾薬・敵の角度と距離を数値で渡し、8 行の明示ルールで行動を選ばせる。64 件で、正解はそのルールをコードで実行して生成。

  • doom-semantic: 同じ 64 件の状態を「体力は危険域」「敵は正面の近距離」のように言葉に直した版。正解は doom-numeric と同一。

doom-numeric の state は次のような JSON で、この例の正解は explore です。

{
  "health": 67,
  "ammo": 30,
  "weapon": "shotgun",
  "enemy": null,
  "medkit_visible": true,
  "ammo_pack_visible": false,
  "level_time_s": 366
}

doom の 2 つは対になっていて、数値比較を含む if 文と、意味判定だけの if 文を分けて測るためのものです。実行前の予想は次の 2 つでした。model jaggedness の記述どおり doom-numeric は落ちて doom-semantic は通る、routing と support は軽量 LLM と同等、です。

見る指標は accuracy、macro-F1、レイテンシの p50 と p95、1,000 件あたりのコスト、スキーマ違反率、確信度の ECE です。ECE(Expected Calibration Error)は、モデルが申告した確信度と実際の正解率のずれを表す値で、0 に近いほど確信度をそのまま信じられます。加えて、confidence が 0.9 以上のものだけに絞ったときの精度とカバー率も見ます。この最後の指標は、高確信のときだけ自動処理し、残りは人か LLM に回す運用ができるかを見るためのものです。

対象モデル

比較対象は、2026 年 9 月時点で分類用途によく使われる軽量モデルです。検証環境を極力均一にするため、Vercel AI Gateway 経由で呼び出しています。

モデル

入力 / 出力($ per 1M tokens)

備考

Jev(typesafe-ai/jev)

0.042 / 無料

evaluate モダリティ

Claude Haiku 4.5

1.00 / 5.00

構造化出力、思考なし

GPT-5.6 Luna

0.20 / 1.20

reasoning effort は minimal

Gemini 3.5 Flash-Lite

0.30 / 2.50

出力 20 トークン前後で思考なしを確認

Qwen3.7 Flash

0.03 / 0.13

reasoning effort は none

https://vercel.com/ai-gateway/models

Qwen3.7 Flash は既定だと思考トークンを 150〜900 出して 3〜12 秒かかったので、思考を切って他と条件を揃えました。分類では出力が数トークンなので入力単価が支配的です。Jev の安さが桁違いになるのは最上位モデルと比べたときだけで、Qwen3.7 Flash のように入力単価が同じ水準のモデルもあります。

検証結果

レイテンシには Gateway の往復が含まれます。Jev が他のモデルより良かった値は太字にしています。p50 / p95 はミリ秒、コストは 1,000 件あたりの米ドルです。conf ≥ 0.9 の列は、確信度 0.9 以上のものだけに絞ったときの精度と、その条件で残る件数の割合です。

タスク

モデル

accuracy

p50 / p95

$ / 1,000 件

ECE

conf ≥ 0.9 の精度(カバー率)

routing

Jev

95.0%

352 / 559

0.022

0.047

100%(92.5%)

routing

Haiku 4.5

92.5%

964 / 1,681

0.610

0.024

92.1%(95.0%)

routing

GPT-5.6 Luna

100%

1,406 / 1,839

0.086

0.011

100%(100%)

routing

Gemini 3.5 Flash-Lite

97.5%

938 / 1,375

0.155

0.010

97.5%(100%)

routing

Qwen3.7 Flash

82.5%

1,278 / 1,950

0.014

0.124

84.6%(97.5%)

support

Jev

100%

336 / 518

0.019

0.042

100%(92.5%)

support

Haiku 4.5

95.0%

966 / 1,363

0.542

0.045

97.1%(87.5%)

support

GPT-5.6 Luna

97.5%

1,425 / 2,044

0.073

0.011

97.5%(100%)

support

Gemini 3.5 Flash-Lite

100%

932 / 1,226

0.132

0.043

100%(95.0%)

support

Qwen3.7 Flash

95.0%

1,198 / 2,021

0.012

0.013

95.0%(100%)

doom-numeric

Jev

100%

352 / 632

0.033

0.002

100%(100%)

doom-numeric

Haiku 4.5

96.9%

947 / 1,755

0.923

0.006

96.9%(100%)

doom-numeric

GPT-5.6 Luna

98.4%

1,212 / 1,879

0.133

0.015

98.4%(100%)

doom-numeric

Gemini 3.5 Flash-Lite

92.2%

933 / 1,303

0.246

0.078

92.2%(100%)

doom-numeric

Qwen3.7 Flash

82.8%

1,388 / 2,052

0.023

0.156

84.1%(98.4%)

doom-semantic

Jev

100%

329 / 551

0.028

0.002

100%(100%)

doom-semantic

Haiku 4.5

95.3%

938 / 1,254

0.786

0.026

96.7%(95.3%)

doom-semantic

GPT-5.6 Luna

100%

1,239 / 1,982

0.113

0.001

100%(100%)

doom-semantic

Gemini 3.5 Flash-Lite

81.3%

914 / 1,395

0.202

0.163

83.9%(96.9%)

doom-semantic

Qwen3.7 Flash

85.9%

1,289 / 2,062

0.019

0.125

87.3%(98.4%)

スキーマ違反は 5 モデルすべてでゼロでした。JSON schema を強制すれば LLM 側もラベル外の値を返さなかったので、この点は Jev の優位になりませんでした。

1 つめの精度は、予想どおり差がほとんど出ませんでした。Jev は support と doom の 2 種で全問正解、routing で 2 問を落としています。全体で最も良かったのは GPT-5.6 Luna で、routing と doom-semantic が満点でした。Haiku 4.5 は 92〜97% でした。Gemini 3.5 Flash-Lite は doom-semantic で 81%、Qwen3.7 Flash は routing で 82.5% と、軽量 LLM の側にばらつきが出ています。

一方で、仮説は外れました。doom-numeric で Jev は 64 件すべて正解で、数値を言葉に直した doom-semantic と差がありません。公式が数値の近さ判定を苦手と書いているのは事実です。ただ、体力 30 未満、角度 ±10 度以内、距離 700 以下のように閾値が明示された整数の比較なら、8 行のルールを実行する程度は問題ありませんでした。もっとも、state は 7 項目の小さな JSON で、整数も 3 桁までです。大きな数や日付、件数の集計はこの検証では見ていません。

routing で Jev が落とした 2 問はどちらも medium を simple と判定したもので、確信度は 0.36 と 0.76 でした。確信度 0.9 以上に絞ると精度は 100% で、92.5% の件数が残ります。高確信のものだけ自動処理し、残りを LLM か人に回す運用が、この範囲では成立しそうです。逆に Gemini 3.5 Flash-Lite と Qwen3.7 Flash は、誤答にも 0.95〜1.0 の確信度を自己申告していて、ECE は 0.12〜0.16 でした。LLM の自己申告 confidence は閾値には使いにくい、というのが今回の結果です。

2 つめのレイテンシは、Jev が p50 で 330〜350ms、p95 で 520〜630ms でした。軽量 LLM は p50 で 930〜1,430ms、p95 で 1,200〜2,060ms なので、およそ 3〜4 倍の差です。相手が思考を切った軽量モデルなので、公式の 193 倍とは桁が違いますし、独立検証の 5〜25 倍と比べても下側です。東京から Gateway 経由でも、0.6〜0.7 秒という事前の見込みより速い結果でした。100ms ごとの判断には届かないものの、数秒かかる LLM ループの前段に置くには十分だと考えています。

3 つめのコストは、Jev が 1,000 件あたり 2〜3 セントでした。Haiku 4.5 は 54〜92 セント、GPT-5.6 Luna は 7〜13 セント、Gemini 3.5 Flash-Lite は 13〜25 セント、Qwen3.7 Flash は 1〜2 セントです。Haiku 比では 25〜30 倍、Luna 比では 4 倍程度で、Qwen3.7 Flash には負けています。安さだけなら Jev を選ぶ理由は弱く、精度・速度・確信度をまとめて見たときに Jev が残る、という結果でした。

日本語と英語の差は、Jev では出ませんでした。routing と support の日本語 20 件は両方とも全問正解で、英語の方が 2 問落ちています。Qwen3.7 Flash だけは日本語が 75% と 90% にとどまり、多言語の弱さがこのモデルの側に出たと言えるでしょう。

さいごに

Jev は「賢い if 文」というより、if 文の条件式のうち意味判定の部分を担当するモデルだと考えています。今回の小さな整数比較は通りましたが、公式が弱いと明記する数え上げや日付、大きな数値の比較はコードに残し、文章や構造化された状態の分類だけを渡すのが無難です。

この使い分けを守れば、ルーティングや部署分類のような境界が明確な判定では、軽量 LLM と同等の精度を 3〜4 倍速く、数分の一のコストで得られます。今回 GPT-5.6 Luna との差は精度ではなく、レイテンシとコストだけでした。ただしフィッシング判定のように境界が曖昧なタスクでは小型 LLM に負けた第三者の報告もあるので、用途ごとの自前評価は省けません。

https://github.com/anisselbd/jev-phishing-bench

私見ですが、ラベル付きのデータが数千件あるなら、ModernBERT や DeBERTa を自前で学習させた方が速くて安い場合が多いです。BANKING77 で LoRA 学習した xlm-roberta-large が、Claude Sonnet 4.6 を精度 94.2% 対 85.3% で上回った報告もあります。レイテンシは 12ms 対 2,080ms です。ラベルがなくルーブリックが頻繁に変わるなら Jev が向いています。

https://github.com/smallestbusiness/intent-router

根拠の情報や画像が要るなら軽量 LLM に構造化出力をつける方が素直です。文字列のパターンだけで決まるなら正規表現が向いていますし、EU や日本にデータを置く要件があるなら Jev は現状選べません。

いずれにしても、まず自分のシステムの LLM 呼び出しを棚卸しして、文章が本当に要る呼び出しは何割かを数えてみるのをおすすめします。残りの分岐をどこまで小さいモデルやコードに寄せるかが、エージェントを本番で回すときのコストと安定性を決めると考えています。

HelloCloud Lab では、こうした新しいモデルやツールの検証を続けています。HelloCloud のサービスにご興味があれば、次のサイトをご覧ください。

https://cloud.hello.ai/

HelloCloud編集部 国内GPUクラウド「HelloCloud」を提供する株式会社HelloCloudの編集部です。GPUクラウドの仕組みや料金の見方、LLMの推論・学習に使う環境づくり、データの保存先や契約条件の確かめ方を、AI開発に関わるエンジニアや導入を判断する方に向けて解説しています。記事は調査会社や省庁の発表、各社の公式な料金ページ・利用規約などの一次情報をもとに作成し、料金や仕様の変更にあわせて内容を更新しています。