AI半導体競争の新基準、トークン当たりコスト

生成AI半導体の競争基準は、最大演算量から実際のサービスとしての経済性へと広がっている。業界で非公式に使われるトソンビとは、トークンのコストパフォーマンス、すなわち一定の費用や電力でどれだけ多くのトークンを有効に処理できるかを意味する。

しかし、最も安いトークンが必ずしも最も経済的な結果を生み出すとは限らない。モデルの精度、応答遅延、再試行回数、データセンターの利用率まで併せて測定してこそ、実際の競争力を判断できる。

トソンビとは何か

トークンは、言語モデルが入力を読み取り、出力を生成する際に使用するテキスト処理単位だ。API事業者は通常、入力トークンと出力トークンを区別して価格を設定し、キャッシュされた入力には別料金を適用することもある。

トソンビは正式な会計用語でも標準ベンチマークでもない。実務では次の指標を区別する必要がある。

トークン当たりの総コストは、概念的には次のように捉えられる。

トークン当たりの総コスト = 減価償却 + 電力・冷却 + メモリ・ネットワーク + 運用費 + ソフトウェア費用 ÷ 有効処理トークン

ここで有効処理トークンとは、単純な生成量ではなく、サービス品質基準を満たしたトークンを意味する。モデルごとにトークナイザーと回答の長さが異なるため、100万トークン当たりの価格だけを直接比較すると歪みが生じる可能性がある。

推論コストが半導体競争を変える理由

サービスが利用されるたびに費用が繰り返し発生する

大規模学習は莫大な費用が集中する段階だが、完全な一回限りの支出ではない。事前学習後も、ファインチューニング、強化学習、評価、新バージョンの学習が繰り返される。それでも、ユーザーがリクエストするたびに発生する推論コストは、サービスの成長とほぼ歩調を合わせて増加するという点で、ビジネスモデルにより直接的な影響を与える。

Stanford AI Index 2025は、一定水準のモデル性能を提供する推論コストが急速に低下したと分析した。これは半導体の改善だけでなく、小型モデル、量子化、推論エンジン、競争の拡大が併せて生み出した結果だ。単価が下がれば、より多くの機能が経済性を得る一方、使用量の増加が単価低下を相殺するジェボンズ効果も生じ得る。

AIエージェントがトークン使用量を増幅する

一般的なチャットボットでは、質問と回答が比較的短く終わる。一方、AIエージェントは次の作業を繰り返すことがある。

• 計画の策定と修正
• 長い文書またはコードリポジトリの読み取り
• 検索、データベース、ターミナルなどのツール呼び出し
• 実行結果の確認とエラー修正
• 複数候補の生成と評価

作業ステップが長くなるほど、入力コンテキスト、中間推論、ツールの結果、再試行が蓄積する。エージェント時代には、モデル呼び出し1回の価格よりも、1つの業務を正常に完了するためにかかった総費用が重要だ。

電力と設備が実際の供給限界を生み出す

AIアクセラレーターを確保しても、受電設備、冷却、高帯域幅メモリ、ネットワーク、データセンターのスペースが不足していれば稼働できない。したがって、1ワット当たりのトークン数と1ラック当たりのトークン数は、電気料金の削減以上の意味を持つ。限られた電力容量で提供できるサービス量を決定するためだ。

トークン当たりのコストを下げるハードウェア戦略

1. 特定のワークロードに合わせた独自アクセラレーター

汎用GPUは多様なモデルと演算をサポートするが、その柔軟性にはコストが伴う。大規模クラウド事業者は、繰り返し実行する社内ワークロードを分析し、不要な機能を減らしてデータ移動経路を最適化できる。

Googleが2025年に公開したIronwoodは、推論を中心に設計された第7世代TPUだ。これは特定のGeminiモデル1つだけに固定されたチップというより、Googleのモデル、XLAコンパイラ、データセンターを併せて最適化する垂直統合戦略として理解するほうが正確だ。

独自チップの目的は、チップの購入費削減だけではない。供給スケジュールの管理、電力効率の改善、社内ワークロードの最適化、外部サプライヤーに対する交渉力の確保が複合的に作用する。

2. ラック全体を1台のコンピューターとして設計

大規模モデルは1つのアクセラレーターのメモリには収まらないため、複数のアクセラレーターに分散される。このとき性能は、個々のチップの演算能力よりも、アクセラレーター間の通信速度、メモリ帯域幅、ソフトウェアスケジューリングに左右されることがある。

NVIDIA Blackwellプラットフォームは、GPU、CPU、NVLink、ネットワーク、ソフトウェアを統合するラックスケールのアプローチを前面に打ち出した。AMDもInstinctアクセラレーター、オープンなソフトウェアエコシステム、ラック単位のシステムを強化している。この競争では、単一チップのベンチマークよりも次の要素が重要だ。

• 1ラックで同時に処理できるリクエスト数
• アクセラレーター間で重みとKV cacheを移動するコスト
• 障害発生時に残った機器を活用する能力
• 電力供給と冷却の上限内で維持される持続性能
• モデルを実際にデプロイするまでに必要な開発時間

ラックの価格が高くても、利用率と処理量が十分に高ければ、トークン当たりのコストは低くなり得る。反対に、安価なチップでも、ソフトウェアの未成熟や通信のボトルネックによりアイドル時間が長ければ、経済性を失う。

3. ウェハースケールで通信境界を減らす

Cerebrasは、一般的な複数の個別ダイの代わりに、ウェハーサイズのプロセッサを使用するWSE系列を開発した。大規模な演算リソースとメモリ帯域幅を1枚のウェハーに配置し、既存クラスターで発生するチップ間通信の一部を減らすアプローチだ。

ウェハースケール構造は、低遅延と高スループットを狙えるが、すべての通信をなくすわけではない。複数のシステムを接続したり、大規模モデルを運用したりする際には、外部メモリ、ネットワーク、障害復旧、コンパイラが依然として必要だ。特定モデルの1秒当たりのトークン記録も、精度、バッチサイズ、コンテキスト長、出力条件が異なれば直接比較できない。

4. メモリとデータ移動を優先的に最適化

推論では、演算自体よりもモデルの重みとKV cacheを移動する過程がボトルネックになりやすい。特にトークンを1つずつ生成するデコード段階は、メモリ帯域幅の影響を大きく受ける。

ハードウェア事業者が高帯域幅メモリ、チップレット、高速インターコネクト、より大容量のキャッシュを重視する理由はここにある。演算性能の数値が高くても、必要なデータを適時に供給できなければ、実際のトークン処理量は増加しない。

5. ハードウェアと推論ソフトウェアを共同設計

トソンビは半導体だけで決まるものではない。同じハードウェアでも、次の手法によって処理量が大きく変わることがある。

• 量子化: 重みと演算精度を下げ、メモリ使用量と演算量を減らす。
• 連続バッチング: 到着時間が異なるリクエストを効率的にまとめる。
• プレフィックスキャッシング: 繰り返されるシステムプロンプトとコンテキスト計算を再利用する。
• 投機的デコーディング: 小型モデルがトークン候補を作成し、大型モデルが検証する。
• Prefill・decode分離: 入力処理と出力生成を別々のリソースに配置する。
• 疎モデルルーティング: Mixture-of-Expertsモデルで必要な一部のエキスパートだけを有効化する。

カスタムチップは、コンパイラとモデルが併せて準備されてこそ効果を発揮する。CUDAがNVIDIAの重要な防衛線である理由も、ライブラリ、開発ツール、最適化の知識、人材まで含むエコシステムがすでに蓄積されているためだ。

NVIDIA依存はなぜ急速になくならないのか

独自チップやAMDアクセラレーターを導入する企業も、NVIDIAシステムを併用することがある。これは戦略上の矛盾というより、ワークロードの分散に近い。

NVIDIAの強みは次のとおりだ。

1. CUDAと幅広いAIライブラリのサポート
2. 新規モデルを迅速に試せる汎用性
3. サーバー、ネットワーク、管理ソフトウェアを網羅する完成度
4. 開発者と運用人材の経験蓄積
5. クラウドとサーバーメーカーにおける幅広い供給

一方、独自ASICは、安定して反復される大規模ワークロードで強みを得やすい。したがって市場は、1種類のチップがすべてを代替するのではなく、汎用GPUと特化型アクセラレーターが役割を分担する構造へ発展する可能性が高い。

トソンビの比較で必ず統制すべき条件

企業が発表した最大性能やコスト削減率は、同じ条件での独立ベンチマークでなければ直接比較できない。少なくとも次の条件をそろえる必要がある。

MLCommonsのMLPerf Inferenceのように、モデル、シナリオ、品質条件を明示した結果は比較的有用だ。ただし公開ベンチマークも、実際の企業におけるモデル構成、地域別の電力コスト、トラフィックパターンを完全に再現することはできない。

単純なトークン価格を超えて成功タスク当たりのコストへ

トークンは測定しやすいが、最終成果物の価値を直接示すものではない。モデルAがモデルBよりトークン価格は低くても、より長い回答を生成したり、頻繁に失敗したりすれば、1つの業務を終えるための費用はかえって高くなる可能性がある。

エージェントサービスには、次の計算がより適している。

成功タスク当たりのコスト = モデル・ツール・インフラの総費用 ÷ 品質基準を通過したタスク数

ここにはトークン費用だけでなく、検索API、コード実行、データベース、人によるレビュー、失敗した試行、遅延による費用も含まれる。これは、単純な性能競争やトソンビをめぐる議論で見落とされがちな観点だ。

公開情報と確認されていない数値を区別する方法

製品ロードマップと半導体市場の見通しは頻繁に変更される。提供資料に含まれる一部の名称や数値のうち、公式製品文書や再現可能なベンチマークで十分に確認されていない項目は、確定した事実として使用しなかった。例えば、特定モデル専用とされるFrozen V2、Claude Fable 5、特定の未公開モデルにおけるCerebrasの速度、チップ別の100万トークン当たりの固定費用、将来の市場シェアの数値がこれに該当する。

また、次のような表現は条件を確認する必要がある。

• 最大10倍の効率: 比較対象、精度、システム範囲を確認する必要がある。
• トークン費用を50%削減: モデル、地域、利用率、減価償却の条件が必要だ。
• 1秒当たり数百トークン: 単一ユーザーの速度なのか、全体の処理量なのかを区別する必要がある。
• 脱NVIDIA: 完全な置き換えなのか、一部の社内ワークロードの移行なのかを確認する必要がある。

投資やインフラ調達の判断には、発表資料だけを使用せず、独立ベンチマーク、実際の供給スケジュール、ソフトウェアのサポート範囲、総保有コストを併せて検討する必要がある。

市場の結論

AI半導体競争は、最高速度だけを競う段階から、品質基準を満たすトークンとタスクを、どれだけ低い総費用で生産できるかを競う段階へ移行している。

カスタムASICは、繰り返される大規模ワークロードで高い効率を追求し、汎用GPUは柔軟なモデルサポートと成熟したエコシステムで対抗する。ラックスケール設計、メモリ帯域幅、ネットワーク、電力、推論ソフトウェアは、チップ自体と同じくらい重要になった。

結局、勝者を分ける指標は、単純な1秒当たりのトークン数や100万トークン当たりの価格ではない。実際のトラフィックにおける品質、遅延、利用率、電力制約を反映した成功タスク当たりの総コストが、より正確な基準だ。