AI半導体競争の新基準、トークン当たりコスト ====================== 生成AI市場では、最高の演算性能だけでなく、一定の品質と応答速度を保ちながら、トークンをどれだけ安く生成できるかが重要になった。カスタムASIC、ラックスケールシステム、メモリ・ネットワークの最適化が競争の鍵だが、コストはチップの仕様だけでは比較できない。 - AIサービスが拡大するほど、繰り返し発生する推論コストが製品の価格と収益性を直接左右する。 - トークン当たりコストは、チップ価格ではなく、電力、メモリ、ネットワーク、利用率、ソフトウェア、モデル品質を含む総コストで算出しなければならない。 - Google、AWS、Microsoft、Metaは、自社のワークロードに合わせたアクセラレーターによってコストとサプライチェーンを管理しようとしている。 - NVIDIAとAMDは、汎用性、開発エコシステム、ラック単位の最適化を組み合わせ、カスタムチップに対抗している。 - 実務でより有用な指標は、単純なトークン当たりコストではなく、品質と再試行を反映した成功タスク当たりコストである。 生成AI半導体の競争基準は、最大演算量から実際のサービスとしての経済性へと広がっている。業界で非公式に使われるトソンビとは、トークンのコストパフォーマンス、すなわち一定の費用や電力でどれだけ多くのトークンを有効に処理できるかを意味する。 しかし、最も安いトークンが必ずしも最も経済的な結果を生み出すとは限らない。モデルの精度、応答遅延、再試行回数、データセンターの利用率まで併せて測定してこそ、実際の競争力を判断できる。 トソンビとは何か トークンは、言語モデルが入力を読み取り、出力を生成する際に使用するテキスト処理単位だ。API事業者は通常、入力トークンと出力トークンを区別して価格を設定し、キャッシュされた入力には別料金を適用することもある。 トソンビは正式な会計用語でも標準ベンチマークでもない。実務では次の指標を区別する必要がある。 指標 意味 見落としやすい要素 1ドル当たりのトークン数 同じ費用で処理したトークン数 品質、遅延、入力・出力価格の差 1秒当たりのトークン数 生成処理速度 同時ユーザー数と最初のトークンの遅延 1ワット当たりのトークン数 電力効率 冷却と電力変換の損失 サーバー当たりの処理量 サーバーまたはラックの総処理量 低い利用率と待機時間 成功タスク当たりのコスト 目標を完了するためにかかった総費用 再試行、ツール呼び出し、失敗した経路 トークン当たりの総コストは、概念的には次のように捉えられる。 トークン当たりの総コスト = 減価償却 + 電力・冷却 + メモリ・ネットワーク + 運用費 + ソフトウェア費用 ÷ 有効処理トークン ここで有効処理トークンとは、単純な生成量ではなく、サービス品質基準を満たしたトークンを意味する。モデルごとにトークナイザーと回答の長さが異なるため、100万トークン当たりの価格だけを直接比較すると歪みが生じる可能性がある。 推論コストが半導体競争を変える理由 サービスが利用されるたびに費用が繰り返し発生する 大規模学習は莫大な費用が集中する段階だが、完全な一回限りの支出ではない。事前学習後も、ファインチューニング、強化学習、評価、新バージョンの学習が繰り返される。それでも、ユーザーがリクエストするたびに発生する推論コストは、サービスの成長とほぼ歩調を合わせて増加するという点で、ビジネスモデルにより直接的な影響を与える。 Stanford AI Index 2025は、一定水準のモデル性能を提供する推論コストが急速に低下したと分析した。これは半導体の改善だけでなく、小型モデル、量子化、推論エンジン、競争の拡大が併せて生み出した結果だ。単価が下がれば、より多くの機能が経済性を得る一方、使用量の増加が単価低下を相殺するジェボンズ効果も生じ得る。 AIエージェントがトークン使用量を増幅する 一般的なチャットボットでは、質問と回答が比較的短く終わる。一方、AIエージェントは次の作業を繰り返すことがある。 計画の策定と修正 長い文書またはコードリポジトリの読み取り 検索、データベース、ターミナルなどのツール呼び出し 実行結果の確認とエラー修正 複数候補の生成と評価 作業ステップが長くなるほど、入力コンテキスト、中間推論、ツールの結果、再試行が蓄積する。エージェント時代には、モデル呼び出し1回の価格よりも、1つの業務を正常に完了するためにかかった総費用が重要だ。 電力と設備が実際の供給限界を生み出す AIアクセラレーターを確保しても、受電設備、冷却、高帯域幅メモリ、ネットワーク、データセンターのスペースが不足していれば稼働できない。したがって、1ワット当たりのトークン数と1ラック当たりのトークン数は、電気料金の削減以上の意味を持つ。限られた電力容量で提供できるサービス量を決定するためだ。 トークン当たりのコストを下げるハードウェア戦略 1. 特定のワークロードに合わせた独自アクセラレーター 汎用GPUは多様なモデルと演算をサポートするが、その柔軟性にはコストが伴う。大規模クラウド事業者は、繰り返し実行する社内ワークロードを分析し、不要な機能を減らしてデータ移動経路を最適化できる。 企業 公開されているアクセラレーター系列 主な方向性 解釈する際の注意点 Google TPU, Ironwood モデル、コンパイラ、クラウドインフラの共同設計 Googleの社内環境外でも同じ効率が再現されるとは断定できない AWS Trainium, Inferentia 学習と推論に合わせたAWS専用チップおよびNeuronソフトウェア 対応する演算とモデル移植コストを確認する必要がある Microsoft Maia 100 Azure AIワークロード向け独自アクセラレーター 公開仕様だけでは商用ワークロードのコストを算出しにくい Meta MTIA レコメンド・ランキングなど大規模な社内推論ワークロードの最適化 すべての生成AIモデルを代替する汎用LLMチップではない Googleが2025年に公開したIronwoodは、推論を中心に設計された第7世代TPUだ。これは特定のGeminiモデル1つだけに固定されたチップというより、Googleのモデル、XLAコンパイラ、データセンターを併せて最適化する垂直統合戦略として理解するほうが正確だ。 独自チップの目的は、チップの購入費削減だけではない。供給スケジュールの管理、電力効率の改善、社内ワークロードの最適化、外部サプライヤーに対する交渉力の確保が複合的に作用する。 2. ラック全体を1台のコンピューターとして設計 大規模モデルは1つのアクセラレーターのメモリには収まらないため、複数のアクセラレーターに分散される。このとき性能は、個々のチップの演算能力よりも、アクセラレーター間の通信速度、メモリ帯域幅、ソフトウェアスケジューリングに左右されることがある。 NVIDIA Blackwellプラットフォームは、GPU、CPU、NVLink、ネットワーク、ソフトウェアを統合するラックスケールのアプローチを前面に打ち出した。AMDもInstinctアクセラレーター、オープンなソフトウェアエコシステム、ラック単位のシステムを強化している。この競争では、単一チップのベンチマークよりも次の要素が重要だ。 1ラックで同時に処理できるリクエスト数 アクセラレーター間で重みとKV cacheを移動するコスト 障害発生時に残った機器を活用する能力 電力供給と冷却の上限内で維持される持続性能 モデルを実際にデプロイするまでに必要な開発時間 ラックの価格が高くても、利用率と処理量が十分に高ければ、トークン当たりのコストは低くなり得る。反対に、安価なチップでも、ソフトウェアの未成熟や通信のボトルネックによりアイドル時間が長ければ、経済性を失う。 3. ウェハースケールで通信境界を減らす Cerebrasは、一般的な複数の個別ダイの代わりに、ウェハーサイズのプロセッサを使用するWSE系列を開発した。大規模な演算リソースとメモリ帯域幅を1枚のウェハーに配置し、既存クラスターで発生するチップ間通信の一部を減らすアプローチだ。 ウェハースケール構造は、低遅延と高スループットを狙えるが、すべての通信をなくすわけではない。複数のシステムを接続したり、大規模モデルを運用したりする際には、外部メモリ、ネットワーク、障害復旧、コンパイラが依然として必要だ。特定モデルの1秒当たりのトークン記録も、精度、バッチサイズ、コンテキスト長、出力条件が異なれば直接比較できない。 4. メモリとデータ移動を優先的に最適化 推論では、演算自体よりもモデルの重みとKV cacheを移動する過程がボトルネックになりやすい。特にトークンを1つずつ生成するデコード段階は、メモリ帯域幅の影響を大きく受ける。 ハードウェア事業者が高帯域幅メモリ、チップレット、高速インターコネクト、より大容量のキャッシュを重視する理由はここにある。演算性能の数値が高くても、必要なデータを適時に供給できなければ、実際のトークン処理量は増加しない。 5. ハードウェアと推論ソフトウェアを共同設計 トソンビは半導体だけで決まるものではない。同じハードウェアでも、次の手法によって処理量が大きく変わることがある。 量子化: 重みと演算精度を下げ、メモリ使用量と演算量を減らす。 連続バッチング: 到着時間が異なるリクエストを効率的にまとめる。 プレフィックスキャッシング: 繰り返されるシステムプロンプトとコンテキスト計算を再利用する。 投機的デコーディング: 小型モデルがトークン候補を作成し、大型モデルが検証する。 Prefill・decode分離: 入力処理と出力生成を別々のリソースに配置する。 疎モデルルーティング: Mixture-of-Expertsモデルで必要な一部のエキスパートだけを有効化する。 カスタムチップは、コンパイラとモデルが併せて準備されてこそ効果を発揮する。CUDAがNVIDIAの重要な防衛線である理由も、ライブラリ、開発ツール、最適化の知識、人材まで含むエコシステムがすでに蓄積されているためだ。 NVIDIA依存はなぜ急速になくならないのか 独自チップやAMDアクセラレーターを導入する企業も、NVIDIAシステムを併用することがある。これは戦略上の矛盾というより、ワークロードの分散に近い。 NVIDIAの強みは次のとおりだ。 CUDAと幅広いAIライブラリのサポート 新規モデルを迅速に試せる汎用性 サーバー、ネットワーク、管理ソフトウェアを網羅する完成度 開発者と運用人材の経験蓄積 クラウドとサーバーメーカーにおける幅広い供給 一方、独自ASICは、安定して反復される大規模ワークロードで強みを得やすい。したがって市場は、1種類のチップがすべてを代替するのではなく、汎用GPUと特化型アクセラレーターが役割を分担する構造へ発展する可能性が高い。 トソンビの比較で必ず統制すべき条件 企業が発表した最大性能やコスト削減率は、同じ条件での独立ベンチマークでなければ直接比較できない。少なくとも次の条件をそろえる必要がある。 比較条件 コストに及ぼす影響 モデルとパラメータ数 必要なメモリと演算量が異なる 数値精度 FP8、BF16、INT8などで速度と品質が異なる 入力・出力の長さ Prefillとdecodeの比率が異なる バッチサイズと同時リクエスト スループットと遅延のバランスが異なる 最初のトークンの遅延 リアルタイムサービスの体感品質を左右する 稼働率 固定費を実際の処理量で割る基準となる 電力の測定範囲 チップのみを測定したか、冷却・ネットワークまで含めたかが異なる 応答品質 短くても不正確な回答は再試行コストを生む MLCommonsのMLPerf Inferenceのように、モデル、シナリオ、品質条件を明示した結果は比較的有用だ。ただし公開ベンチマークも、実際の企業におけるモデル構成、地域別の電力コスト、トラフィックパターンを完全に再現することはできない。 単純なトークン価格を超えて成功タスク当たりのコストへ トークンは測定しやすいが、最終成果物の価値を直接示すものではない。モデルAがモデルBよりトークン価格は低くても、より長い回答を生成したり、頻繁に失敗したりすれば、1つの業務を終えるための費用はかえって高くなる可能性がある。 エージェントサービスには、次の計算がより適している。 成功タスク当たりのコスト = モデル・ツール・インフラの総費用 ÷ 品質基準を通過したタスク数 ここにはトークン費用だけでなく、検索API、コード実行、データベース、人によるレビュー、失敗した試行、遅延による費用も含まれる。これは、単純な性能競争やトソンビをめぐる議論で見落とされがちな観点だ。 公開情報と確認されていない数値を区別する方法 製品ロードマップと半導体市場の見通しは頻繁に変更される。提供資料に含まれる一部の名称や数値のうち、公式製品文書や再現可能なベンチマークで十分に確認されていない項目は、確定した事実として使用しなかった。例えば、特定モデル専用とされるFrozen V2、Claude Fable 5、特定の未公開モデルにおけるCerebrasの速度、チップ別の100万トークン当たりの固定費用、将来の市場シェアの数値がこれに該当する。 また、次のような表現は条件を確認する必要がある。 最大10倍の効率: 比較対象、精度、システム範囲を確認する必要がある。 トークン費用を50%削減: モデル、地域、利用率、減価償却の条件が必要だ。 1秒当たり数百トークン: 単一ユーザーの速度なのか、全体の処理量なのかを区別する必要がある。 脱NVIDIA: 完全な置き換えなのか、一部の社内ワークロードの移行なのかを確認する必要がある。 投資やインフラ調達の判断には、発表資料だけを使用せず、独立ベンチマーク、実際の供給スケジュール、ソフトウェアのサポート範囲、総保有コストを併せて検討する必要がある。 市場の結論 AI半導体競争は、最高速度だけを競う段階から、品質基準を満たすトークンとタスクを、どれだけ低い総費用で生産できるかを競う段階へ移行している。 カスタムASICは、繰り返される大規模ワークロードで高い効率を追求し、汎用GPUは柔軟なモデルサポートと成熟したエコシステムで対抗する。ラックスケール設計、メモリ帯域幅、ネットワーク、電力、推論ソフトウェアは、チップ自体と同じくらい重要になった。 結局、勝者を分ける指標は、単純な1秒当たりのトークン数や100万トークン当たりの価格ではない。実際のトラフィックにおける品質、遅延、利用率、電力制約を反映した成功タスク当たりの総コストが、より正確な基準だ。 FAQ Q. トークンコスパは、公式なAI半導体の性能指標ですか？ A. いいえ。トークンコスパは、トークンの費用対効果を略した非公式な表現です。比較する際は、1ドル当たりのトークン数、1ワット当たりのトークン数、1秒当たりのトークン数、最初のトークンが出るまでの遅延、成功タスク当たりのコストを区別する必要があります。 Q. 学習より推論コストのほうが重要になったのはなぜですか？ A. 学習と後処理にも繰り返し投資する必要がありますが、推論ではユーザーがリクエストするたびにコストが発生します。サービスの利用量とエージェントの作業ステップが増えるほど、電力、アクセラレーターの稼働時間、メモリ、ネットワークのコストが継続的に累積します。 Q. AIエージェントは、なぜ一般的なチャットボットより多くのトークンを使用するのですか？ A. AIエージェントは、計画、検索、ツール呼び出し、結果の検討、エラー修正のプロセスを繰り返します。各ステップでコンテキストと中間結果が再入力され、失敗した経路でもコストが発生するため、全体のトークン使用量が増える可能性があります。 Q. 自社製AIチップは、常にNVIDIA GPUより安いのですか？ A. 必ずしもそうではありません。自社製チップは、一定かつ反復的な社内ワークロードでは効率を高められますが、モデルの移植、コンパイラ、運用担当者、低い稼働率によって追加コストが生じる可能性があります。汎用性と開発速度まで含めた総所有コストで比較する必要があります。 Q. 1秒当たりのトークン数が多ければ、トークン当たりのコストも下がりますか？ A. 必ずしもそうではありません。1秒当たりのトークン数は速度の指標であり、機器価格、電力、同時リクエスト数、稼働率を反映していない場合があります。単一ユーザーの生成速度とサーバー全体のスループットも、それぞれ異なる指標です。 Q. 異なるモデルの100万トークン当たりの価格を直接比較してもよいですか？ A. 注意が必要です。モデルごとにトークナイザー、平均回答長、精度、キャッシュポリシーが異なります。同じ業務と品質基準において必要となる入力・出力トークン、再試行回数、ツールのコストを併せて比較する必要があります。 Q. CUDAへのロックインが強いとは、どういう意味ですか？ A. 企業のコード、ライブラリ、最適化手法、開発人材がNVIDIA CUDA環境に蓄積されているという意味です。別のアクセラレーターへ移行する際に、コードの修正、性能検証、運用体制の再構築にコストが生じる可能性があります。 Q. AI半導体の実際の経済性を評価する最適な指標は何ですか？ A. サービスの目的によって異なりますが、エージェントと業務自動化には、成功タスク当たりの総コストが有用です。この指標には、トークンだけでなく、品質、再試行、ツール呼び出し、遅延、電力、人による確認のコストまで反映されます。 Sources - Stanford AIインデックスレポート2025: https://hai.stanford.edu/ai-index/2025-ai-index-report - MLCommons MLPerf推論：データセンター: https://mlcommons.org/benchmarks/inference-datacenter/ - Google Cloud：推論時代のIronwood TPU: https://cloud.google.com/blog/products/compute/ironwood-tpu-age-of-inference - AWS Trainium: https://aws.amazon.com/ai/machine-learning/trainium/ - AWS Inferentia: https://aws.amazon.com/machine-learning/inferentia/ - Microsoft：Azure MaiaとAzure Cobaltの紹介: https://www.microsoft.com/en-us/microsoft-cloud/blog/2023/11/15/introducing-azure-maia-and-azure-cobalt-custom-silicon-for-ai-and-general-purpose-compute/ - Meta Engineering：次世代Metaトレーニング・推論アクセラレーター: https://engineering.fb.com/2024/04/10/data-center-engineering/next-generation-meta-training-inference-accelerator/ - NVIDIA Blackwell AIコンピューティングプラットフォーム: https://nvidianews.nvidia.com/news/blackwell-ai-computing-platform - Cerebrasウェハースケールエンジン: https://www.cerebras.ai/chip - Anthropic API料金: https://www.anthropic.com/pricing - OpenAI API料金: https://openai.com/api/pricing/ Images - AIチップとサーバー、メモリ、冷却・電力装置がつながり、コストの天秤が置かれた図: https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6ODczNiwicHVyIjoiYmxvYl9pZCJ9fQ==--89216a7803ea259aaf3da7751b5e2558ddbd0d58/ai-6567cf23.webp - 複雑なチップ処理と最適化された階層型AIサーバーを比較する図: https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6ODc0MiwicHVyIjoiYmxvYl9pZCJ9fQ==--a4c58b75c8d5a545afb9e6754eeae729a3db54f8/ai-58645f49.webp --- Category: AIデータ Source: https://injoys.com/ja/articles/ai-chip-token-economics-and-hardware-strategies License: cc_by Translation-Status: reviewed