---
title: "Kosten pro Token: der neue Maßstab im KI-Chip-Wettbewerb"
locale: de
category: ai_data
category_name: "KI-Daten"
translation_status: reviewed
license: cc_by
author: "injoys"
source_url: https://injoys.com/en/articles/ai-chip-token-economics-and-hardware-strategies
published_at: 2026-08-17T07:14:00+09:00
---

# Kosten pro Token: der neue Maßstab im KI-Chip-Wettbewerb

> Im Markt für generative KI zählt nicht mehr nur die höchste Rechenleistung, sondern auch, wie kostengünstig sich Token bei gleichbleibender Qualität und Antwortgeschwindigkeit erzeugen lassen. Maßgeschneiderte ASICs, Rack-Scale-Systeme sowie die Optimierung von Speicher und Netzwerken stehen im Zentrum des Wettbewerbs, doch die Kosten lassen sich nicht allein anhand der Chip-Spezifikationen vergleichen.

## Key Points

- Je größer ein KI-Dienst wird, desto stärker bestimmen die wiederkehrenden Inferenzkosten direkt den Preis und die Rentabilität des Produkts.
- Die Kosten pro Token müssen als Gesamtkosten berechnet werden, die nicht nur den Chippreis, sondern auch Stromverbrauch, Speicher, Netzwerk, Auslastung, Software und Modellqualität umfassen.
- Google, AWS, Microsoft und Meta wollen Kosten und Lieferketten mit Beschleunigern kontrollieren, die auf ihre eigenen Workloads zugeschnitten sind.
- NVIDIA und AMD begegnen maßgeschneiderten Chips, indem sie universelle Einsetzbarkeit, Entwicklerökosysteme und Optimierung auf Rack-Ebene kombinieren.
- In der Praxis sind die Kosten pro erfolgreicher Aufgabe, die Qualität und Wiederholungsversuche berücksichtigen, aussagekräftiger als die bloßen Kosten pro Token.

Der Wettbewerb bei Halbleitern für generative KI weitet sich von der maximalen Rechenleistung auf die tatsächliche Wirtschaftlichkeit im Servicebetrieb aus. Die in der Branche inoffiziell verwendete **Token-Kosteneffizienz** bezeichnet das Preis-Leistungs-Verhältnis von Tokens, also wie viele Tokens mit bestimmten Kosten oder einer bestimmten Strommenge sinnvoll verarbeitet werden können.

Doch die günstigsten Tokens führen nicht zwangsläufig zum wirtschaftlichsten Ergebnis. Um die tatsächliche Wettbewerbsfähigkeit beurteilen zu können, müssen auch die Genauigkeit des Modells, die Antwortlatenz, die Zahl der Wiederholungsversuche und die Auslastung des Rechenzentrums gemessen werden.

## Was ist Token-Kosteneffizienz?

Tokens sind Einheiten zur Textverarbeitung, die ein Sprachmodell beim Lesen von Eingaben und beim Erzeugen von Ausgaben verwendet. API-Anbieter berechnen Eingabe- und Ausgabe-Tokens üblicherweise getrennt und wenden mitunter eigene Tarife auf zwischengespeicherte Eingaben an.

Token-Kosteneffizienz ist weder ein offizieller Begriff aus dem Rechnungswesen noch ein standardisierter Benchmark. In der Praxis müssen die folgenden Kennzahlen unterschieden werden.

| Kennzahl | Bedeutung | Leicht zu übersehende Faktoren |
|---|---|---|
| Tokens pro Dollar | Zahl der für dieselben Kosten verarbeiteten Tokens | Qualität, Latenz, Preisunterschiede zwischen Ein- und Ausgabe |
| Tokens pro Sekunde | Geschwindigkeit der Generierung | Zahl gleichzeitiger Nutzer und Latenz bis zum ersten Token |
| Tokens pro Watt | Energieeffizienz | Verluste durch Kühlung und Stromumwandlung |
| Durchsatz pro Server | Gesamtdurchsatz eines Servers oder Racks | Niedrige Auslastung und Wartezeiten |
| Kosten pro erfolgreicher Aufgabe | Gesamtkosten für das Erreichen eines Ziels | Wiederholungsversuche, Tool-Aufrufe, fehlgeschlagene Pfade |

Die Gesamtkosten pro Token lassen sich konzeptionell wie folgt darstellen.

`Gesamtkosten pro Token = Abschreibung + Strom·Kühlung + Speicher·Netzwerk + Betriebskosten + Softwarekosten ÷ effektiv verarbeitete Tokens`

Effektiv verarbeitete Tokens bezeichnen hier nicht einfach die generierte Menge, sondern Tokens, die die Qualitätsanforderungen des Dienstes erfüllen. Da unterschiedliche Modelle verschiedene Tokenizer und Antwortlängen haben, kann ein direkter Vergleich allein anhand des Preises für 1 Million Tokens zu Verzerrungen führen.

## Warum Inferenzkosten den Halbleiterwettbewerb verändern

### Bei jeder Nutzung eines Dienstes entstehen erneut Kosten

Das Training großer Modelle ist eine Phase, in der sich enorme Kosten konzentrieren, aber keine vollständig einmalige Ausgabe. Auch nach dem Vortraining werden Feinabstimmung, Reinforcement Learning, Evaluierung und das Training neuer Versionen wiederholt. Dennoch wirken sich die bei jeder Nutzeranfrage entstehenden Inferenzkosten unmittelbarer auf das Geschäftsmodell aus, da sie nahezu parallel zum Wachstum des Dienstes steigen.

Der Stanford AI Index 2025 analysierte, dass die Inferenzkosten für die Bereitstellung eines bestimmten Niveaus an Modellleistung schnell gesunken sind. Dies ist nicht nur auf Verbesserungen bei Halbleitern zurückzuführen, sondern auch auf kleinere Modelle, Quantisierung, Inferenz-Engines und zunehmenden Wettbewerb. Sinkende Stückkosten machen mehr Funktionen wirtschaftlich tragfähig, doch zugleich kann ein Jevons-Effekt auftreten, bei dem der steigende Verbrauch die sinkenden Stückkosten ausgleicht.

### AI-Agenten vervielfachen die Token-Nutzung

Bei gewöhnlichen Chatbots sind Fragen und Antworten meist relativ kurz. AI-Agenten können dagegen die folgenden Vorgänge wiederholt ausführen.

- Pläne erstellen und überarbeiten
- Lange Dokumente oder Code-Repositories lesen
- Tools wie Suche, Datenbanken und Terminals aufrufen
- Ausführungsergebnisse prüfen und Fehler korrigieren
- Mehrere Kandidaten erzeugen und bewerten

Je länger die Abfolge der Arbeitsschritte wird, desto stärker summieren sich Eingabekontext, Zwischenschritte der Schlussfolgerung, Tool-Ergebnisse und Wiederholungsversuche. Im Zeitalter der Agenten sind daher nicht die Kosten eines einzelnen Modellaufrufs entscheidend, sondern die Gesamtkosten für den erfolgreichen Abschluss einer Aufgabe.

### Strom und Anlagen bestimmen die tatsächlichen Kapazitätsgrenzen

Selbst verfügbare AI-Beschleuniger können nicht betrieben werden, wenn Netzanschlussleistung, Kühlung, Speicher mit hoher Bandbreite, Netzwerk oder Platz im Rechenzentrum fehlen. Deshalb haben Tokens pro Watt und Tokens pro Rack eine Bedeutung, die über die Senkung der Stromkosten hinausgeht. Sie bestimmen, wie viel Serviceleistung innerhalb einer begrenzten Stromkapazität angeboten werden kann.

## Hardwarestrategien zur Senkung der Kosten pro Token

### 1. Eigene Beschleuniger für bestimmte Workloads

Allzweck-GPUs unterstützen unterschiedliche Modelle und Berechnungen, doch diese Flexibilität ist mit Kosten verbunden. Große Cloud-Anbieter können regelmäßig ausgeführte interne Workloads analysieren, nicht benötigte Funktionen reduzieren und die Wege der Datenübertragung optimieren.

| Unternehmen | Öffentlich vorgestellte Beschleunigerfamilien | Zentrale Ausrichtung | Bei der Interpretation zu beachten |
|---|---|---|---|
| Google | TPU, Ironwood | Gemeinsame Entwicklung von Modellen, Compilern und Cloud-Infrastruktur | Es kann nicht davon ausgegangen werden, dass außerhalb der internen Umgebung von Google dieselbe Effizienz erreicht wird |
| AWS | Trainium, Inferentia | AWS-eigene Chips und Neuron-Software für Training und Inferenz | Unterstützte Operationen und Kosten der Modellportierung müssen geprüft werden |
| Microsoft | Maia 100 | Eigene Beschleuniger für Azure-AI-Workloads | Die Kosten kommerzieller Workloads lassen sich allein anhand öffentlich bekannter Spezifikationen nur schwer berechnen |
| Meta | MTIA | Optimierung umfangreicher interner Inferenz-Workloads wie Empfehlungen und Rankings | Kein universeller LLM-Chip, der alle Modelle für generative KI ersetzt |

Das 2025 von Google vorgestellte Ironwood ist eine auf Inferenz ausgerichtete TPU der 7. Generation. Es ist treffender, dies als vertikal integrierte Strategie zu verstehen, bei der Google seine Modelle, den XLA-Compiler und seine Rechenzentren gemeinsam optimiert, statt als einen Chip, der ausschließlich auf ein bestimmtes Gemini-Modell festgelegt ist.

Der Zweck eigener Chips besteht nicht allein darin, Anschaffungskosten zu senken. Ebenso wichtig sind die Kontrolle über Liefertermine, eine bessere Energieeffizienz, die Optimierung interner Workloads und eine stärkere Verhandlungsposition gegenüber externen Anbietern.

### 2. Das gesamte Rack als einen Computer konzipieren

Da große Modelle nicht in den Speicher eines einzelnen Beschleunigers passen, werden sie auf mehrere Beschleuniger verteilt. Dabei kann die Leistung stärker von der Kommunikationsgeschwindigkeit zwischen den Beschleunigern, der Speicherbandbreite und der Softwareplanung abhängen als von der Rechenleistung einzelner Chips.

Die NVIDIA-Blackwell-Plattform stellt einen Rack-Scale-Ansatz in den Vordergrund, der GPUs, CPUs, NVLink, Netzwerke und Software integriert. Auch AMD stärkt seine Instinct-Beschleuniger, sein offenes Software-Ökosystem und Systeme auf Rack-Ebene. In diesem Wettbewerb sind die folgenden Faktoren wichtiger als Benchmarks einzelner Chips.

- Zahl der Anfragen, die in einem Rack gleichzeitig verarbeitet werden können
- Kosten für die Übertragung von Gewichten und KV cache zwischen Beschleunigern
- Fähigkeit, bei Ausfällen die verbleibenden Geräte weiter zu nutzen
- Dauerleistung innerhalb der Grenzen von Stromversorgung und Kühlung
- Erforderliche Entwicklungszeit bis zur tatsächlichen Bereitstellung eines Modells

Auch bei einem hohen Rack-Preis können die Kosten pro Token sinken, wenn Auslastung und Durchsatz ausreichend hoch sind. Umgekehrt verlieren selbst günstige Chips ihre Wirtschaftlichkeit, wenn unreife Software oder Kommunikationsengpässe zu langen Leerlaufzeiten führen.

### 3. Kommunikationsgrenzen durch Wafer-Scale-Architekturen verringern

Cerebras hat die WSE-Familie entwickelt, die anstelle mehrerer üblicher Einzeldies Prozessoren in Wafergröße verwendet. Bei diesem Ansatz werden große Rechenressourcen und hohe Speicherbandbreite auf einem einzigen Wafer angeordnet, um einen Teil der Kommunikation zwischen Chips zu reduzieren, die in herkömmlichen Clustern anfällt.

Wafer-Scale-Strukturen können auf niedrige Latenz und hohen Durchsatz zielen, beseitigen jedoch nicht die gesamte Kommunikation. Werden mehrere Systeme verbunden oder große Modelle betrieben, bleiben externer Speicher, Netzwerke, Ausfallsicherheit und Compiler weiterhin erforderlich. Auch Angaben zu den Tokens pro Sekunde eines bestimmten Modells lassen sich nicht direkt vergleichen, wenn Präzision, Batch-Größe, Kontextlänge und Ausgabebedingungen voneinander abweichen.

### 4. Speicher und Datenbewegung vorrangig optimieren

Bei der Inferenz wird häufig nicht die Berechnung selbst zum Engpass, sondern die Übertragung von Modellgewichten und KV cache. Insbesondere die Decode-Phase, in der Tokens einzeln erzeugt werden, wird stark von der Speicherbandbreite beeinflusst.

Aus diesem Grund betonen Hardwareanbieter Speicher mit hoher Bandbreite, Chiplets, schnelle Interconnects und größere Caches. Selbst bei hoher nomineller Rechenleistung steigt der tatsächliche Token-Durchsatz nicht, wenn die benötigten Daten nicht rechtzeitig bereitgestellt werden können.

### 5. Hardware und Inferenzsoftware gemeinsam entwickeln

Token-Kosteneffizienz wird nicht allein durch Halbleiter bestimmt. Selbst auf derselben Hardware kann der Durchsatz je nach den folgenden Verfahren stark variieren.

- **Quantisierung:** Reduziert die Präzision von Gewichten und Berechnungen und damit Speicherbedarf und Rechenaufwand.
- **Kontinuierliches Batching:** Bündelt Anfragen mit unterschiedlichen Ankunftszeiten effizient.
- **Präfix-Caching:** Verwendet Berechnungen wiederkehrender System-Prompts und Kontexte erneut.
- **Spekulatives Decoding:** Ein kleines Modell erzeugt Token-Kandidaten, die von einem großen Modell überprüft werden.
- **Trennung von Prefill und Decode:** Verteilt Eingabeverarbeitung und Ausgabegenerierung auf unterschiedliche Ressourcen.
- **Routing bei Sparse-Modellen:** Aktiviert bei Mixture-of-Experts-Modellen nur einige der benötigten Experten.

Spezialisierte Chips entfalten ihre Wirkung erst, wenn Compiler und Modelle gemeinsam darauf vorbereitet sind. CUDA ist auch deshalb ein wichtiger Schutzwall für NVIDIA, weil bereits ein Ökosystem aufgebaut wurde, das Bibliotheken, Entwicklungswerkzeuge, Optimierungswissen und Fachkräfte umfasst.

## Warum die Abhängigkeit von NVIDIA nicht schnell verschwindet

Auch Unternehmen, die eigene Chips oder AMD-Beschleuniger einführen, können parallel NVIDIA-Systeme einsetzen. Dies ist weniger ein strategischer Widerspruch als vielmehr eine Verteilung von Workloads.

Die Stärken von NVIDIA sind:

1. CUDA und die Unterstützung einer breiten Palette von AI-Bibliotheken
2. Vielseitigkeit für die schnelle Erprobung neuer Modelle
3. Hoher Reifegrad bei Servern, Netzwerken und Verwaltungssoftware
4. Umfangreiche Erfahrung von Entwicklern und Betriebspersonal
5. Breite Verfügbarkeit bei Cloud-Anbietern und Serverherstellern

Eigene ASICs können ihre Stärken dagegen leichter bei konstanten, wiederkehrenden Workloads in großem Maßstab ausspielen. Daher dürfte sich der Markt eher zu einer Struktur entwickeln, in der Allzweck-GPUs und spezialisierte Beschleuniger unterschiedliche Rollen übernehmen, statt dass eine einzige Chipart alle anderen ersetzt.

## Bedingungen, die beim Vergleich der Token-Kosteneffizienz zwingend kontrolliert werden müssen

Von Anbietern veröffentlichte Angaben zur Spitzenleistung oder zu Kostensenkungen lassen sich nur dann direkt vergleichen, wenn es sich um unabhängige Benchmarks unter denselben Bedingungen handelt. Mindestens die folgenden Bedingungen müssen übereinstimmen.

| Vergleichsbedingung | Auswirkung auf die Kosten |
|---|---|
| Modell und Parameterzahl | Erforderlicher Speicher und Rechenaufwand unterscheiden sich |
| Numerische Präzision | Geschwindigkeit und Qualität von FP8, BF16, INT8 usw. unterscheiden sich |
| Ein- und Ausgabelänge | Die Anteile von Prefill und Decode verändern sich |
| Batch-Größe und gleichzeitige Anfragen | Das Verhältnis zwischen Durchsatz und Latenz verändert sich |
| Latenz bis zum ersten Token | Bestimmt die wahrgenommene Qualität von Echtzeitdiensten |
| Auslastung | Dient als Grundlage, um Fixkosten auf den tatsächlichen Durchsatz umzulegen |
| Umfang der Strommessung | Es macht einen Unterschied, ob nur der Chip oder auch Kühlung und Netzwerk einbezogen wurden |
| Antwortqualität | Kurze, aber ungenaue Antworten verursachen Kosten durch Wiederholungsversuche |

Ergebnisse wie MLPerf Inference von MLCommons, die Modelle, Szenarien und Qualitätsbedingungen ausweisen, sind vergleichsweise nützlich. Doch auch öffentliche Benchmarks können die Modellkonfigurationen realer Unternehmen, regionale Stromkosten und Verkehrsmuster nicht vollständig abbilden.

## Über einfache Token-Preise hinaus zu den Kosten pro erfolgreicher Aufgabe

Tokens sind leicht zu messen, geben aber nicht unmittelbar den Wert des Endergebnisses wieder. Selbst wenn Modell A einen niedrigeren Token-Preis als Modell B hat, können die Kosten für den Abschluss einer Aufgabe höher sein, wenn es längere Antworten erzeugt oder häufiger scheitert.

Für Agentendienste eignet sich die folgende Berechnung besser.

`Kosten pro erfolgreicher Aufgabe = Gesamtkosten für Modelle·Tools·Infrastruktur ÷ Zahl der Aufgaben, die die Qualitätsanforderungen erfüllen`

Darin enthalten sind neben den Token-Kosten auch Such-APIs, Codeausführung, Datenbanken, menschliche Prüfungen, fehlgeschlagene Versuche und durch Verzögerungen verursachte Kosten. Diese Perspektive fehlt häufig im Diskurs über reine Leistung oder Token-Kosteneffizienz.

## Wie sich öffentliche Behauptungen von unbestätigten Zahlen unterscheiden lassen

Produkt-Roadmaps und Prognosen für den Halbleitermarkt ändern sich häufig. Einige der in den bereitgestellten Materialien enthaltenen Bezeichnungen und Zahlen, die nicht hinreichend durch offizielle Produktdokumente oder reproduzierbare Benchmarks bestätigt wurden, wurden nicht als feststehende Tatsachen verwendet. Dazu gehören beispielsweise `Frozen V2` und `Claude Fable 5`, die angeblich für bestimmte Modelle vorgesehen sind, Cerebras-Geschwindigkeiten bei bestimmten nicht veröffentlichten Modellen, feste Kosten für 1 Million Tokens je Chip sowie künftige Marktanteilszahlen.

Auch bei den folgenden Formulierungen müssen die Bedingungen geprüft werden.

- **Bis zu 10-mal effizienter:** Vergleichsobjekt, Präzision und Systemumfang müssen geprüft werden.
- **Token-Kosten um 50 % gesenkt:** Angaben zu Modell, Region, Auslastung und Abschreibungsbedingungen sind erforderlich.
- **Mehrere Hundert Tokens pro Sekunde:** Es muss unterschieden werden, ob es sich um die Geschwindigkeit für einen einzelnen Nutzer oder den Gesamtdurchsatz handelt.
- **Abkehr von NVIDIA:** Es muss geprüft werden, ob ein vollständiger Austausch oder die Verlagerung einiger interner Workloads gemeint ist.

Bei Investitions- oder Beschaffungsentscheidungen für Infrastruktur sollten nicht nur Präsentationsunterlagen herangezogen werden. Auch unabhängige Benchmarks, tatsächliche Liefertermine, der Umfang der Softwareunterstützung und die Gesamtbetriebskosten müssen gemeinsam geprüft werden.

## Fazit für den Markt

Der Wettbewerb bei AI-Halbleitern bewegt sich von einer Phase, in der nur um die höchste Geschwindigkeit gerungen wurde, hin zu einem Wettbewerb darum, **Tokens und Aufgaben, die die Qualitätsanforderungen erfüllen, zu möglichst niedrigen Gesamtkosten zu produzieren**.

Spezialisierte ASICs streben bei wiederkehrenden Workloads in großem Maßstab eine hohe Effizienz an, während Allzweck-GPUs mit flexibler Modellunterstützung und einem ausgereiften Ökosystem reagieren. Rack-Scale-Design, Speicherbandbreite, Netzwerke, Stromversorgung und Inferenzsoftware sind inzwischen ebenso wichtig wie der Chip selbst.

Letztlich entscheiden nicht einfache Kennzahlen wie Tokens pro Sekunde oder der Preis für 1 Million Tokens über den Gewinner. Ein genauerer Maßstab sind die **Gesamtkosten pro erfolgreicher Aufgabe**, die bei realem Datenverkehr Qualität, Latenz, Auslastung und Einschränkungen der Stromversorgung berücksichtigen.

## FAQ

### Ist das Token-Preis-Leistungs-Verhältnis eine offizielle Leistungskennzahl für AI-Halbleiter?
Nein. Das Token-Preis-Leistungs-Verhältnis ist ein inoffizieller Kurzausdruck für die Kosteneffizienz von Tokens. Bei Vergleichen muss zwischen Tokens pro Dollar, Tokens pro Watt, Tokens pro Sekunde, der Latenz bis zum ersten Token und den Kosten pro erfolgreich erledigter Aufgabe unterschieden werden.

### Warum sind die Inferenzkosten wichtiger geworden als die Trainingskosten?
Auch Training und Nachbearbeitung erfordern wiederholte Investitionen, doch bei der Inferenz entstehen jedes Mal Kosten, wenn ein Nutzer eine Anfrage stellt. Je stärker die Nutzung eines Dienstes und die Zahl der Arbeitsschritte eines Agenten zunehmen, desto mehr summieren sich die Kosten für Strom, Beschleunigerzeit, Speicher und Netzwerk.

### Warum verwenden AI-Agenten mehr Tokens als gewöhnliche Chatbots?
AI-Agenten wiederholen die Abläufe von Planung, Suche, Werkzeugaufrufen, Ergebnisprüfung und Fehlerkorrektur. Da bei jedem Schritt der Kontext und Zwischenergebnisse erneut eingegeben werden und auch fehlgeschlagene Pfade Kosten verursachen, kann der gesamte Tokenverbrauch steigen.

### Sind eigene AI-Chips immer günstiger als NVIDIA-GPUs?
Nicht immer. Eigene Chips können bei gleichmäßigen und wiederkehrenden internen Workloads die Effizienz erhöhen, doch die Portierung von Modellen, Compiler, Betriebspersonal und eine geringe Auslastung können zusätzliche Kosten verursachen. Der Vergleich muss anhand der Gesamtbetriebskosten erfolgen, einschließlich Vielseitigkeit und Entwicklungsgeschwindigkeit.

### Sinken bei einer hohen Zahl von Tokens pro Sekunde auch die Kosten pro Token?
Nicht unbedingt. Tokens pro Sekunde sind eine Geschwindigkeitskennzahl und berücksichtigen möglicherweise nicht den Gerätepreis, den Stromverbrauch, die Zahl gleichzeitiger Anfragen und die Auslastung. Auch die Generierungsgeschwindigkeit für einen einzelnen Nutzer und der Gesamtdurchsatz des Servers sind unterschiedliche Kennzahlen.

### Kann man die Preise für 1 Million Tokens verschiedener Modelle direkt vergleichen?
Dabei ist Vorsicht geboten. Modelle unterscheiden sich hinsichtlich Tokenizer, durchschnittlicher Antwortlänge, Genauigkeit und Cache-Richtlinien. Für dieselbe Aufgabe und dieselben Qualitätsanforderungen müssen die erforderlichen Eingabe- und Ausgabe-Tokens, die Zahl der Wiederholungsversuche und die Werkzeugkosten gemeinsam verglichen werden.

### Was bedeutet es, dass der CUDA-Lock-in stark ist?
Es bedeutet, dass sich der Code, die Bibliotheken, die Optimierungsverfahren und die Entwicklungskompetenz eines Unternehmens in der NVIDIA-CUDA-Umgebung angesammelt haben. Beim Wechsel zu einem anderen Beschleuniger können Kosten für Codeänderungen, Leistungsvalidierung und den Neuaufbau der Betriebsstrukturen entstehen.

### Welche Kennzahl eignet sich am besten, um die tatsächliche Wirtschaftlichkeit von AI-Halbleitern zu bewerten?
Das hängt vom Zweck des Dienstes ab, doch für Agenten und die Automatisierung von Arbeitsabläufen sind die Gesamtkosten pro erfolgreich erledigter Aufgabe hilfreich. Diese Kennzahl berücksichtigt nicht nur Tokens, sondern auch Qualität, Wiederholungsversuche, Werkzeugaufrufe, Latenz, Stromverbrauch und die Kosten menschlicher Überprüfung.

## Sources

- [Stanford AI Index Bericht 2025](https://hai.stanford.edu/ai-index/2025-ai-index-report)
- [MLCommons MLPerf Inference: Rechenzentrum](https://mlcommons.org/benchmarks/inference-datacenter/)
- [Google Cloud: Ironwood TPU für das Zeitalter der Inferenz](https://cloud.google.com/blog/products/compute/ironwood-tpu-age-of-inference)
- [AWS Trainium](https://aws.amazon.com/ai/machine-learning/trainium/)
- [AWS Inferentia](https://aws.amazon.com/machine-learning/inferentia/)
- [Microsoft: Einführung von Azure Maia und Azure Cobalt](https://www.microsoft.com/en-us/microsoft-cloud/blog/2023/11/15/introducing-azure-maia-and-azure-cobalt-custom-silicon-for-ai-and-general-purpose-compute/)
- [Meta Engineering: Meta Training and Inference Accelerator der nächsten Generation](https://engineering.fb.com/2024/04/10/data-center-engineering/next-generation-meta-training-inference-accelerator/)
- [NVIDIA Blackwell KI-Computing-Plattform](https://nvidianews.nvidia.com/news/blackwell-ai-computing-platform)
- [Cerebras Wafer-Scale Engine](https://www.cerebras.ai/chip)
- [Anthropic API-Preise](https://www.anthropic.com/pricing)
- [OpenAI API-Preise](https://openai.com/api/pricing/)

## Images

![KI-Chip mit Servern, Speicher, Kühlung und Stromsystemen neben einer Kostenwaage](https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6ODczNiwicHVyIjoiYmxvYl9pZCJ9fQ==--89216a7803ea259aaf3da7751b5e2558ddbd0d58/ai-6567cf23.webp)
![Geteilte Infografik vergleicht chaotische Chipverarbeitung mit einem optimierten KI-Server](https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6ODc0MiwicHVyIjoiYmxvYl9pZCJ9fQ==--a4c58b75c8d5a545afb9e6754eeae729a3db54f8/ai-58645f49.webp)