{"content_id":"1xikd0137w","slug":"ai-chip-token-economics-and-hardware-strategies","locale":"de","schema_type":"TechArticle","category":"ai_data","category_name":"KI-Daten","title":"Kosten pro Token: der neue Maßstab im KI-Chip-Wettbewerb","summary":"Im Markt für generative KI zählt nicht mehr nur die höchste Rechenleistung, sondern auch, wie kostengünstig sich Token bei gleichbleibender Qualität und Antwortgeschwindigkeit erzeugen lassen. Maßgeschneiderte ASICs, Rack-Scale-Systeme sowie die Optimierung von Speicher und Netzwerken stehen im Zentrum des Wettbewerbs, doch die Kosten lassen sich nicht allein anhand der Chip-Spezifikationen vergleichen.","sponsorship_disclosure":null,"author":{"name":"injoys","url":"https://injoys.com/ko/about"},"key_points":["Je größer ein KI-Dienst wird, desto stärker bestimmen die wiederkehrenden Inferenzkosten direkt den Preis und die Rentabilität des Produkts.","Die Kosten pro Token müssen als Gesamtkosten berechnet werden, die nicht nur den Chippreis, sondern auch Stromverbrauch, Speicher, Netzwerk, Auslastung, Software und Modellqualität umfassen.","Google, AWS, Microsoft und Meta wollen Kosten und Lieferketten mit Beschleunigern kontrollieren, die auf ihre eigenen Workloads zugeschnitten sind.","NVIDIA und AMD begegnen maßgeschneiderten Chips, indem sie universelle Einsetzbarkeit, Entwicklerökosysteme und Optimierung auf Rack-Ebene kombinieren.","In der Praxis sind die Kosten pro erfolgreicher Aufgabe, die Qualität und Wiederholungsversuche berücksichtigen, aussagekräftiger als die bloßen Kosten pro Token."],"content_markdown":"Der Wettbewerb bei Halbleitern für generative KI weitet sich von der maximalen Rechenleistung auf die tatsächliche Wirtschaftlichkeit im Servicebetrieb aus. Die in der Branche inoffiziell verwendete **Token-Kosteneffizienz** bezeichnet das Preis-Leistungs-Verhältnis von Tokens, also wie viele Tokens mit bestimmten Kosten oder einer bestimmten Strommenge sinnvoll verarbeitet werden können.\n\nDoch die günstigsten Tokens führen nicht zwangsläufig zum wirtschaftlichsten Ergebnis. Um die tatsächliche Wettbewerbsfähigkeit beurteilen zu können, müssen auch die Genauigkeit des Modells, die Antwortlatenz, die Zahl der Wiederholungsversuche und die Auslastung des Rechenzentrums gemessen werden.\n\n## Was ist Token-Kosteneffizienz?\n\nTokens sind Einheiten zur Textverarbeitung, die ein Sprachmodell beim Lesen von Eingaben und beim Erzeugen von Ausgaben verwendet. API-Anbieter berechnen Eingabe- und Ausgabe-Tokens üblicherweise getrennt und wenden mitunter eigene Tarife auf zwischengespeicherte Eingaben an.\n\nToken-Kosteneffizienz ist weder ein offizieller Begriff aus dem Rechnungswesen noch ein standardisierter Benchmark. In der Praxis müssen die folgenden Kennzahlen unterschieden werden.\n\n| Kennzahl | Bedeutung | Leicht zu übersehende Faktoren |\n|---|---|---|\n| Tokens pro Dollar | Zahl der für dieselben Kosten verarbeiteten Tokens | Qualität, Latenz, Preisunterschiede zwischen Ein- und Ausgabe |\n| Tokens pro Sekunde | Geschwindigkeit der Generierung | Zahl gleichzeitiger Nutzer und Latenz bis zum ersten Token |\n| Tokens pro Watt | Energieeffizienz | Verluste durch Kühlung und Stromumwandlung |\n| Durchsatz pro Server | Gesamtdurchsatz eines Servers oder Racks | Niedrige Auslastung und Wartezeiten |\n| Kosten pro erfolgreicher Aufgabe | Gesamtkosten für das Erreichen eines Ziels | Wiederholungsversuche, Tool-Aufrufe, fehlgeschlagene Pfade |\n\nDie Gesamtkosten pro Token lassen sich konzeptionell wie folgt darstellen.\n\n`Gesamtkosten pro Token = Abschreibung + Strom·Kühlung + Speicher·Netzwerk + Betriebskosten + Softwarekosten ÷ effektiv verarbeitete Tokens`\n\nEffektiv verarbeitete Tokens bezeichnen hier nicht einfach die generierte Menge, sondern Tokens, die die Qualitätsanforderungen des Dienstes erfüllen. Da unterschiedliche Modelle verschiedene Tokenizer und Antwortlängen haben, kann ein direkter Vergleich allein anhand des Preises für 1 Million Tokens zu Verzerrungen führen.\n\n## Warum Inferenzkosten den Halbleiterwettbewerb verändern\n\n### Bei jeder Nutzung eines Dienstes entstehen erneut Kosten\n\nDas Training großer Modelle ist eine Phase, in der sich enorme Kosten konzentrieren, aber keine vollständig einmalige Ausgabe. Auch nach dem Vortraining werden Feinabstimmung, Reinforcement Learning, Evaluierung und das Training neuer Versionen wiederholt. Dennoch wirken sich die bei jeder Nutzeranfrage entstehenden Inferenzkosten unmittelbarer auf das Geschäftsmodell aus, da sie nahezu parallel zum Wachstum des Dienstes steigen.\n\nDer Stanford AI Index 2025 analysierte, dass die Inferenzkosten für die Bereitstellung eines bestimmten Niveaus an Modellleistung schnell gesunken sind. Dies ist nicht nur auf Verbesserungen bei Halbleitern zurückzuführen, sondern auch auf kleinere Modelle, Quantisierung, Inferenz-Engines und zunehmenden Wettbewerb. Sinkende Stückkosten machen mehr Funktionen wirtschaftlich tragfähig, doch zugleich kann ein Jevons-Effekt auftreten, bei dem der steigende Verbrauch die sinkenden Stückkosten ausgleicht.\n\n### AI-Agenten vervielfachen die Token-Nutzung\n\nBei gewöhnlichen Chatbots sind Fragen und Antworten meist relativ kurz. AI-Agenten können dagegen die folgenden Vorgänge wiederholt ausführen.\n\n- Pläne erstellen und überarbeiten\n- Lange Dokumente oder Code-Repositories lesen\n- Tools wie Suche, Datenbanken und Terminals aufrufen\n- Ausführungsergebnisse prüfen und Fehler korrigieren\n- Mehrere Kandidaten erzeugen und bewerten\n\nJe länger die Abfolge der Arbeitsschritte wird, desto stärker summieren sich Eingabekontext, Zwischenschritte der Schlussfolgerung, Tool-Ergebnisse und Wiederholungsversuche. Im Zeitalter der Agenten sind daher nicht die Kosten eines einzelnen Modellaufrufs entscheidend, sondern die Gesamtkosten für den erfolgreichen Abschluss einer Aufgabe.\n\n### Strom und Anlagen bestimmen die tatsächlichen Kapazitätsgrenzen\n\nSelbst verfügbare AI-Beschleuniger können nicht betrieben werden, wenn Netzanschlussleistung, Kühlung, Speicher mit hoher Bandbreite, Netzwerk oder Platz im Rechenzentrum fehlen. Deshalb haben Tokens pro Watt und Tokens pro Rack eine Bedeutung, die über die Senkung der Stromkosten hinausgeht. Sie bestimmen, wie viel Serviceleistung innerhalb einer begrenzten Stromkapazität angeboten werden kann.\n\n## Hardwarestrategien zur Senkung der Kosten pro Token\n\n### 1. Eigene Beschleuniger für bestimmte Workloads\n\nAllzweck-GPUs unterstützen unterschiedliche Modelle und Berechnungen, doch diese Flexibilität ist mit Kosten verbunden. Große Cloud-Anbieter können regelmäßig ausgeführte interne Workloads analysieren, nicht benötigte Funktionen reduzieren und die Wege der Datenübertragung optimieren.\n\n| Unternehmen | Öffentlich vorgestellte Beschleunigerfamilien | Zentrale Ausrichtung | Bei der Interpretation zu beachten |\n|---|---|---|---|\n| Google | TPU, Ironwood | Gemeinsame Entwicklung von Modellen, Compilern und Cloud-Infrastruktur | Es kann nicht davon ausgegangen werden, dass außerhalb der internen Umgebung von Google dieselbe Effizienz erreicht wird |\n| AWS | Trainium, Inferentia | AWS-eigene Chips und Neuron-Software für Training und Inferenz | Unterstützte Operationen und Kosten der Modellportierung müssen geprüft werden |\n| Microsoft | Maia 100 | Eigene Beschleuniger für Azure-AI-Workloads | Die Kosten kommerzieller Workloads lassen sich allein anhand öffentlich bekannter Spezifikationen nur schwer berechnen |\n| Meta | MTIA | Optimierung umfangreicher interner Inferenz-Workloads wie Empfehlungen und Rankings | Kein universeller LLM-Chip, der alle Modelle für generative KI ersetzt |\n\nDas 2025 von Google vorgestellte Ironwood ist eine auf Inferenz ausgerichtete TPU der 7. Generation. Es ist treffender, dies als vertikal integrierte Strategie zu verstehen, bei der Google seine Modelle, den XLA-Compiler und seine Rechenzentren gemeinsam optimiert, statt als einen Chip, der ausschließlich auf ein bestimmtes Gemini-Modell festgelegt ist.\n\nDer Zweck eigener Chips besteht nicht allein darin, Anschaffungskosten zu senken. Ebenso wichtig sind die Kontrolle über Liefertermine, eine bessere Energieeffizienz, die Optimierung interner Workloads und eine stärkere Verhandlungsposition gegenüber externen Anbietern.\n\n### 2. Das gesamte Rack als einen Computer konzipieren\n\nDa große Modelle nicht in den Speicher eines einzelnen Beschleunigers passen, werden sie auf mehrere Beschleuniger verteilt. Dabei kann die Leistung stärker von der Kommunikationsgeschwindigkeit zwischen den Beschleunigern, der Speicherbandbreite und der Softwareplanung abhängen als von der Rechenleistung einzelner Chips.\n\nDie NVIDIA-Blackwell-Plattform stellt einen Rack-Scale-Ansatz in den Vordergrund, der GPUs, CPUs, NVLink, Netzwerke und Software integriert. Auch AMD stärkt seine Instinct-Beschleuniger, sein offenes Software-Ökosystem und Systeme auf Rack-Ebene. In diesem Wettbewerb sind die folgenden Faktoren wichtiger als Benchmarks einzelner Chips.\n\n- Zahl der Anfragen, die in einem Rack gleichzeitig verarbeitet werden können\n- Kosten für die Übertragung von Gewichten und KV cache zwischen Beschleunigern\n- Fähigkeit, bei Ausfällen die verbleibenden Geräte weiter zu nutzen\n- Dauerleistung innerhalb der Grenzen von Stromversorgung und Kühlung\n- Erforderliche Entwicklungszeit bis zur tatsächlichen Bereitstellung eines Modells\n\nAuch bei einem hohen Rack-Preis können die Kosten pro Token sinken, wenn Auslastung und Durchsatz ausreichend hoch sind. Umgekehrt verlieren selbst günstige Chips ihre Wirtschaftlichkeit, wenn unreife Software oder Kommunikationsengpässe zu langen Leerlaufzeiten führen.\n\n### 3. Kommunikationsgrenzen durch Wafer-Scale-Architekturen verringern\n\nCerebras hat die WSE-Familie entwickelt, die anstelle mehrerer üblicher Einzeldies Prozessoren in Wafergröße verwendet. Bei diesem Ansatz werden große Rechenressourcen und hohe Speicherbandbreite auf einem einzigen Wafer angeordnet, um einen Teil der Kommunikation zwischen Chips zu reduzieren, die in herkömmlichen Clustern anfällt.\n\nWafer-Scale-Strukturen können auf niedrige Latenz und hohen Durchsatz zielen, beseitigen jedoch nicht die gesamte Kommunikation. Werden mehrere Systeme verbunden oder große Modelle betrieben, bleiben externer Speicher, Netzwerke, Ausfallsicherheit und Compiler weiterhin erforderlich. Auch Angaben zu den Tokens pro Sekunde eines bestimmten Modells lassen sich nicht direkt vergleichen, wenn Präzision, Batch-Größe, Kontextlänge und Ausgabebedingungen voneinander abweichen.\n\n### 4. Speicher und Datenbewegung vorrangig optimieren\n\nBei der Inferenz wird häufig nicht die Berechnung selbst zum Engpass, sondern die Übertragung von Modellgewichten und KV cache. Insbesondere die Decode-Phase, in der Tokens einzeln erzeugt werden, wird stark von der Speicherbandbreite beeinflusst.\n\nAus diesem Grund betonen Hardwareanbieter Speicher mit hoher Bandbreite, Chiplets, schnelle Interconnects und größere Caches. Selbst bei hoher nomineller Rechenleistung steigt der tatsächliche Token-Durchsatz nicht, wenn die benötigten Daten nicht rechtzeitig bereitgestellt werden können.\n\n### 5. Hardware und Inferenzsoftware gemeinsam entwickeln\n\nToken-Kosteneffizienz wird nicht allein durch Halbleiter bestimmt. Selbst auf derselben Hardware kann der Durchsatz je nach den folgenden Verfahren stark variieren.\n\n- **Quantisierung:** Reduziert die Präzision von Gewichten und Berechnungen und damit Speicherbedarf und Rechenaufwand.\n- **Kontinuierliches Batching:** Bündelt Anfragen mit unterschiedlichen Ankunftszeiten effizient.\n- **Präfix-Caching:** Verwendet Berechnungen wiederkehrender System-Prompts und Kontexte erneut.\n- **Spekulatives Decoding:** Ein kleines Modell erzeugt Token-Kandidaten, die von einem großen Modell überprüft werden.\n- **Trennung von Prefill und Decode:** Verteilt Eingabeverarbeitung und Ausgabegenerierung auf unterschiedliche Ressourcen.\n- **Routing bei Sparse-Modellen:** Aktiviert bei Mixture-of-Experts-Modellen nur einige der benötigten Experten.\n\nSpezialisierte Chips entfalten ihre Wirkung erst, wenn Compiler und Modelle gemeinsam darauf vorbereitet sind. CUDA ist auch deshalb ein wichtiger Schutzwall für NVIDIA, weil bereits ein Ökosystem aufgebaut wurde, das Bibliotheken, Entwicklungswerkzeuge, Optimierungswissen und Fachkräfte umfasst.\n\n## Warum die Abhängigkeit von NVIDIA nicht schnell verschwindet\n\nAuch Unternehmen, die eigene Chips oder AMD-Beschleuniger einführen, können parallel NVIDIA-Systeme einsetzen. Dies ist weniger ein strategischer Widerspruch als vielmehr eine Verteilung von Workloads.\n\nDie Stärken von NVIDIA sind:\n\n1. CUDA und die Unterstützung einer breiten Palette von AI-Bibliotheken\n2. Vielseitigkeit für die schnelle Erprobung neuer Modelle\n3. Hoher Reifegrad bei Servern, Netzwerken und Verwaltungssoftware\n4. Umfangreiche Erfahrung von Entwicklern und Betriebspersonal\n5. Breite Verfügbarkeit bei Cloud-Anbietern und Serverherstellern\n\nEigene ASICs können ihre Stärken dagegen leichter bei konstanten, wiederkehrenden Workloads in großem Maßstab ausspielen. Daher dürfte sich der Markt eher zu einer Struktur entwickeln, in der Allzweck-GPUs und spezialisierte Beschleuniger unterschiedliche Rollen übernehmen, statt dass eine einzige Chipart alle anderen ersetzt.\n\n## Bedingungen, die beim Vergleich der Token-Kosteneffizienz zwingend kontrolliert werden müssen\n\nVon Anbietern veröffentlichte Angaben zur Spitzenleistung oder zu Kostensenkungen lassen sich nur dann direkt vergleichen, wenn es sich um unabhängige Benchmarks unter denselben Bedingungen handelt. Mindestens die folgenden Bedingungen müssen übereinstimmen.\n\n| Vergleichsbedingung | Auswirkung auf die Kosten |\n|---|---|\n| Modell und Parameterzahl | Erforderlicher Speicher und Rechenaufwand unterscheiden sich |\n| Numerische Präzision | Geschwindigkeit und Qualität von FP8, BF16, INT8 usw. unterscheiden sich |\n| Ein- und Ausgabelänge | Die Anteile von Prefill und Decode verändern sich |\n| Batch-Größe und gleichzeitige Anfragen | Das Verhältnis zwischen Durchsatz und Latenz verändert sich |\n| Latenz bis zum ersten Token | Bestimmt die wahrgenommene Qualität von Echtzeitdiensten |\n| Auslastung | Dient als Grundlage, um Fixkosten auf den tatsächlichen Durchsatz umzulegen |\n| Umfang der Strommessung | Es macht einen Unterschied, ob nur der Chip oder auch Kühlung und Netzwerk einbezogen wurden |\n| Antwortqualität | Kurze, aber ungenaue Antworten verursachen Kosten durch Wiederholungsversuche |\n\nErgebnisse wie MLPerf Inference von MLCommons, die Modelle, Szenarien und Qualitätsbedingungen ausweisen, sind vergleichsweise nützlich. Doch auch öffentliche Benchmarks können die Modellkonfigurationen realer Unternehmen, regionale Stromkosten und Verkehrsmuster nicht vollständig abbilden.\n\n## Über einfache Token-Preise hinaus zu den Kosten pro erfolgreicher Aufgabe\n\nTokens sind leicht zu messen, geben aber nicht unmittelbar den Wert des Endergebnisses wieder. Selbst wenn Modell A einen niedrigeren Token-Preis als Modell B hat, können die Kosten für den Abschluss einer Aufgabe höher sein, wenn es längere Antworten erzeugt oder häufiger scheitert.\n\nFür Agentendienste eignet sich die folgende Berechnung besser.\n\n`Kosten pro erfolgreicher Aufgabe = Gesamtkosten für Modelle·Tools·Infrastruktur ÷ Zahl der Aufgaben, die die Qualitätsanforderungen erfüllen`\n\nDarin enthalten sind neben den Token-Kosten auch Such-APIs, Codeausführung, Datenbanken, menschliche Prüfungen, fehlgeschlagene Versuche und durch Verzögerungen verursachte Kosten. Diese Perspektive fehlt häufig im Diskurs über reine Leistung oder Token-Kosteneffizienz.\n\n## Wie sich öffentliche Behauptungen von unbestätigten Zahlen unterscheiden lassen\n\nProdukt-Roadmaps und Prognosen für den Halbleitermarkt ändern sich häufig. Einige der in den bereitgestellten Materialien enthaltenen Bezeichnungen und Zahlen, die nicht hinreichend durch offizielle Produktdokumente oder reproduzierbare Benchmarks bestätigt wurden, wurden nicht als feststehende Tatsachen verwendet. Dazu gehören beispielsweise `Frozen V2` und `Claude Fable 5`, die angeblich für bestimmte Modelle vorgesehen sind, Cerebras-Geschwindigkeiten bei bestimmten nicht veröffentlichten Modellen, feste Kosten für 1 Million Tokens je Chip sowie künftige Marktanteilszahlen.\n\nAuch bei den folgenden Formulierungen müssen die Bedingungen geprüft werden.\n\n- **Bis zu 10-mal effizienter:** Vergleichsobjekt, Präzision und Systemumfang müssen geprüft werden.\n- **Token-Kosten um 50 % gesenkt:** Angaben zu Modell, Region, Auslastung und Abschreibungsbedingungen sind erforderlich.\n- **Mehrere Hundert Tokens pro Sekunde:** Es muss unterschieden werden, ob es sich um die Geschwindigkeit für einen einzelnen Nutzer oder den Gesamtdurchsatz handelt.\n- **Abkehr von NVIDIA:** Es muss geprüft werden, ob ein vollständiger Austausch oder die Verlagerung einiger interner Workloads gemeint ist.\n\nBei Investitions- oder Beschaffungsentscheidungen für Infrastruktur sollten nicht nur Präsentationsunterlagen herangezogen werden. Auch unabhängige Benchmarks, tatsächliche Liefertermine, der Umfang der Softwareunterstützung und die Gesamtbetriebskosten müssen gemeinsam geprüft werden.\n\n## Fazit für den Markt\n\nDer Wettbewerb bei AI-Halbleitern bewegt sich von einer Phase, in der nur um die höchste Geschwindigkeit gerungen wurde, hin zu einem Wettbewerb darum, **Tokens und Aufgaben, die die Qualitätsanforderungen erfüllen, zu möglichst niedrigen Gesamtkosten zu produzieren**.\n\nSpezialisierte ASICs streben bei wiederkehrenden Workloads in großem Maßstab eine hohe Effizienz an, während Allzweck-GPUs mit flexibler Modellunterstützung und einem ausgereiften Ökosystem reagieren. Rack-Scale-Design, Speicherbandbreite, Netzwerke, Stromversorgung und Inferenzsoftware sind inzwischen ebenso wichtig wie der Chip selbst.\n\nLetztlich entscheiden nicht einfache Kennzahlen wie Tokens pro Sekunde oder der Preis für 1 Million Tokens über den Gewinner. Ein genauerer Maßstab sind die **Gesamtkosten pro erfolgreicher Aufgabe**, die bei realem Datenverkehr Qualität, Latenz, Auslastung und Einschränkungen der Stromversorgung berücksichtigen.","content_html":"\u003cp\u003eDer Wettbewerb bei Halbleitern für generative KI weitet sich von der maximalen Rechenleistung auf die tatsächliche Wirtschaftlichkeit im Servicebetrieb aus. Die in der Branche inoffiziell verwendete \u003cstrong\u003eToken-Kosteneffizienz\u003c/strong\u003e bezeichnet das Preis-Leistungs-Verhältnis von Tokens, also wie viele Tokens mit bestimmten Kosten oder einer bestimmten Strommenge sinnvoll verarbeitet werden können.\u003c/p\u003e\n\u003cp\u003eDoch die günstigsten Tokens führen nicht zwangsläufig zum wirtschaftlichsten Ergebnis. Um die tatsächliche Wettbewerbsfähigkeit beurteilen zu können, müssen auch die Genauigkeit des Modells, die Antwortlatenz, die Zahl der Wiederholungsversuche und die Auslastung des Rechenzentrums gemessen werden.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#was-ist-token-kosteneffizienz\" class=\"anchor\" id=\"was-ist-token-kosteneffizienz\"\u003e\u003c/a\u003eWas ist Token-Kosteneffizienz?\u003c/h2\u003e\n\u003cp\u003eTokens sind Einheiten zur Textverarbeitung, die ein Sprachmodell beim Lesen von Eingaben und beim Erzeugen von Ausgaben verwendet. API-Anbieter berechnen Eingabe- und Ausgabe-Tokens üblicherweise getrennt und wenden mitunter eigene Tarife auf zwischengespeicherte Eingaben an.\u003c/p\u003e\n\u003cp\u003eToken-Kosteneffizienz ist weder ein offizieller Begriff aus dem Rechnungswesen noch ein standardisierter Benchmark. In der Praxis müssen die folgenden Kennzahlen unterschieden werden.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eKennzahl\u003c/th\u003e\n\u003cth\u003eBedeutung\u003c/th\u003e\n\u003cth\u003eLeicht zu übersehende Faktoren\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Kennzahl\"\u003eTokens pro Dollar\u003c/td\u003e\n\u003ctd data-label=\"Bedeutung\"\u003eZahl der für dieselben Kosten verarbeiteten Tokens\u003c/td\u003e\n\u003ctd data-label=\"Leicht zu übersehende Faktoren\"\u003eQualität, Latenz, Preisunterschiede zwischen Ein- und Ausgabe\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Kennzahl\"\u003eTokens pro Sekunde\u003c/td\u003e\n\u003ctd data-label=\"Bedeutung\"\u003eGeschwindigkeit der Generierung\u003c/td\u003e\n\u003ctd data-label=\"Leicht zu übersehende Faktoren\"\u003eZahl gleichzeitiger Nutzer und Latenz bis zum ersten Token\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Kennzahl\"\u003eTokens pro Watt\u003c/td\u003e\n\u003ctd data-label=\"Bedeutung\"\u003eEnergieeffizienz\u003c/td\u003e\n\u003ctd data-label=\"Leicht zu übersehende Faktoren\"\u003eVerluste durch Kühlung und Stromumwandlung\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Kennzahl\"\u003eDurchsatz pro Server\u003c/td\u003e\n\u003ctd data-label=\"Bedeutung\"\u003eGesamtdurchsatz eines Servers oder Racks\u003c/td\u003e\n\u003ctd data-label=\"Leicht zu übersehende Faktoren\"\u003eNiedrige Auslastung und Wartezeiten\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Kennzahl\"\u003eKosten pro erfolgreicher Aufgabe\u003c/td\u003e\n\u003ctd data-label=\"Bedeutung\"\u003eGesamtkosten für das Erreichen eines Ziels\u003c/td\u003e\n\u003ctd data-label=\"Leicht zu übersehende Faktoren\"\u003eWiederholungsversuche, Tool-Aufrufe, fehlgeschlagene Pfade\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eDie Gesamtkosten pro Token lassen sich konzeptionell wie folgt darstellen.\u003c/p\u003e\n\u003cp\u003e\u003ccode\u003eGesamtkosten pro Token = Abschreibung + Strom·Kühlung + Speicher·Netzwerk + Betriebskosten + Softwarekosten ÷ effektiv verarbeitete Tokens\u003c/code\u003e\u003c/p\u003e\n\u003cp\u003eEffektiv verarbeitete Tokens bezeichnen hier nicht einfach die generierte Menge, sondern Tokens, die die Qualitätsanforderungen des Dienstes erfüllen. Da unterschiedliche Modelle verschiedene Tokenizer und Antwortlängen haben, kann ein direkter Vergleich allein anhand des Preises für 1 Million Tokens zu Verzerrungen führen.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#warum-inferenzkosten-den-halbleiterwettbewerb-ver%C3%A4ndern\" class=\"anchor\" id=\"warum-inferenzkosten-den-halbleiterwettbewerb-verändern\"\u003e\u003c/a\u003eWarum Inferenzkosten den Halbleiterwettbewerb verändern\u003c/h2\u003e\n\u003ch3\u003e\n\u003ca href=\"#bei-jeder-nutzung-eines-dienstes-entstehen-erneut-kosten\" class=\"anchor\" id=\"bei-jeder-nutzung-eines-dienstes-entstehen-erneut-kosten\"\u003e\u003c/a\u003eBei jeder Nutzung eines Dienstes entstehen erneut Kosten\u003c/h3\u003e\n\u003cp\u003eDas Training großer Modelle ist eine Phase, in der sich enorme Kosten konzentrieren, aber keine vollständig einmalige Ausgabe. Auch nach dem Vortraining werden Feinabstimmung, Reinforcement Learning, Evaluierung und das Training neuer Versionen wiederholt. Dennoch wirken sich die bei jeder Nutzeranfrage entstehenden Inferenzkosten unmittelbarer auf das Geschäftsmodell aus, da sie nahezu parallel zum Wachstum des Dienstes steigen.\u003c/p\u003e\n\u003cp\u003eDer Stanford AI Index 2025 analysierte, dass die Inferenzkosten für die Bereitstellung eines bestimmten Niveaus an Modellleistung schnell gesunken sind. Dies ist nicht nur auf Verbesserungen bei Halbleitern zurückzuführen, sondern auch auf kleinere Modelle, Quantisierung, Inferenz-Engines und zunehmenden Wettbewerb. Sinkende Stückkosten machen mehr Funktionen wirtschaftlich tragfähig, doch zugleich kann ein Jevons-Effekt auftreten, bei dem der steigende Verbrauch die sinkenden Stückkosten ausgleicht.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#ai-agenten-vervielfachen-die-token-nutzung\" class=\"anchor\" id=\"ai-agenten-vervielfachen-die-token-nutzung\"\u003e\u003c/a\u003eAI-Agenten vervielfachen die Token-Nutzung\u003c/h3\u003e\n\u003cp\u003eBei gewöhnlichen Chatbots sind Fragen und Antworten meist relativ kurz. AI-Agenten können dagegen die folgenden Vorgänge wiederholt ausführen.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003ePläne erstellen und überarbeiten\u003c/li\u003e\n\u003cli\u003eLange Dokumente oder Code-Repositories lesen\u003c/li\u003e\n\u003cli\u003eTools wie Suche, Datenbanken und Terminals aufrufen\u003c/li\u003e\n\u003cli\u003eAusführungsergebnisse prüfen und Fehler korrigieren\u003c/li\u003e\n\u003cli\u003eMehrere Kandidaten erzeugen und bewerten\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eJe länger die Abfolge der Arbeitsschritte wird, desto stärker summieren sich Eingabekontext, Zwischenschritte der Schlussfolgerung, Tool-Ergebnisse und Wiederholungsversuche. Im Zeitalter der Agenten sind daher nicht die Kosten eines einzelnen Modellaufrufs entscheidend, sondern die Gesamtkosten für den erfolgreichen Abschluss einer Aufgabe.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#strom-und-anlagen-bestimmen-die-tats%C3%A4chlichen-kapazit%C3%A4tsgrenzen\" class=\"anchor\" id=\"strom-und-anlagen-bestimmen-die-tatsächlichen-kapazitätsgrenzen\"\u003e\u003c/a\u003eStrom und Anlagen bestimmen die tatsächlichen Kapazitätsgrenzen\u003c/h3\u003e\n\u003cp\u003eSelbst verfügbare AI-Beschleuniger können nicht betrieben werden, wenn Netzanschlussleistung, Kühlung, Speicher mit hoher Bandbreite, Netzwerk oder Platz im Rechenzentrum fehlen. Deshalb haben Tokens pro Watt und Tokens pro Rack eine Bedeutung, die über die Senkung der Stromkosten hinausgeht. Sie bestimmen, wie viel Serviceleistung innerhalb einer begrenzten Stromkapazität angeboten werden kann.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#hardwarestrategien-zur-senkung-der-kosten-pro-token\" class=\"anchor\" id=\"hardwarestrategien-zur-senkung-der-kosten-pro-token\"\u003e\u003c/a\u003eHardwarestrategien zur Senkung der Kosten pro Token\u003c/h2\u003e\n\u003ch3\u003e\n\u003ca href=\"#1-eigene-beschleuniger-f%C3%BCr-bestimmte-workloads\" class=\"anchor\" id=\"1-eigene-beschleuniger-für-bestimmte-workloads\"\u003e\u003c/a\u003e1. Eigene Beschleuniger für bestimmte Workloads\u003c/h3\u003e\n\u003cp\u003eAllzweck-GPUs unterstützen unterschiedliche Modelle und Berechnungen, doch diese Flexibilität ist mit Kosten verbunden. Große Cloud-Anbieter können regelmäßig ausgeführte interne Workloads analysieren, nicht benötigte Funktionen reduzieren und die Wege der Datenübertragung optimieren.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eUnternehmen\u003c/th\u003e\n\u003cth\u003eÖffentlich vorgestellte Beschleunigerfamilien\u003c/th\u003e\n\u003cth\u003eZentrale Ausrichtung\u003c/th\u003e\n\u003cth\u003eBei der Interpretation zu beachten\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Unternehmen\"\u003eGoogle\u003c/td\u003e\n\u003ctd data-label=\"Öffentlich vorgestellte Beschleunigerfamilien\"\u003eTPU, Ironwood\u003c/td\u003e\n\u003ctd data-label=\"Zentrale Ausrichtung\"\u003eGemeinsame Entwicklung von Modellen, Compilern und Cloud-Infrastruktur\u003c/td\u003e\n\u003ctd data-label=\"Bei der Interpretation zu beachten\"\u003eEs kann nicht davon ausgegangen werden, dass außerhalb der internen Umgebung von Google dieselbe Effizienz erreicht wird\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Unternehmen\"\u003eAWS\u003c/td\u003e\n\u003ctd data-label=\"Öffentlich vorgestellte Beschleunigerfamilien\"\u003eTrainium, Inferentia\u003c/td\u003e\n\u003ctd data-label=\"Zentrale Ausrichtung\"\u003eAWS-eigene Chips und Neuron-Software für Training und Inferenz\u003c/td\u003e\n\u003ctd data-label=\"Bei der Interpretation zu beachten\"\u003eUnterstützte Operationen und Kosten der Modellportierung müssen geprüft werden\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Unternehmen\"\u003eMicrosoft\u003c/td\u003e\n\u003ctd data-label=\"Öffentlich vorgestellte Beschleunigerfamilien\"\u003eMaia 100\u003c/td\u003e\n\u003ctd data-label=\"Zentrale Ausrichtung\"\u003eEigene Beschleuniger für Azure-AI-Workloads\u003c/td\u003e\n\u003ctd data-label=\"Bei der Interpretation zu beachten\"\u003eDie Kosten kommerzieller Workloads lassen sich allein anhand öffentlich bekannter Spezifikationen nur schwer berechnen\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Unternehmen\"\u003eMeta\u003c/td\u003e\n\u003ctd data-label=\"Öffentlich vorgestellte Beschleunigerfamilien\"\u003eMTIA\u003c/td\u003e\n\u003ctd data-label=\"Zentrale Ausrichtung\"\u003eOptimierung umfangreicher interner Inferenz-Workloads wie Empfehlungen und Rankings\u003c/td\u003e\n\u003ctd data-label=\"Bei der Interpretation zu beachten\"\u003eKein universeller LLM-Chip, der alle Modelle für generative KI ersetzt\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eDas 2025 von Google vorgestellte Ironwood ist eine auf Inferenz ausgerichtete TPU der 7. Generation. Es ist treffender, dies als vertikal integrierte Strategie zu verstehen, bei der Google seine Modelle, den XLA-Compiler und seine Rechenzentren gemeinsam optimiert, statt als einen Chip, der ausschließlich auf ein bestimmtes Gemini-Modell festgelegt ist.\u003c/p\u003e\n\u003cp\u003eDer Zweck eigener Chips besteht nicht allein darin, Anschaffungskosten zu senken. Ebenso wichtig sind die Kontrolle über Liefertermine, eine bessere Energieeffizienz, die Optimierung interner Workloads und eine stärkere Verhandlungsposition gegenüber externen Anbietern.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#2-das-gesamte-rack-als-einen-computer-konzipieren\" class=\"anchor\" id=\"2-das-gesamte-rack-als-einen-computer-konzipieren\"\u003e\u003c/a\u003e2. Das gesamte Rack als einen Computer konzipieren\u003c/h3\u003e\n\u003cp\u003eDa große Modelle nicht in den Speicher eines einzelnen Beschleunigers passen, werden sie auf mehrere Beschleuniger verteilt. Dabei kann die Leistung stärker von der Kommunikationsgeschwindigkeit zwischen den Beschleunigern, der Speicherbandbreite und der Softwareplanung abhängen als von der Rechenleistung einzelner Chips.\u003c/p\u003e\n\u003cp\u003eDie NVIDIA-Blackwell-Plattform stellt einen Rack-Scale-Ansatz in den Vordergrund, der GPUs, CPUs, NVLink, Netzwerke und Software integriert. Auch AMD stärkt seine Instinct-Beschleuniger, sein offenes Software-Ökosystem und Systeme auf Rack-Ebene. In diesem Wettbewerb sind die folgenden Faktoren wichtiger als Benchmarks einzelner Chips.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eZahl der Anfragen, die in einem Rack gleichzeitig verarbeitet werden können\u003c/li\u003e\n\u003cli\u003eKosten für die Übertragung von Gewichten und KV cache zwischen Beschleunigern\u003c/li\u003e\n\u003cli\u003eFähigkeit, bei Ausfällen die verbleibenden Geräte weiter zu nutzen\u003c/li\u003e\n\u003cli\u003eDauerleistung innerhalb der Grenzen von Stromversorgung und Kühlung\u003c/li\u003e\n\u003cli\u003eErforderliche Entwicklungszeit bis zur tatsächlichen Bereitstellung eines Modells\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eAuch bei einem hohen Rack-Preis können die Kosten pro Token sinken, wenn Auslastung und Durchsatz ausreichend hoch sind. Umgekehrt verlieren selbst günstige Chips ihre Wirtschaftlichkeit, wenn unreife Software oder Kommunikationsengpässe zu langen Leerlaufzeiten führen.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#3-kommunikationsgrenzen-durch-wafer-scale-architekturen-verringern\" class=\"anchor\" id=\"3-kommunikationsgrenzen-durch-wafer-scale-architekturen-verringern\"\u003e\u003c/a\u003e3. Kommunikationsgrenzen durch Wafer-Scale-Architekturen verringern\u003c/h3\u003e\n\u003cp\u003eCerebras hat die WSE-Familie entwickelt, die anstelle mehrerer üblicher Einzeldies Prozessoren in Wafergröße verwendet. Bei diesem Ansatz werden große Rechenressourcen und hohe Speicherbandbreite auf einem einzigen Wafer angeordnet, um einen Teil der Kommunikation zwischen Chips zu reduzieren, die in herkömmlichen Clustern anfällt.\u003c/p\u003e\n\u003cp\u003eWafer-Scale-Strukturen können auf niedrige Latenz und hohen Durchsatz zielen, beseitigen jedoch nicht die gesamte Kommunikation. Werden mehrere Systeme verbunden oder große Modelle betrieben, bleiben externer Speicher, Netzwerke, Ausfallsicherheit und Compiler weiterhin erforderlich. Auch Angaben zu den Tokens pro Sekunde eines bestimmten Modells lassen sich nicht direkt vergleichen, wenn Präzision, Batch-Größe, Kontextlänge und Ausgabebedingungen voneinander abweichen.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#4-speicher-und-datenbewegung-vorrangig-optimieren\" class=\"anchor\" id=\"4-speicher-und-datenbewegung-vorrangig-optimieren\"\u003e\u003c/a\u003e4. Speicher und Datenbewegung vorrangig optimieren\u003c/h3\u003e\n\u003cp\u003eBei der Inferenz wird häufig nicht die Berechnung selbst zum Engpass, sondern die Übertragung von Modellgewichten und KV cache. Insbesondere die Decode-Phase, in der Tokens einzeln erzeugt werden, wird stark von der Speicherbandbreite beeinflusst.\u003c/p\u003e\n\u003cp\u003eAus diesem Grund betonen Hardwareanbieter Speicher mit hoher Bandbreite, Chiplets, schnelle Interconnects und größere Caches. Selbst bei hoher nomineller Rechenleistung steigt der tatsächliche Token-Durchsatz nicht, wenn die benötigten Daten nicht rechtzeitig bereitgestellt werden können.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#5-hardware-und-inferenzsoftware-gemeinsam-entwickeln\" class=\"anchor\" id=\"5-hardware-und-inferenzsoftware-gemeinsam-entwickeln\"\u003e\u003c/a\u003e5. Hardware und Inferenzsoftware gemeinsam entwickeln\u003c/h3\u003e\n\u003cp\u003eToken-Kosteneffizienz wird nicht allein durch Halbleiter bestimmt. Selbst auf derselben Hardware kann der Durchsatz je nach den folgenden Verfahren stark variieren.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\n\u003cstrong\u003eQuantisierung:\u003c/strong\u003e Reduziert die Präzision von Gewichten und Berechnungen und damit Speicherbedarf und Rechenaufwand.\u003c/li\u003e\n\u003cli\u003e\n\u003cstrong\u003eKontinuierliches Batching:\u003c/strong\u003e Bündelt Anfragen mit unterschiedlichen Ankunftszeiten effizient.\u003c/li\u003e\n\u003cli\u003e\n\u003cstrong\u003ePräfix-Caching:\u003c/strong\u003e Verwendet Berechnungen wiederkehrender System-Prompts und Kontexte erneut.\u003c/li\u003e\n\u003cli\u003e\n\u003cstrong\u003eSpekulatives Decoding:\u003c/strong\u003e Ein kleines Modell erzeugt Token-Kandidaten, die von einem großen Modell überprüft werden.\u003c/li\u003e\n\u003cli\u003e\n\u003cstrong\u003eTrennung von Prefill und Decode:\u003c/strong\u003e Verteilt Eingabeverarbeitung und Ausgabegenerierung auf unterschiedliche Ressourcen.\u003c/li\u003e\n\u003cli\u003e\n\u003cstrong\u003eRouting bei Sparse-Modellen:\u003c/strong\u003e Aktiviert bei Mixture-of-Experts-Modellen nur einige der benötigten Experten.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eSpezialisierte Chips entfalten ihre Wirkung erst, wenn Compiler und Modelle gemeinsam darauf vorbereitet sind. CUDA ist auch deshalb ein wichtiger Schutzwall für NVIDIA, weil bereits ein Ökosystem aufgebaut wurde, das Bibliotheken, Entwicklungswerkzeuge, Optimierungswissen und Fachkräfte umfasst.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#warum-die-abh%C3%A4ngigkeit-von-nvidia-nicht-schnell-verschwindet\" class=\"anchor\" id=\"warum-die-abhängigkeit-von-nvidia-nicht-schnell-verschwindet\"\u003e\u003c/a\u003eWarum die Abhängigkeit von NVIDIA nicht schnell verschwindet\u003c/h2\u003e\n\u003cp\u003eAuch Unternehmen, die eigene Chips oder AMD-Beschleuniger einführen, können parallel NVIDIA-Systeme einsetzen. Dies ist weniger ein strategischer Widerspruch als vielmehr eine Verteilung von Workloads.\u003c/p\u003e\n\u003cp\u003eDie Stärken von NVIDIA sind:\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003eCUDA und die Unterstützung einer breiten Palette von AI-Bibliotheken\u003c/li\u003e\n\u003cli\u003eVielseitigkeit für die schnelle Erprobung neuer Modelle\u003c/li\u003e\n\u003cli\u003eHoher Reifegrad bei Servern, Netzwerken und Verwaltungssoftware\u003c/li\u003e\n\u003cli\u003eUmfangreiche Erfahrung von Entwicklern und Betriebspersonal\u003c/li\u003e\n\u003cli\u003eBreite Verfügbarkeit bei Cloud-Anbietern und Serverherstellern\u003c/li\u003e\n\u003c/ol\u003e\n\u003cp\u003eEigene ASICs können ihre Stärken dagegen leichter bei konstanten, wiederkehrenden Workloads in großem Maßstab ausspielen. Daher dürfte sich der Markt eher zu einer Struktur entwickeln, in der Allzweck-GPUs und spezialisierte Beschleuniger unterschiedliche Rollen übernehmen, statt dass eine einzige Chipart alle anderen ersetzt.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#bedingungen-die-beim-vergleich-der-token-kosteneffizienz-zwingend-kontrolliert-werden-m%C3%BCssen\" class=\"anchor\" id=\"bedingungen-die-beim-vergleich-der-token-kosteneffizienz-zwingend-kontrolliert-werden-müssen\"\u003e\u003c/a\u003eBedingungen, die beim Vergleich der Token-Kosteneffizienz zwingend kontrolliert werden müssen\u003c/h2\u003e\n\u003cp\u003eVon Anbietern veröffentlichte Angaben zur Spitzenleistung oder zu Kostensenkungen lassen sich nur dann direkt vergleichen, wenn es sich um unabhängige Benchmarks unter denselben Bedingungen handelt. Mindestens die folgenden Bedingungen müssen übereinstimmen.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eVergleichsbedingung\u003c/th\u003e\n\u003cth\u003eAuswirkung auf die Kosten\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Vergleichsbedingung\"\u003eModell und Parameterzahl\u003c/td\u003e\n\u003ctd data-label=\"Auswirkung auf die Kosten\"\u003eErforderlicher Speicher und Rechenaufwand unterscheiden sich\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Vergleichsbedingung\"\u003eNumerische Präzision\u003c/td\u003e\n\u003ctd data-label=\"Auswirkung auf die Kosten\"\u003eGeschwindigkeit und Qualität von FP8, BF16, INT8 usw. unterscheiden sich\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Vergleichsbedingung\"\u003eEin- und Ausgabelänge\u003c/td\u003e\n\u003ctd data-label=\"Auswirkung auf die Kosten\"\u003eDie Anteile von Prefill und Decode verändern sich\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Vergleichsbedingung\"\u003eBatch-Größe und gleichzeitige Anfragen\u003c/td\u003e\n\u003ctd data-label=\"Auswirkung auf die Kosten\"\u003eDas Verhältnis zwischen Durchsatz und Latenz verändert sich\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Vergleichsbedingung\"\u003eLatenz bis zum ersten Token\u003c/td\u003e\n\u003ctd data-label=\"Auswirkung auf die Kosten\"\u003eBestimmt die wahrgenommene Qualität von Echtzeitdiensten\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Vergleichsbedingung\"\u003eAuslastung\u003c/td\u003e\n\u003ctd data-label=\"Auswirkung auf die Kosten\"\u003eDient als Grundlage, um Fixkosten auf den tatsächlichen Durchsatz umzulegen\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Vergleichsbedingung\"\u003eUmfang der Strommessung\u003c/td\u003e\n\u003ctd data-label=\"Auswirkung auf die Kosten\"\u003eEs macht einen Unterschied, ob nur der Chip oder auch Kühlung und Netzwerk einbezogen wurden\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Vergleichsbedingung\"\u003eAntwortqualität\u003c/td\u003e\n\u003ctd data-label=\"Auswirkung auf die Kosten\"\u003eKurze, aber ungenaue Antworten verursachen Kosten durch Wiederholungsversuche\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eErgebnisse wie MLPerf Inference von MLCommons, die Modelle, Szenarien und Qualitätsbedingungen ausweisen, sind vergleichsweise nützlich. Doch auch öffentliche Benchmarks können die Modellkonfigurationen realer Unternehmen, regionale Stromkosten und Verkehrsmuster nicht vollständig abbilden.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#%C3%BCber-einfache-token-preise-hinaus-zu-den-kosten-pro-erfolgreicher-aufgabe\" class=\"anchor\" id=\"über-einfache-token-preise-hinaus-zu-den-kosten-pro-erfolgreicher-aufgabe\"\u003e\u003c/a\u003eÜber einfache Token-Preise hinaus zu den Kosten pro erfolgreicher Aufgabe\u003c/h2\u003e\n\u003cp\u003eTokens sind leicht zu messen, geben aber nicht unmittelbar den Wert des Endergebnisses wieder. Selbst wenn Modell A einen niedrigeren Token-Preis als Modell B hat, können die Kosten für den Abschluss einer Aufgabe höher sein, wenn es längere Antworten erzeugt oder häufiger scheitert.\u003c/p\u003e\n\u003cp\u003eFür Agentendienste eignet sich die folgende Berechnung besser.\u003c/p\u003e\n\u003cp\u003e\u003ccode\u003eKosten pro erfolgreicher Aufgabe = Gesamtkosten für Modelle·Tools·Infrastruktur ÷ Zahl der Aufgaben, die die Qualitätsanforderungen erfüllen\u003c/code\u003e\u003c/p\u003e\n\u003cp\u003eDarin enthalten sind neben den Token-Kosten auch Such-APIs, Codeausführung, Datenbanken, menschliche Prüfungen, fehlgeschlagene Versuche und durch Verzögerungen verursachte Kosten. Diese Perspektive fehlt häufig im Diskurs über reine Leistung oder Token-Kosteneffizienz.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#wie-sich-%C3%B6ffentliche-behauptungen-von-unbest%C3%A4tigten-zahlen-unterscheiden-lassen\" class=\"anchor\" id=\"wie-sich-öffentliche-behauptungen-von-unbestätigten-zahlen-unterscheiden-lassen\"\u003e\u003c/a\u003eWie sich öffentliche Behauptungen von unbestätigten Zahlen unterscheiden lassen\u003c/h2\u003e\n\u003cp\u003eProdukt-Roadmaps und Prognosen für den Halbleitermarkt ändern sich häufig. Einige der in den bereitgestellten Materialien enthaltenen Bezeichnungen und Zahlen, die nicht hinreichend durch offizielle Produktdokumente oder reproduzierbare Benchmarks bestätigt wurden, wurden nicht als feststehende Tatsachen verwendet. Dazu gehören beispielsweise \u003ccode\u003eFrozen V2\u003c/code\u003e und \u003ccode\u003eClaude Fable 5\u003c/code\u003e, die angeblich für bestimmte Modelle vorgesehen sind, Cerebras-Geschwindigkeiten bei bestimmten nicht veröffentlichten Modellen, feste Kosten für 1 Million Tokens je Chip sowie künftige Marktanteilszahlen.\u003c/p\u003e\n\u003cp\u003eAuch bei den folgenden Formulierungen müssen die Bedingungen geprüft werden.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\n\u003cstrong\u003eBis zu 10-mal effizienter:\u003c/strong\u003e Vergleichsobjekt, Präzision und Systemumfang müssen geprüft werden.\u003c/li\u003e\n\u003cli\u003e\n\u003cstrong\u003eToken-Kosten um 50 % gesenkt:\u003c/strong\u003e Angaben zu Modell, Region, Auslastung und Abschreibungsbedingungen sind erforderlich.\u003c/li\u003e\n\u003cli\u003e\n\u003cstrong\u003eMehrere Hundert Tokens pro Sekunde:\u003c/strong\u003e Es muss unterschieden werden, ob es sich um die Geschwindigkeit für einen einzelnen Nutzer oder den Gesamtdurchsatz handelt.\u003c/li\u003e\n\u003cli\u003e\n\u003cstrong\u003eAbkehr von NVIDIA:\u003c/strong\u003e Es muss geprüft werden, ob ein vollständiger Austausch oder die Verlagerung einiger interner Workloads gemeint ist.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eBei Investitions- oder Beschaffungsentscheidungen für Infrastruktur sollten nicht nur Präsentationsunterlagen herangezogen werden. Auch unabhängige Benchmarks, tatsächliche Liefertermine, der Umfang der Softwareunterstützung und die Gesamtbetriebskosten müssen gemeinsam geprüft werden.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#fazit-f%C3%BCr-den-markt\" class=\"anchor\" id=\"fazit-für-den-markt\"\u003e\u003c/a\u003eFazit für den Markt\u003c/h2\u003e\n\u003cp\u003eDer Wettbewerb bei AI-Halbleitern bewegt sich von einer Phase, in der nur um die höchste Geschwindigkeit gerungen wurde, hin zu einem Wettbewerb darum, \u003cstrong\u003eTokens und Aufgaben, die die Qualitätsanforderungen erfüllen, zu möglichst niedrigen Gesamtkosten zu produzieren\u003c/strong\u003e.\u003c/p\u003e\n\u003cp\u003eSpezialisierte ASICs streben bei wiederkehrenden Workloads in großem Maßstab eine hohe Effizienz an, während Allzweck-GPUs mit flexibler Modellunterstützung und einem ausgereiften Ökosystem reagieren. Rack-Scale-Design, Speicherbandbreite, Netzwerke, Stromversorgung und Inferenzsoftware sind inzwischen ebenso wichtig wie der Chip selbst.\u003c/p\u003e\n\u003cp\u003eLetztlich entscheiden nicht einfache Kennzahlen wie Tokens pro Sekunde oder der Preis für 1 Million Tokens über den Gewinner. Ein genauerer Maßstab sind die \u003cstrong\u003eGesamtkosten pro erfolgreicher Aufgabe\u003c/strong\u003e, die bei realem Datenverkehr Qualität, Latenz, Auslastung und Einschränkungen der Stromversorgung berücksichtigen.\u003c/p\u003e\n","tags":["Halbleiter","Generative KI","KI Rechenzentrum","KI-Agent","Halbleiter für KI"],"faqs":[{"question":"Ist das Token-Preis-Leistungs-Verhältnis eine offizielle Leistungskennzahl für AI-Halbleiter?","answer":"Nein. Das Token-Preis-Leistungs-Verhältnis ist ein inoffizieller Kurzausdruck für die Kosteneffizienz von Tokens. Bei Vergleichen muss zwischen Tokens pro Dollar, Tokens pro Watt, Tokens pro Sekunde, der Latenz bis zum ersten Token und den Kosten pro erfolgreich erledigter Aufgabe unterschieden werden."},{"question":"Warum sind die Inferenzkosten wichtiger geworden als die Trainingskosten?","answer":"Auch Training und Nachbearbeitung erfordern wiederholte Investitionen, doch bei der Inferenz entstehen jedes Mal Kosten, wenn ein Nutzer eine Anfrage stellt. Je stärker die Nutzung eines Dienstes und die Zahl der Arbeitsschritte eines Agenten zunehmen, desto mehr summieren sich die Kosten für Strom, Beschleunigerzeit, Speicher und Netzwerk."},{"question":"Warum verwenden AI-Agenten mehr Tokens als gewöhnliche Chatbots?","answer":"AI-Agenten wiederholen die Abläufe von Planung, Suche, Werkzeugaufrufen, Ergebnisprüfung und Fehlerkorrektur. Da bei jedem Schritt der Kontext und Zwischenergebnisse erneut eingegeben werden und auch fehlgeschlagene Pfade Kosten verursachen, kann der gesamte Tokenverbrauch steigen."},{"question":"Sind eigene AI-Chips immer günstiger als NVIDIA-GPUs?","answer":"Nicht immer. Eigene Chips können bei gleichmäßigen und wiederkehrenden internen Workloads die Effizienz erhöhen, doch die Portierung von Modellen, Compiler, Betriebspersonal und eine geringe Auslastung können zusätzliche Kosten verursachen. Der Vergleich muss anhand der Gesamtbetriebskosten erfolgen, einschließlich Vielseitigkeit und Entwicklungsgeschwindigkeit."},{"question":"Sinken bei einer hohen Zahl von Tokens pro Sekunde auch die Kosten pro Token?","answer":"Nicht unbedingt. Tokens pro Sekunde sind eine Geschwindigkeitskennzahl und berücksichtigen möglicherweise nicht den Gerätepreis, den Stromverbrauch, die Zahl gleichzeitiger Anfragen und die Auslastung. Auch die Generierungsgeschwindigkeit für einen einzelnen Nutzer und der Gesamtdurchsatz des Servers sind unterschiedliche Kennzahlen."},{"question":"Kann man die Preise für 1 Million Tokens verschiedener Modelle direkt vergleichen?","answer":"Dabei ist Vorsicht geboten. Modelle unterscheiden sich hinsichtlich Tokenizer, durchschnittlicher Antwortlänge, Genauigkeit und Cache-Richtlinien. Für dieselbe Aufgabe und dieselben Qualitätsanforderungen müssen die erforderlichen Eingabe- und Ausgabe-Tokens, die Zahl der Wiederholungsversuche und die Werkzeugkosten gemeinsam verglichen werden."},{"question":"Was bedeutet es, dass der CUDA-Lock-in stark ist?","answer":"Es bedeutet, dass sich der Code, die Bibliotheken, die Optimierungsverfahren und die Entwicklungskompetenz eines Unternehmens in der NVIDIA-CUDA-Umgebung angesammelt haben. Beim Wechsel zu einem anderen Beschleuniger können Kosten für Codeänderungen, Leistungsvalidierung und den Neuaufbau der Betriebsstrukturen entstehen."},{"question":"Welche Kennzahl eignet sich am besten, um die tatsächliche Wirtschaftlichkeit von AI-Halbleitern zu bewerten?","answer":"Das hängt vom Zweck des Dienstes ab, doch für Agenten und die Automatisierung von Arbeitsabläufen sind die Gesamtkosten pro erfolgreich erledigter Aufgabe hilfreich. Diese Kennzahl berücksichtigt nicht nur Tokens, sondern auch Qualität, Wiederholungsversuche, Werkzeugaufrufe, Latenz, Stromverbrauch und die Kosten menschlicher Überprüfung."}],"sources":[{"url":"https://hai.stanford.edu/ai-index/2025-ai-index-report","title":"Stanford AI Index Bericht 2025","type":"data_point"},{"url":"https://mlcommons.org/benchmarks/inference-datacenter/","title":"MLCommons MLPerf Inference: Rechenzentrum","type":"source"},{"url":"https://cloud.google.com/blog/products/compute/ironwood-tpu-age-of-inference","title":"Google Cloud: Ironwood TPU für das Zeitalter der Inferenz","type":"source"},{"url":"https://aws.amazon.com/ai/machine-learning/trainium/","title":"AWS Trainium","type":"source"},{"url":"https://aws.amazon.com/machine-learning/inferentia/","title":"AWS Inferentia","type":"source"},{"url":"https://www.microsoft.com/en-us/microsoft-cloud/blog/2023/11/15/introducing-azure-maia-and-azure-cobalt-custom-silicon-for-ai-and-general-purpose-compute/","title":"Microsoft: Einführung von Azure Maia und Azure Cobalt","type":"source"},{"url":"https://engineering.fb.com/2024/04/10/data-center-engineering/next-generation-meta-training-inference-accelerator/","title":"Meta Engineering: Meta Training and Inference Accelerator der nächsten Generation","type":"source"},{"url":"https://nvidianews.nvidia.com/news/blackwell-ai-computing-platform","title":"NVIDIA Blackwell KI-Computing-Plattform","type":"source"},{"url":"https://www.cerebras.ai/chip","title":"Cerebras Wafer-Scale Engine","type":"source"},{"url":"https://www.anthropic.com/pricing","title":"Anthropic API-Preise","type":"data_point"},{"url":"https://openai.com/api/pricing/","title":"OpenAI API-Preise","type":"data_point"}],"images":[{"id":698,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6ODczNiwicHVyIjoiYmxvYl9pZCJ9fQ==--89216a7803ea259aaf3da7751b5e2558ddbd0d58/ai-6567cf23.webp","is_representative":true,"generation_method":"ai_image","license":"ai_generated","mime_type":"image/webp","translations":{"ko":{"alt":"AI 칩과 서버, 메모리, 냉각·전력 장치가 연결되고 비용 저울이 놓인 일러스트","caption":"AI 반도체 인프라의 전력·성능·비용 균형을 시각화했다.","description":null},"en":{"alt":"AI chip linked to servers, memory, cooling and power systems beside a cost-balancing scale","caption":"The illustration visualizes the balance of power, performance and cost in AI chip infrastructure.","description":null},"ja":{"alt":"AIチップとサーバー、メモリ、冷却・電力装置がつながり、コストの天秤が置かれた図","caption":"AI半導体基盤における電力、性能、コストの均衡を表している。","description":null},"es":{"alt":"Chip de IA conectado a servidores, memoria, refrigeración y energía junto a una balanza de costes","caption":"La ilustración representa el equilibrio entre energía, rendimiento y coste en la infraestructura de IA.","description":null},"id":{"alt":"Chip AI terhubung ke server, memori, pendingin, dan daya di samping timbangan biaya","caption":"Ilustrasi ini menggambarkan keseimbangan daya, kinerja, dan biaya infrastruktur chip AI.","description":null},"pt":{"alt":"Chip de IA ligado a servidores, memória, refrigeração e energia ao lado de uma balança de custos","caption":"A ilustração mostra o equilíbrio entre energia, desempenho e custo na infraestrutura de chips de IA.","description":null},"zh-hant":{"alt":"AI 晶片連接伺服器、記憶體、冷卻與供電設備，旁邊設有成本天平","caption":"插圖呈現 AI 晶片基礎設施在電力、效能與成本之間的平衡。","description":null},"de":{"alt":"KI-Chip mit Servern, Speicher, Kühlung und Stromsystemen neben einer Kostenwaage","caption":"Die Illustration zeigt das Gleichgewicht von Energie, Leistung und Kosten einer KI-Chip-Infrastruktur.","description":null}}},{"id":699,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6ODc0MiwicHVyIjoiYmxvYl9pZCJ9fQ==--a4c58b75c8d5a545afb9e6754eeae729a3db54f8/ai-58645f49.webp","is_representative":false,"generation_method":"ai_image","license":"ai_generated","mime_type":"image/webp","translations":{"ko":{"alt":"복잡한 칩 처리 흐름과 최적화된 계층형 AI 서버를 비교한 분할 인포그래픽","caption":"분산된 처리 경로와 통합형 AI 반도체 시스템의 효율 차이를 대비해 보여준다.","description":null},"en":{"alt":"Split infographic comparing tangled chip processing with an optimized layered AI server","caption":"The graphic contrasts fragmented processing paths with an efficient integrated AI chip system.","description":null},"ja":{"alt":"複雑なチップ処理と最適化された階層型AIサーバーを比較する図","caption":"分散した処理経路と統合型AI半導体システムの効率差を対比している。","description":null},"es":{"alt":"Infografía que compara un procesamiento caótico de chips con un servidor de IA optimizado","caption":"El gráfico contrasta rutas fragmentadas con un sistema integrado de chips de IA más eficiente.","description":null},"id":{"alt":"Infografik perbandingan pemrosesan cip yang rumit dan server AI berlapis yang optimal","caption":"Grafik ini membandingkan jalur pemrosesan terpisah dengan sistem cip AI terintegrasi yang efisien.","description":null},"pt":{"alt":"Infográfico compara processamento confuso de chips com servidor de IA otimizado em camadas","caption":"O gráfico contrasta rotas fragmentadas com um sistema integrado de chips de IA mais eficiente.","description":null},"zh-hant":{"alt":"比較混亂晶片處理流程與最佳化分層AI伺服器的資訊圖","caption":"圖中對比分散處理路徑與高效率整合式AI晶片系統。","description":null},"de":{"alt":"Geteilte Infografik vergleicht chaotische Chipverarbeitung mit einem optimierten KI-Server","caption":"Die Grafik stellt fragmentierte Abläufe einem effizienten integrierten KI-Chipsystem gegenüber.","description":null}}}],"published_at":"2026-08-17T07:14:00+09:00","updated_at":"2026-08-17T07:14:00+09:00","license":"cc_by","translation_status":"reviewed","available_locales":["ko","en","ja","es"],"data_locales":["ko","en","ja","es","id","pt","zh-hant","de"],"url":"https://injoys.com/en/articles/ai-chip-token-economics-and-hardware-strategies"}