---
title: "Warum Inferenz in Rechenzentren trotz Fortschritten lokaler KI wahrscheinlich vorherrschend bleibt"
locale: de
category: trends
category_name: "Trends"
translation_status: reviewed
license: cc_by
author: "injoys"
source_url: https://injoys.com/en/articles/why-most-ai-inference-will-remain-in-data-centers
published_at: 2026-08-28T11:45:54+09:00
---

# Warum Inferenz in Rechenzentren trotz Fortschritten lokaler KI wahrscheinlich vorherrschend bleibt

> Lokale KI wird beim Datenschutz, beim Offline-Betrieb und bei sofortigen Antworten eine wichtige Rolle spielen, doch höchste Leistung und Verarbeitung in großem Maßstab werden wahrscheinlich weiterhin hauptsächlich in Rechenzentren stattfinden. Die Hauptgründe sind sich verschiebende Leistungsmaßstäbe, Batching und eine hohe Auslastung von Beschleunigern, Hardware für Rechenzentren sowie immer komplexere Agentenaufgaben.

## Key Points

- Dass Open-Weight-Modelle verfügbar sind, bedeutet nicht automatisch, dass sie sich auf persönlichen Geräten effizient ausführen lassen.
- Selbst wenn künftige Laptops die besten Modelle von heute ausführen können, könnten die damaligen Rechenzentrumsmodelle eine höhere Leistung und die Fähigkeit zu längeren Aufgaben bieten.
- Rechenzentren können mehrere Anfragen dynamisch bündeln und Beschleuniger gemeinsam nutzen, um einen höheren Durchsatz und eine höhere Auslastung als persönliche Geräte zu erreichen.
- Bei den Kosten lokaler Inferenz müssen neben dem Kaufpreis der GPU auch Abschreibung, Strom, Kühlung, Wartung und eine geringe Auslastung berücksichtigt werden.
- Der tatsächliche Markt dürfte eher einer hybriden Struktur entsprechen, die beide Umgebungen je nach Aufgabe miteinander verbindet, als einem Szenario, in dem entweder die lokale Umgebung oder die Cloud verschwindet.

Mit der rasanten Entwicklung von Open-Weight-Modellen und kleinen Sprachmodellen wird immer wieder prognostiziert, dass letztlich jede AI auf PCs oder Smartphones laufen werde. Die lokale Ausführung bietet klare Vorteile: Sie senkt die API-Nutzungskosten, überträgt sensible Daten nicht nach außen und funktioniert auch ohne Internetverbindung.

Das Wachstum lokaler AI und der Niedergang von Rechenzentrums-AI sind jedoch nicht dieselbe These. Selbst wenn künftig deutlich mehr AI auf persönlichen Geräten ausgeführt wird, dürften Rechenzentren gemessen am gesamten Rechenaufwand und an anspruchsvollen Aufgaben das Zentrum der Inferenz bleiben. Der Grund dafür liegt nicht nur in der Modellgröße, sondern im Zusammenspiel von Leistungswettbewerb, Nutzernachfrage, Batching, Hardwareauslastung und Gesamtbetriebskosten.

## Drei Begriffe, die zunächst unterschieden werden müssen

In der Debatte über lokale AI werden häufig unterschiedliche Dimensionen vermischt.

| Kategorie | Bedeutung | Gegenbegriff |
|---|---|---|
| Open Weight | Modell, dessen trainierte Modellgewichte heruntergeladen und im Rahmen einer festgelegten Lizenz verwendet werden können | Modell, dessen Gewichte nicht veröffentlicht sind |
| Lokale·On-Device-Inferenz | Direkte Ausführung auf einem PC, Smartphone, in einem Fahrzeug oder auf unternehmenseigenen Geräten | Ausführung in einem externen Rechenzentrum |
| Self-Hosting | Betrieb eines Modells auf einem vom Nutzer ausgewählten Server oder in einem ausgewählten Rechenzentrum | Nutzung der API des Modellanbieters |

Open Weight bedeutet nicht zwangsläufig lokale Ausführung. Unternehmen können Open-Weight-Modelle auf gemieteten GPU-Clustern oder in eigenen Rechenzentren als Dienst anbieten. Umgekehrt können Gerätehersteller nicht veröffentlichte kleine Modelle in Smartphones integrieren.

Die eigentliche Frage lautet daher nicht, ob sich „öffentliche Modelle weiterentwickeln“, sondern in welcher Rechenumgebung die jeweilige Aufgabe hinsichtlich Leistung, Kosten, Datenschutz und Betrieb am vorteilhaftesten verarbeitet werden kann.

Auch Open Weight bedeutet nicht automatisch vollständig quelloffen. Da sich die Bedingungen für Nutzung, Weiterverbreitung und abgeleitete Modelle je nach Modelllizenz unterscheiden, muss die jeweilige Lizenz vor einer kommerziellen Bereitstellung gesondert geprüft werden.

## Künftige lokale Modelle können zu den heutigen Spitzenmodellen aufschließen

Fortschritte bei Quantisierung, Wissensdestillation, Pruning, der Optimierung von Inferenz-Engines und spezialisierten NPUs ermöglichen es, Aufgaben auf demselben Niveau mit weniger Speicher und Energie zu verarbeiten. Die Prognose, dass einige Fähigkeiten, die heute Server erfordern, in einigen Jahren auf Laptops oder Smartphones verlagert werden können, ist durchaus plausibel.

Der Vergleichsmaßstab bleibt jedoch nicht unverändert. Während künftige lokale Modelle das Niveau der heutigen Spitzenmodelle erreichen, können sich auch Rechenzentrumsmodelle in folgende Richtungen weiterentwickeln.

- Komplexere Schlussfolgerungen und Planung
- Verarbeitung längerer Kontexte und umfangreicher Suchergebnisse
- Multimodale Aufgaben, die Bild, Sprache und Video kombinieren
- Zuverlässige Nutzung mehrerer Werkzeuge und externer Systeme
- Schlussfolgerungen unter Nutzung mehrerer Agenten oder möglicher Lösungswege
- Fähigkeit, während langer Aufgaben Fehler zu erkennen und zu beheben

Die These, dass „die heutige Spitzenleistung eines Tages lokal umgesetzt werden kann“, unterscheidet sich daher von der These, dass „auch die zu diesem Zeitpunkt höchste Leistung lokal umgesetzt werden kann“. Erstere dürfte durch technologische Effizienzsteigerungen mit hoher Wahrscheinlichkeit Realität werden. Letztere könnte jedoch weiterhin schwierig bleiben, solange sich zugleich der Umfang von Stromversorgung, Speicher, Netzwerken und Beschleunigern in Rechenzentren weiterentwickelt.

## Auch die Anforderungen an eine für Nutzer ausreichende Leistung steigen

Zu den typischen Aufgaben der frühen generativen AI gehörten die Beantwortung von Fragen, die Zusammenfassung kurzer Dokumente, E-Mail-Entwürfe und einfache Codegenerierung. Solche Aufgaben können auch kleine lokale Modelle sinnvoll erledigen.

AI-Agenten hingegen lesen vollständige Code-Repositories, ändern mehrere Dateien, führen Tests aus und wiederholen Suchvorgänge sowie Aufrufe externer Werkzeuge. Forschungsagenten müssen über längere Zeit arbeiten, verschiedene Quellen vergleichen und Zwischenergebnisse aufbewahren. Agenten zur Automatisierung von Geschäftsprozessen müssen sogar Berechtigungen, Datenbanken und interne Unternehmenssysteme handhaben.

Bei langen Aufgaben summieren sich Fehler in den einzelnen Schritten. Selbst wenn die Erfolgsquote eines einzelnen Schritts hoch ist, kann die Wahrscheinlichkeit, die gesamte Aufgabe erfolgreich abzuschließen, stark sinken, wenn Dutzende Entscheidungen und Werkzeugaufrufe nacheinander ausgeführt werden. Deshalb bewerten Nutzer nicht mehr nur die Qualität einer einzelnen Antwort, sondern auch folgende Fähigkeiten.

- Werden Ziel und Rahmenbedingungen über längere Zeit beibehalten?
- Werden fehlgeschlagene Werkzeugaufrufe diagnostiziert und korrigiert?
- Werden unbestätigte Inhalte nicht als Tatsachen dargestellt?
- Wird der umfassende Kontext von Code und Dokumenten konsistent verstanden?
- Wird die Zahl der erforderlichen menschlichen Eingriffe reduziert?

Wenn ein leistungsfähigeres Modell Nacharbeit und Überwachungsaufwand reduziert, können die gesamten Arbeitskosten trotz eines höheren Preises pro Token niedriger ausfallen. Bei kurzen, wiederkehrenden Aufgaben kann dagegen ein günstiges lokales Modell vernünftiger sein. Entscheidend sind letztlich nicht allein die Modellkosten, sondern die Kosten pro abgeschlossener Aufgabe und das Fehlerrisiko.

## Die zentralen Vorteile von Rechenzentren sind Batching und gemeinsame Ressourcennutzung

Die Token-Erzeugung großer Sprachmodelle hängt in hohem Maße davon ab, dass Modellgewichte wiederholt aus dem Speicher des Beschleunigers gelesen werden. Wird nur eine einzelne Anfrage verarbeitet, werden große parallele Recheneinheiten und die verfügbare Speicherbandbreite möglicherweise nicht vollständig genutzt.

Serving-Systeme bündeln Anfragen verschiedener Nutzer in Batches und führen Matrixoperationen aus. Dabei werden mehrere Anfragen innerhalb eines Rechenvorgangs gemeinsam verarbeitet, wodurch Rechendichte und Durchsatz steigen. Kontinuierliches Batching, bei dem abgeschlossene Anfragen entfernt und neue hinzugefügt werden, ist eine Schlüsseltechnologie zur Steigerung der Auslastung in realen Diensten mit unterschiedlichen Eingabe- und Ausgabelängen.

Batching beseitigt die Kosten nicht vollständig proportional zur Zahl der Anfragen. Für jede Anfrage müssen Token und ein KV-Cache berechnet werden, und mit wachsender Batch-Größe steigen auch Speicherverbrauch und Wartezeit. Betreiber müssen zwischen folgenden Faktoren abwägen.

- Zahl der verarbeiteten Token pro Sekunde
- Latenz bis zur Ausgabe des ersten Tokens
- Latenz der ausgegebenen Token je Anfrage
- Vom KV-Cache belegter Speicher
- Mischung aus Anfragen mit langem und kurzem Kontext
- Service-Level-Ziele und maximale Zahl gleichzeitiger Anfragen

Dennoch gehen bei groß angelegten Diensten kontinuierlich Anfragen ein, sodass Leerlaufzeiten leichter reduziert werden können als bei persönlichen GPUs. Modellinstanzen können von mehreren Kunden gemeinsam genutzt, die Zahl der Server dem Datenverkehr angepasst und bestimmte Aufgaben auf geeignete Beschleuniger verlagert werden.

## Persönliche GPUs weisen häufig eine niedrige durchschnittliche Auslastung auf

Persönliche Geräte stehen bei Bedarf sofort zur Verfügung, können aber den größten Teil des Tages im Bereitschaftszustand verbringen. Selbst wenn mehrere Agenten gleichzeitig ausgeführt werden, ist es schwierig, das System wie bei großen Diensten kontinuierlich mit Anfragen unterschiedlicher Länge auszulasten.

Die Wirtschaftlichkeit lokaler Geräte hängt nicht von ihrer maximalen Verarbeitungsgeschwindigkeit, sondern von ihrer tatsächlichen Auslastung ab. Selbst wenn man eine teure GPU besitzt, steigen die Kapitalkosten pro effektivem Token, wenn sie nur wenige Stunden pro Woche genutzt wird. Bei kontinuierlichen Aufgaben wie Videoproduktion, Softwaretests oder der Verarbeitung großer Dokumentenmengen kann die Auslastung lokaler Geräte dagegen steigen und einen Kostenvorteil schaffen.

Wird ein lokaler Server mehreren Personen zugänglich gemacht, steigen Auslastung und Möglichkeiten zum Batching. In diesem Moment werden jedoch Authentifizierung, Zugriffskontrolle, Aufgabenwarteschlangen, Störungsbehebung, Kühlung und Überwachung erforderlich. Trotz des kleineren Umfangs entstehen damit ähnliche Probleme wie beim Betrieb eines Rechenzentrums.

## Beschleuniger für Rechenzentren verfolgen andere Zwecke und Konfigurationen

Auch Consumer-GPUs sind leistungsfähig bei generativer AI, werden jedoch unter gemeinsamer Berücksichtigung von Spielen, Grafik und Universalberechnungen entwickelt. Beschleuniger für Rechenzentren konzentrieren sich dagegen auf große Mengen hochbandbreitigen Speichers, Verbindungen zwischen Beschleunigern, Skalierung auf Rack-Ebene und niedrigpräzise AI-Berechnungen.

Die GeForce RTX 4090 ist eine Consumer-GPU, während NVIDIA B200 ein AI-Beschleuniger für Rechenzentren ist. Nach den vom Autor verglichenen Schätzungen bietet NVIDIA B200 bei vergleichbarer Leistungsaufnahme eine etwa 3-mal höhere Rechenleistung als die RTX 4090, während die Speicherbandbreite annähernd 4-mal so hoch ist. Dieser Unterschied verschafft Rechenzentren einen Vorteil, wenn große Modelle in den Speicher geladen und mit hohem Durchsatz als Dienst bereitgestellt werden.

Die Leistungswerte beider Produkte dürfen jedoch nicht als einfaches Verhältnis verglichen werden. Die veröffentlichten Angaben zur AI-Rechenleistung können sich hinsichtlich Präzision, Nutzung von Sparsity, Leistungsgrenze und Systemkonfiguration unterscheiden. Die tatsächliche Inferenzleistung muss anhand von Benchmarks beurteilt werden, bei denen Modellarchitektur, Quantisierungsverfahren, Batch-Größe, Kontextlänge und Software-Stack identisch abgestimmt sind.

Wird ein großes Modell auf mehrere Beschleuniger verteilt, entstehen zudem Kommunikationskosten. Rechenzentren bieten schnelle Interconnects und optimierte Netzwerke, doch verteilte Inferenz ist nicht kostenlos. Bei kleinen Modellen kann die Ausführung auf einer einzelnen Consumer-GPU sogar einfacher und effizienter sein.

## So lassen sich die tatsächlichen Kosten lokaler Inferenz berechnen

In der Rechnung „Die GPU wurde gekauft, also ist die anschließende Inferenz kostenlos“ fehlen Kapital- und Betriebskosten. Alle folgenden Posten müssen berücksichtigt werden.

**Lokale Gesamtbetriebskosten**

`Kaufpreis - erwarteter Wiederverkaufswert + Stromkosten + Kühlungskosten + Reparatur·Ersatzkosten + Wert der Betriebszeit`

Teilt man diesen Betrag durch die Zahl der tatsächlich erzeugten effektiven Token oder abgeschlossenen Aufgaben, ergibt sich ein vergleichbarer Stückpreis. Genauer ist eine Berechnung auf Basis der nach der Prüfung nutzbaren Ergebnisse statt lediglich der ausgegebenen Token.

Die Stromkosten lassen sich wie folgt schätzen.

`durchschnittliche Leistungsaufnahme (kW) × Laufzeit (h) × Strompreis`

Dabei müssen auch Verluste des Netzteils sowie die Leistungsaufnahme von CPU, Speicher, Datenträgern und Kühlgeräten berücksichtigt werden. Da sich regionale Strompreise und Gerätenutzungszeiten erheblich unterscheiden, ist es nicht angemessen, einen festen monatlichen Strombetrag anzugeben, der für alle Nutzer gilt.

Die **Cloud-Gesamtkosten** können neben API- oder Abonnementgebühren auch Datenübertragung, Wartezeit, Kosten eines Anbieterwechsels, Nutzungsbeschränkungen und die Kosten für den Umgang mit sensiblen Informationen umfassen. Bei geringer oder unregelmäßiger Nutzung sind nutzungsabhängige Dienste häufig vorteilhaft. Für kontinuierliche und vorhersehbare Aufgaben in großem Umfang können dagegen eigene Geräte oder reservierte Infrastruktur günstiger sein.

## Bereiche, in denen lokale AI eindeutig im Vorteil ist

Die Wirtschaftlichkeit von Rechenzentren beseitigt nicht die Notwendigkeit lokaler AI. Unter folgenden Bedingungen können Datenkontrolle, Verfügbarkeit oder Reaktionszeit wichtiger sein als das beste Modell.

| Situation | Vorteil lokaler Ausführung | Zu prüfende Einschränkungen |
|---|---|---|
| Offline-Umgebung | Funktioniert unabhängig von Internetausfällen oder Kommunikationsbeschränkungen | Geräteleistung und Akkuverbrauch |
| Verarbeitung sensibler Informationen | Rohdaten müssen nicht an externe Server gesendet werden | Schutz vor Gerätediebstahl, Schadsoftware und Zugriff auf lokale Protokolle |
| Tastatur·Sprachassistenz | Niedrige Latenz und unmittelbare Reaktion | Modellgröße und Genauigkeit |
| Wiederkehrende kleine Klassifizierungsaufgaben | Niedrige Grenzkosten bei ausreichender Nutzung | Anfängliche Entwicklungs-·Gerätekosten |
| Fahrzeug-·Fabrik-·Vor-Ort-Steuerung | Schnelle Entscheidungen ohne Netzwerk-Roundtrip | Sicherheitsprüfung und Aktualisierungssystem |
| Personalisierte Funktionen | Nutzung des auf dem Gerät vorhandenen Nutzerkontexts | Berechtigungsverwaltung und Datenlöschung |

Auch Datenschutz lässt sich nicht dichotom nach dem Muster „lokal ist sicher, Cloud ist riskant“ beurteilen. Ist ein lokales Gerät infiziert oder sein Datenträger nicht verschlüsselt, können Daten offengelegt werden. Umgekehrt können auch Cloud-Dienste Beschränkungen der Datenaufbewahrung, Verschlüsselung und isolierte Ausführungsumgebungen bereitstellen. Nutzer müssen jedoch die tatsächliche technische Struktur und die Vertragsbedingungen prüfen.

## Die wahrscheinlichste Form ist hybride AI

Lokale Systeme und Rechenzentren werden einander wahrscheinlich nicht vollständig ersetzen, sondern unterschiedliche Rollen übernehmen.

1. Das Gerät verarbeitet Spracherkennung, die Entfernung personenbezogener Daten, kurze Klassifizierungen und einfache Generierung.
2. Ein lokaler Router bewertet Schwierigkeitsgrad und Sensibilität der Aufgabe.
3. Nur wenn komplexe Schlussfolgerungen, lange Kontexte oder umfangreiche Suchvorgänge erforderlich sind, wird ein Rechenzentrumsmodell aufgerufen.
4. Ein Teil des Ergebnisses wird lokal überprüft oder mit Nutzerdaten kombiniert.
5. Wird die Verbindung unterbrochen, erfolgt der Wechsel zu einem lokalen Modell mit eingeschränktem Funktionsumfang.

Diese Struktur reduziert die Zahl der Cloud-Aufrufe und ermöglicht zugleich bei Bedarf den Einsatz leistungsfähiger Modelle. Anbieter können kleine Modelle für Filterung, Routing und die Erstellung von Entwürfen einsetzen und große Modelle nur schwierigen Anfragen zuweisen. Nutzer können zudem öffentliche Modelle lokal ausführen und ein separates Rechenzentrumsmodell als Hilfsmittel anbinden.

## Zunächst muss festgelegt werden, anhand welcher Kennzahl „der Großteil der Inferenz“ gemessen wird

Der Anteil lokaler AI und von Rechenzentrums-AI kann je nach Maßeinheit völlig unterschiedlich erscheinen. Dieser Unterschied wird in einfachen Debatten über Marktanteile häufig übersehen.

- **Zahl der Anfragen:** Nimmt die Zahl kurzer Autovervollständigungen oder Klassifizierungen auf Smartphones zu, kann der lokale Anteil hoch sein.
- **Zahl der erzeugten Token:** Konzentrieren sich lange Dokumente und Agentenaufgaben in der Cloud, kann der Anteil der Rechenzentren steigen.
- **Rechenaufwand:** Schwierige Schlussfolgerungen, die Generierung mehrerer Kandidaten und multimodale Verarbeitung können den gesamten Rechenaufwand der Rechenzentren erhöhen.
- **Ausgaben:** Teure Unternehmensdienste und Infrastruktur können den Ausgabenanteil der Rechenzentren erhöhen.
- **Vom Nutzer wahrgenommene Nutzungszeit:** Aufgrund ständig aktiver lokaler Assistenzfunktionen kann der Eindruck entstehen, lokale AI häufiger zu verwenden.

In Zukunft könnte daher die Zahl lokaler Anfragen steigen, während sich der gesamte AI-Rechenaufwand, anspruchsvolle Aufgaben und die damit verbundenen Ausgaben zugleich in Rechenzentren konzentrieren. Sowohl die Aussage „jede AI wird lokal“ als auch „lokale AI ist unwichtig“ übersieht diesen Unterschied.

## Faktoren, die die Prognose verändern können

Die Prognose einer Dominanz der Rechenzentren ist kein feststehendes Gesetz. Bei folgenden Entwicklungen könnte der lokale Anteil schneller wachsen als erwartet.

- Wenn die Fähigkeiten von Modellen in vielen Arbeitsbereichen tatsächlich ein Sättigungsniveau erreichen und der Wert leistungsfähigerer Modelle abnimmt
- Wenn energieeffiziente Geräte mit hoher Speicherkapazität und -bandbreite breite Verbreitung finden
- Wenn Destillation und Quantisierung Modelle stark verkleinern, ohne dass anspruchsvolle Fähigkeiten zur Schlussfolgerung wesentlich verloren gehen
- Wenn Datenschutz-·nationale Sicherheitsvorschriften die Übertragung an externe Server stark einschränken
- Wenn Einschränkungen bei Stromnetzen, Kühlwasser, Halbleiterversorgung oder Genehmigungen den Ausbau von Rechenzentren verlangsamen
- Wenn Technologien und Vergütungssysteme zur sicheren Bündelung verteilter Geräteressourcen ausgereift sind

Wenn Agentenaufgaben dagegen länger werden, Videogenerierung und multimodale Echtzeitverarbeitung allgemeine Verbreitung finden und sich Auslastung sowie Energieeffizienz der Beschleuniger in Rechenzentren kontinuierlich verbessern, könnte sich der Vorteil zentralisierter Inferenz verstärken.

## Fazit

Lokale AI ist keine Randtechnologie, die verschwinden wird. Bei Smartphone-Assistenzfunktionen, der Verarbeitung sensibler Informationen, Offline-Aufgaben und Diensten, bei denen Latenz entscheidend ist, dürfte sie zu einer unverzichtbaren Ebene werden. Open-Weight-Modelle erweitern außerdem die Wahlmöglichkeiten und die Fähigkeit zum Self-Hosting und tragen dazu bei, die Abhängigkeit von Anbietern zu mindern.

Es ist jedoch unwahrscheinlich, dass allein die Effizienzsteigerung der Modelle Rechenzentren überflüssig macht. Die Maßstäbe für Spitzenleistung und die Anforderungen der Nutzer steigen gemeinsam, während Rechenzentren strukturelle Vorteile bei Batching, hoher Auslastung von Beschleunigern, großen Mengen hochbandbreitigen Speichers und gemeinsamer Ressourcennutzung besitzen.

Die überzeugendste langfristige Prognose ist weder ein Sieg lokaler Systeme noch ein Cloud-Monopol. Wahrscheinlicher ist eine mehrstufige Struktur, in der kurze, sensible und sofortige Aufgaben auf dem Gerät verarbeitet werden, während komplexe, lange und kostspielige Aufgaben an Rechenzentren gehen. In diesem Umfeld liegt die entscheidende Wettbewerbsfähigkeit nicht in der Größe eines einzelnen Modells, sondern in Routing, Kostenkontrolle und Data Governance, durch die Aufgaben an den jeweils geeigneten Ausführungsort geleitet werden.

## FAQ

### Können alle Open-Weight-Modelle auf einem privaten PC ausgeführt werden?
Nein. Open Weight bedeutet, dass die Gewichte verfügbar sind, nicht, dass das Modell für private Hardware geeignet ist. Es hängt von der Modellgröße, der Präzision, der Speicherkapazität und den Lizenzbedingungen ab, und große Open-Weight-Modelle können mehrere Rechenzentrums-GPUs benötigen.

### Können zukünftige Smartphones die heutige beste AI-Leistung bieten?
Durch Fortschritte bei Quantisierung, Destillation und NPUs ist es sehr wahrscheinlich, dass ein Teil der heutigen Fähigkeiten auf Serverniveau auf Smartphones verlagert wird. Allerdings entwickeln sich auch die Rechenzentrumsmodelle jener Zeit weiter, weshalb dies nicht bedeutet, dass Smartphones selbst zu den dann besten Modellen aufschließen werden.

### Ist lokale AI nach dem Kauf einer GPU immer günstiger als eine API?
Nicht immer. Anschaffungskosten und Wiederverkaufswert, Strom, Kühlung, Wartung und die tatsächliche Auslastung müssen allesamt berücksichtigt werden. Bei geringer oder unregelmäßiger Nutzung können nutzungsabhängig abgerechnete Dienste vorteilhafter sein, während die lokale Ausführung bei umfangreichen Aufgaben, für die die Geräte kontinuierlich genutzt werden, günstiger sein kann.

### Warum senkt Batching bei der AI-Inferenz die Kosten?
Wenn mehrere Anfragen gemeinsam verarbeitet werden, lassen sich die Fähigkeiten des Beschleunigers zur parallelen Berechnung und seine Speicherbandbreite effizienter nutzen. Kontinuierliches Batching erhöht die Auslastung, indem abgeschlossene Anfragen entfernt und neue hinzugefügt werden, doch aufgrund des KV-Caches und der Latenz kann ein Batch nicht unbegrenzt vergrößert werden.

### Ist lokale AI beim Schutz personenbezogener Daten immer sicherer?
Sie bietet den Vorteil, dass Daten nicht an externe Server gesendet werden, wird dadurch aber nicht automatisch sicher. Erforderlich sind Geräteverschlüsselung, Schutz vor Schadsoftware sowie die Verwaltung von Zugriffsrechten, Protokollen und Backups. Bei der Nutzung der Cloud müssen die Datenspeicherung, die Verwendung für das Training sowie die Methoden zur Verschlüsselung und Isolierung geprüft werden.

### Kann man die AI-Leistung von Consumer-GPUs und Rechenzentrums-GPUs allein anhand der FLOPS vergleichen?
Nein. Präzision, Sparsität, Leistungsgrenzen und Messbedingungen können unterschiedlich sein. Die tatsächliche LLM-Inferenz hängt zudem stark von Speicherkapazität und -bandbreite, Batchgröße, Kontextlänge, KV-Cache, den Verbindungen zwischen den Beschleunigern und der Serving-Software ab.

### Für welche Aufgaben eignet sich lokale AI am besten?
Sie eignet sich für Aufgaben, bei denen Latenz und Datenkontrolle wichtig sind, etwa Tastatur-Autovervollständigung, kurze Zusammenfassungen und Klassifizierungen, Offline-Sprachverarbeitung, Vorverarbeitung sensibler Informationen und Steuerung vor Ort. Bei lang andauernden Agentenaufgaben, umfangreicher multimodaler Verarbeitung und Inferenz, die höchste Leistung erfordert, sind Rechenzentren wahrscheinlich im Vorteil.

### Was wird sich langfristig durchsetzen: lokale AI oder Cloud-AI?
Statt einer vollständigen Verdrängung der einen Seite durch die andere ist eine hybride Struktur wahrscheinlich. Dabei verarbeitet das Gerät einfache und sensible Aufgaben und sendet nur komplexe Anfragen an das Rechenzentrum. Auch wenn die Zahl der Anfragen lokal höher sein mag, können sich der gesamte Rechenaufwand und anspruchsvolle Aufgaben auf Rechenzentren konzentrieren.

## Sources

- [Effiziente Speicherverwaltung für die Bereitstellung großer Sprachmodelle mit PagedAttention](https://arxiv.org/abs/2309.06180)
- [Orca: Ein verteiltes Bereitstellungssystem für Transformer-basierte generative Modelle](https://arxiv.org/abs/2206.02658)
- [NVIDIA-Blackwell-Architektur](https://www.nvidia.com/en-us/data-center/technologies/blackwell-architecture/)
- [NVIDIA GeForce RTX 4090](https://www.nvidia.com/en-us/geforce/graphics-cards/40-series/rtx-4090/)
- [MLPerf-Inferenz: Rechenzentrum](https://mlcommons.org/benchmarks/inference-datacenter/)
- [Private Cloud Compute: Eine neue Dimension des KI-Datenschutzes in der Cloud](https://security.apple.com/blog/private-cloud-compute/)
- [Google AI Edge SDK mit Gemini Nano](https://developer.android.com/ai/gemini-nano)

## Images

![Rechenzentrumstechniker verbindet vor Serverracks ein Kabel mit einem kompakten Gerät](https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6MTI2NTAsInB1ciI6ImJsb2JfaWQifX0=--34abeef97dfe63b15e2b649c2c6ae8c564924b28/ai-0fdb0281.webp)
![Schaubild vergleicht lokale KI auf Laptop und Smartphone mit Servern, GPUs und Rechenzentrum](https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6MTI2NTYsInB1ciI6ImJsb2JfaWQifX0=--4b642e72ce104856aa40ed5bc224e337cf7877c2/ai-70dfbb70.webp)