AI 반도체 경쟁의 새 기준, 토큰당 비용

생성형 AI 반도체의 경쟁 기준이 최대 연산량에서 실제 서비스 경제성으로 넓어지고 있다. 업계에서 비공식적으로 쓰이는 토성비는 토큰 가성비, 즉 일정한 비용이나 전력으로 얼마나 많은 토큰을 유용하게 처리하는지를 뜻한다.

그러나 가장 싼 토큰이 반드시 가장 경제적인 결과를 만드는 것은 아니다. 모델의 정확도, 응답 지연, 재시도 횟수와 데이터센터 이용률까지 함께 측정해야 실제 경쟁력을 판단할 수 있다.

토성비란 무엇인가

토큰은 언어 모델이 입력을 읽고 출력을 생성할 때 사용하는 텍스트 처리 단위다. API 사업자는 보통 입력 토큰과 출력 토큰을 구분해 가격을 책정하며, 캐시된 입력에는 별도 요금을 적용하기도 한다.

토성비는 정식 회계 용어나 표준 벤치마크가 아니다. 실무에서는 다음 지표를 구분해야 한다.

토큰당 총비용은 개념적으로 다음과 같이 볼 수 있다.

토큰당 총비용 = 감가상각 + 전력·냉각 + 메모리·네트워크 + 운영비 + 소프트웨어 비용 ÷ 유효 처리 토큰

여기서 유효 처리 토큰은 단순 생성량이 아니라 서비스 품질 기준을 충족한 토큰을 뜻한다. 서로 다른 모델은 토크나이저와 답변 길이가 다르므로 100만 토큰 가격만 직접 비교하면 왜곡될 수 있다.

추론 비용이 반도체 경쟁을 바꾸는 이유

서비스가 사용될 때마다 비용이 반복된다

대규모 학습은 막대한 비용이 집중되는 단계지만 완전한 일회성 지출은 아니다. 사전 학습 이후에도 미세조정, 강화학습, 평가와 새 버전 학습이 반복된다. 그럼에도 사용자가 요청할 때마다 발생하는 추론 비용은 서비스 성장과 거의 함께 증가한다는 점에서 사업 모델에 더 직접적인 영향을 준다.

Stanford AI Index 2025는 일정 수준의 모델 성능을 제공하는 추론 비용이 빠르게 하락했다고 분석했다. 이는 반도체 개선뿐 아니라 소형 모델, 양자화, 추론 엔진과 경쟁 확대가 함께 만든 결과다. 단가가 내려가면 더 많은 기능이 경제성을 얻지만, 사용량 증가가 단가 하락을 상쇄하는 제번스 효과도 나타날 수 있다.

AI 에이전트가 토큰 사용을 증폭한다

일반적인 챗봇은 질문과 답변이 비교적 짧게 끝난다. 반면 AI 에이전트는 다음 작업을 반복할 수 있다.

• 계획 수립과 수정
• 긴 문서 또는 코드 저장소 읽기
• 검색, 데이터베이스, 터미널 등 도구 호출
• 실행 결과 검토와 오류 수정
• 여러 후보 생성과 평가

작업 단계가 길어질수록 입력 문맥, 중간 추론, 도구 결과와 재시도가 누적된다. 에이전트 시대에는 모델 호출 한 번의 가격보다 업무 하나를 성공적으로 완료하는 데 든 전체 비용이 중요하다.

전력과 설비가 실제 공급 한계를 만든다

AI 가속기를 확보해도 전력 인입, 냉각, 고대역폭 메모리, 네트워크와 데이터센터 공간이 부족하면 가동할 수 없다. 따라서 와트당 토큰과 랙당 토큰은 전기요금 절감 이상의 의미를 갖는다. 제한된 전력 용량에서 제공할 수 있는 서비스량을 결정하기 때문이다.

토큰당 비용을 낮추는 하드웨어 전략

1. 특정 워크로드에 맞춘 자체 가속기

범용 GPU는 다양한 모델과 연산을 지원하지만 그 유연성에는 비용이 따른다. 대규모 클라우드 사업자는 반복적으로 수행하는 내부 워크로드를 분석해 필요하지 않은 기능을 줄이고 데이터 이동 경로를 최적화할 수 있다.

Google이 2025년 공개한 Ironwood는 추론 중심으로 설계된 7세대 TPU다. 이는 특정 Gemini 모델 하나에만 고정된 칩이라기보다 Google의 모델, XLA 컴파일러와 데이터센터를 함께 최적화하는 수직 통합 전략으로 이해하는 편이 정확하다.

자체 칩의 목적은 칩 구매비 절감에만 있지 않다. 공급 일정 통제, 전력 효율 개선, 내부 워크로드 최적화와 외부 공급자에 대한 협상력 확보가 함께 작용한다.

2. 랙 전체를 하나의 컴퓨터로 설계

대형 모델은 한 가속기의 메모리에 들어가지 않으므로 여러 가속기에 분산된다. 이때 성능은 개별 칩의 계산 능력보다 가속기 사이의 통신 속도, 메모리 대역폭과 소프트웨어 스케줄링에 좌우될 수 있다.

NVIDIA Blackwell 플랫폼은 GPU, CPU, NVLink, 네트워크와 소프트웨어를 통합하는 랙 스케일 접근을 전면에 내세웠다. AMD 역시 Instinct 가속기와 개방형 소프트웨어 생태계, 랙 단위 시스템을 강화하고 있다. 이 경쟁에서는 단일 칩 벤치마크보다 다음 요소가 중요하다.

• 한 랙에서 동시에 처리할 수 있는 요청 수
• 가속기 사이에서 가중치와 KV cache를 이동하는 비용
• 장애가 발생했을 때 남은 장비를 활용하는 능력
• 전력 공급과 냉각 한도 안에서 유지되는 지속 성능
• 모델을 실제로 배포하기까지 필요한 개발 시간

랙 가격이 비싸더라도 이용률과 처리량이 충분히 높으면 토큰당 비용은 낮아질 수 있다. 반대로 저렴한 칩도 소프트웨어 미성숙이나 통신 병목으로 유휴 시간이 길면 경제성을 잃는다.

3. 웨이퍼 스케일로 통신 경계를 줄이기

Cerebras는 일반적인 개별 다이 여러 개 대신 웨이퍼 크기의 프로세서를 사용하는 WSE 계열을 개발했다. 큰 연산 자원과 메모리 대역폭을 하나의 웨이퍼에 배치해 기존 클러스터에서 발생하는 일부 칩 간 통신을 줄이는 접근이다.

웨이퍼 스케일 구조는 낮은 지연과 높은 처리량을 노릴 수 있지만 모든 통신을 없애는 것은 아니다. 여러 시스템을 연결하거나 대형 모델을 운영할 때는 외부 메모리, 네트워크, 장애 복구와 컴파일러가 여전히 필요하다. 특정 모델의 초당 토큰 기록도 정밀도, 배치 크기, 문맥 길이와 출력 조건이 다르면 직접 비교할 수 없다.

4. 메모리와 데이터 이동을 우선 최적화

추론에서는 계산 자체보다 모델 가중치와 KV cache를 옮기는 과정이 병목이 되기 쉽다. 특히 토큰을 한 개씩 생성하는 디코드 단계는 메모리 대역폭의 영향을 크게 받는다.

하드웨어 사업자들이 고대역폭 메모리, 칩렛, 고속 인터커넥트와 더 큰 캐시를 강조하는 이유가 여기에 있다. 연산 성능 수치가 높아도 필요한 데이터를 제때 공급하지 못하면 실제 토큰 처리량은 증가하지 않는다.

5. 하드웨어와 추론 소프트웨어를 공동 설계

토성비는 반도체만으로 결정되지 않는다. 같은 하드웨어에서도 다음 기법에 따라 처리량이 크게 달라질 수 있다.

• 양자화: 가중치와 연산 정밀도를 낮춰 메모리와 계산량을 줄인다.
• 연속 배칭: 도착 시간이 다른 요청을 효율적으로 묶는다.
• 프리픽스 캐싱: 반복되는 시스템 프롬프트와 문맥 계산을 재사용한다.
• 추측 디코딩: 작은 모델이 토큰 후보를 만들고 큰 모델이 검증한다.
• Prefill·decode 분리: 입력 처리와 출력 생성을 서로 다른 자원에 배치한다.
• 희소 모델 라우팅: Mixture-of-Experts 모델에서 필요한 일부 전문가만 활성화한다.

맞춤형 칩은 컴파일러와 모델이 함께 준비돼야 효과를 낸다. CUDA가 NVIDIA의 중요한 방어선인 이유도 라이브러리, 개발 도구, 최적화 지식과 인력까지 포함하는 생태계가 이미 축적돼 있기 때문이다.

NVIDIA 의존은 왜 빠르게 사라지지 않는가

자체 칩이나 AMD 가속기를 도입하는 기업도 NVIDIA 시스템을 병행할 수 있다. 이는 전략의 모순이라기보다 워크로드 분산에 가깝다.

NVIDIA의 강점은 다음과 같다.

1. CUDA와 광범위한 AI 라이브러리 지원
2. 신규 모델을 빠르게 시험할 수 있는 범용성
3. 서버, 네트워크와 관리 소프트웨어를 아우르는 완성도
4. 개발자와 운영 인력의 경험 축적
5. 클라우드와 서버 제조사에서의 폭넓은 공급

반면 자체 ASIC은 일정하고 반복적인 대규모 워크로드에서 강점을 얻기 쉽다. 따라서 시장은 한 종류의 칩이 모두를 대체하기보다, 범용 GPU와 특화 가속기가 역할을 나누는 구조로 발전할 가능성이 크다.

토성비 비교에서 반드시 통제할 조건

업체가 발표한 최대 성능이나 비용 절감률은 같은 조건의 독립 벤치마크가 아니면 직접 비교할 수 없다. 최소한 다음 조건을 맞춰야 한다.

MLCommons의 MLPerf Inference처럼 모델, 시나리오와 품질 조건을 명시한 결과가 상대적으로 유용하다. 다만 공개 벤치마크도 실제 기업의 모델 구성, 지역별 전력비와 트래픽 패턴을 완전히 재현하지는 못한다.

단순 토큰 가격을 넘어 성공 작업당 비용으로

토큰은 측정하기 편하지만 최종 산출물의 가치를 직접 나타내지는 않는다. 모델 A가 모델 B보다 토큰 가격은 낮아도 더 긴 답을 만들거나 자주 실패하면 업무 하나를 끝내는 비용은 오히려 높아질 수 있다.

에이전트 서비스에는 다음 계산이 더 적합하다.

성공 작업당 비용 = 전체 모델·도구·인프라 비용 ÷ 품질 기준을 통과한 작업 수

여기에는 토큰 비용뿐 아니라 검색 API, 코드 실행, 데이터베이스, 사람의 검토, 실패한 시도와 지연으로 인한 비용이 포함된다. 이것이 단순 성능 경쟁이나 토성비 담론에서 자주 빠지는 관점이다.

공개 주장과 확인되지 않은 수치를 구분하는 법

제품 로드맵과 반도체 시장 전망은 자주 변경된다. 제공 자료에 포함된 일부 명칭과 수치 가운데 공식 제품 문서나 재현 가능한 벤치마크로 충분히 확인되지 않은 항목은 확정 사실로 사용하지 않았다. 예를 들면 특정 모델 전용이라고 알려진 Frozen V2, Claude Fable 5, 특정 미공개 모델에서의 Cerebras 속도, 칩별 100만 토큰 고정 비용, 향후 시장점유율 수치가 이에 해당한다.

또한 다음과 같은 표현은 조건을 확인해야 한다.

• 최대 10배 효율: 비교 대상, 정밀도와 시스템 범위를 확인해야 한다.
• 토큰 비용 50% 절감: 모델, 지역, 이용률과 감가상각 조건이 필요하다.
• 초당 수백 토큰: 단일 사용자 속도인지 전체 처리량인지 구분해야 한다.
• 탈 NVIDIA: 완전한 교체인지 일부 내부 워크로드 이전인지 확인해야 한다.

투자나 인프라 조달 판단에는 발표 자료만 사용하지 말고 독립 벤치마크, 실제 공급 일정, 소프트웨어 지원 범위와 총소유비용을 함께 검토해야 한다.

시장의 결론

AI 반도체 경쟁은 최고 속도만 겨루는 단계에서 품질 기준을 만족하는 토큰과 작업을 얼마나 낮은 총비용으로 생산하는가를 겨루는 단계로 이동하고 있다.

맞춤형 ASIC은 반복되는 대규모 워크로드에서 높은 효율을 추구하고, 범용 GPU는 유연한 모델 지원과 성숙한 생태계로 대응한다. 랙 스케일 설계, 메모리 대역폭, 네트워크, 전력과 추론 소프트웨어는 칩 자체만큼 중요해졌다.

결국 승자를 가르는 지표는 단순한 초당 토큰이나 100만 토큰 가격이 아니다. 실제 트래픽에서 품질, 지연, 이용률과 전력 제약을 반영한 성공 작업당 총비용이 더 정확한 기준이다.