Injoys
오픈 웨이트 모델과 소형 언어 모델이 빠르게 발전하면서 모든 AI가 결국 PC나 스마트폰에서 실행될 것이라는 전망이 반복되고 있다. 로컬 실행은 API 사용료를 줄이고, 민감한 데이터를 외부로 보내지 않으며, 인터넷이 없어도 작동한다는 분명한 장점이 있다.
그러나 로컬 AI의 성장과 데이터센터 AI의 쇠퇴는 같은 명제가 아니다. 앞으로 개인 기기에서 실행되는 AI가 크게 늘더라도, 총연산량과 고난도 작업을 기준으로 보면 데이터센터가 추론의 중심으로 남을 가능성이 크다. 그 이유는 모델 크기만이 아니라 성능 경쟁, 사용자 수요, 배칭, 하드웨어 활용률과 총소유비용이 함께 작용하기 때문이다.
먼저 구분해야 할 세 가지 개념
로컬 AI 논쟁에서는 서로 다른 축이 자주 섞인다.
| 구분 | 의미 | 반대 개념 |
|---|---|---|
| 오픈 웨이트 | 학습된 모델 가중치를 내려받아 정해진 라이선스 범위에서 사용할 수 있는 모델 | 가중치가 공개되지 않은 모델 |
| 로컬·온디바이스 추론 | PC, 스마트폰, 차량이나 사내 장비에서 직접 실행하는 방식 | 외부 데이터센터에서 실행하는 방식 |
| 자체 호스팅 | 사용자가 선택한 서버나 데이터센터에서 모델을 운영하는 방식 | 모델 공급자의 API를 이용하는 방식 |
오픈 웨이트는 반드시 로컬을 뜻하지 않는다. 기업은 오픈 웨이트 모델을 임대한 GPU 클러스터나 자체 데이터센터에서 서비스할 수 있다. 반대로 기기 제조사는 공개되지 않은 소형 모델을 스마트폰에 탑재할 수도 있다.
따라서 실제 질문은 ‘공개 모델이 발전하는가’가 아니라 ‘각 작업을 어느 연산 환경에서 처리하는 것이 성능, 비용, 개인정보 보호와 운영 측면에서 유리한가’이다.
오픈 웨이트도 곧 완전한 오픈 소스를 의미하지는 않는다. 사용·재배포·파생 모델에 적용되는 조건은 모델 라이선스마다 다르므로 상업적 배포 전에는 해당 라이선스를 별도로 확인해야 한다.
미래의 로컬 모델은 오늘의 최고 모델을 따라잡을 수 있다
양자화, 지식 증류, 가지치기, 추론 엔진 최적화와 전용 NPU의 발전은 같은 수준의 작업을 더 적은 메모리와 전력으로 처리하게 만든다. 지금 서버가 필요한 능력 중 일부가 몇 년 뒤에는 노트북이나 스마트폰으로 이동할 수 있다는 전망은 충분히 합리적이다.
다만 비교 기준이 고정되어 있지 않다. 미래의 로컬 모델이 오늘의 최고 모델과 비슷해지는 동안 데이터센터 모델도 다음 방향으로 발전할 수 있다.
- 더 복잡한 추론과 계획
- 더 긴 문맥과 대규모 검색 결과 처리
- 이미지·음성·영상이 결합된 멀티모달 작업
- 여러 도구와 외부 시스템의 안정적인 사용
- 다수의 에이전트 또는 후보 경로를 활용한 추론
- 긴 작업 중 오류를 발견하고 복구하는 능력
그러므로 ‘현재의 최고 성능을 언젠가 로컬에서 구현할 수 있다’는 명제와 ‘그 시점의 최고 성능도 로컬에서 구현할 수 있다’는 명제는 다르다. 전자는 기술 효율화로 실현될 가능성이 높지만, 후자는 데이터센터가 제공하는 전력·메모리·네트워크·가속기 규모가 함께 발전하는 한 계속 어려울 수 있다.
사용자에게 충분한 성능의 기준도 높아진다
초기 생성형 AI의 대표적인 작업은 질문 답변, 짧은 문서 요약, 이메일 초안과 간단한 코드 생성이었다. 이런 작업은 소형 로컬 모델로도 유용하게 처리할 수 있다.
반면 AI 에이전트는 전체 코드 저장소를 읽고, 여러 파일을 수정하고, 테스트를 실행하며, 검색과 외부 도구 호출을 반복한다. 연구 에이전트는 여러 자료를 비교하고 중간 결과를 보존하면서 장시간 작업해야 한다. 업무 자동화 에이전트는 권한, 데이터베이스와 사내 시스템까지 다뤄야 한다.
긴 작업에서는 단계별 오류가 누적된다. 한 단계의 성공률이 높아도 수십 번의 판단과 도구 호출을 연속해서 수행하면 전체 작업의 성공 가능성은 크게 낮아질 수 있다. 이 때문에 사용자는 단순히 답변 한 건의 품질보다 다음 능력을 평가하게 된다.
- 목표와 제약 조건을 장시간 유지하는가
- 실패한 도구 호출을 진단하고 복구하는가
- 확인되지 않은 내용을 사실처럼 만들지 않는가
- 코드와 문서의 넓은 맥락을 일관되게 이해하는가
- 사람이 개입해야 하는 횟수를 줄이는가
더 강한 모델이 재작업과 감독 시간을 줄인다면 토큰당 가격이 높아도 전체 업무 비용은 낮을 수 있다. 반대로 짧고 반복적인 작업에서는 저렴한 로컬 모델이 더 합리적이다. 결국 선택 기준은 모델 가격만이 아니라 완성된 작업 한 건의 비용과 실패 위험이다.
데이터센터의 핵심 이점은 배칭과 자원 공유다
대규모 언어 모델의 토큰 생성은 모델 가중치를 가속기 메모리에서 반복해서 읽는 과정에 크게 의존한다. 단일 요청만 처리하면 대규모 병렬 연산 장치와 메모리 대역폭의 일부가 충분히 활용되지 않을 수 있다.
서빙 시스템은 서로 다른 사용자의 요청을 배치로 묶어 행렬 연산을 수행한다. 이때 한 번의 연산 과정에서 여러 요청을 함께 처리해 연산 밀도와 처리량을 높일 수 있다. 먼저 끝난 요청을 빼고 새 요청을 넣는 연속 배칭은 입력 길이와 출력 길이가 서로 다른 실제 서비스에서 활용률을 높이는 핵심 기술이다.
배칭이 요청 수에 비례해 비용을 완전히 없애는 것은 아니다. 요청마다 계산해야 할 토큰과 KV 캐시가 있고, 배치가 커지면 메모리 사용량과 대기시간도 증가한다. 운영자는 다음 요소 사이에서 균형을 잡아야 한다.
- 초당 처리 토큰 수
- 첫 토큰이 나오기까지의 지연시간
- 요청별 출력 토큰의 지연시간
- KV 캐시가 차지하는 메모리
- 긴 문맥과 짧은 문맥 요청의 혼합
- 서비스 수준 목표와 최대 동시 요청 수
그럼에도 대규모 서비스는 요청이 지속적으로 들어오므로 개인용 GPU보다 유휴 시간을 줄이기 쉽다. 모델 복제본을 여러 고객이 공유하고, 트래픽에 따라 서버 수를 조절하며, 일부 작업을 적합한 가속기로 이동할 수도 있다.
개인 GPU는 평균 활용률이 낮기 쉽다
개인 장비는 필요할 때 즉시 사용할 수 있지만 하루 대부분을 대기 상태로 보낼 수 있다. 여러 에이전트를 동시에 실행해도 대형 서비스처럼 다양한 길이의 요청을 지속적으로 채우기는 어렵다.
로컬 장비의 경제성은 최대 처리속도가 아니라 실제 사용률에 좌우된다. 비싼 GPU를 보유하고 있어도 일주일에 몇 시간만 사용하면 유효 토큰당 자본비용이 커진다. 반대로 영상 제작, 소프트웨어 테스트나 대량 문서 처리처럼 지속적인 작업이 있다면 로컬 장비의 활용률이 높아져 비용 경쟁력이 생길 수 있다.
여러 사람에게 로컬 서버를 개방하면 활용률과 배칭 기회가 높아진다. 그러나 그 순간 인증, 접근통제, 작업 대기열, 장애 대응, 냉각과 모니터링이 필요해진다. 규모는 작아도 데이터센터 운영과 비슷한 문제가 나타나는 것이다.
데이터센터용 가속기는 목적과 구성이 다르다
소비자 GPU도 생성형 AI에 강하지만 게임, 그래픽과 범용 연산을 함께 고려해 설계된다. 데이터센터용 가속기는 대용량 고대역폭 메모리, 가속기 간 연결, 랙 단위 확장과 저정밀 AI 연산에 초점을 맞춘다.
GeForce RTX 4090은 소비자용 GPU이고, NVIDIA B200은 데이터센터용 AI 가속기다. 저자가 비교한 추정치에 따르면 NVIDIA B200은 같은 전력 수준에서 RTX 4090보다 연산 성능이 약 3배 높고, 메모리 대역폭은 약 4배에 가깝다. 이 차이는 큰 모델을 메모리에 올리고 높은 처리량으로 서비스할 때 데이터센터 쪽에 유리하게 작용한다.
다만 두 제품의 성능 수치를 단순 비율로 비교하면 안 된다. 공개된 AI 연산량은 정밀도, 희소성 적용 여부, 전력 한도와 시스템 구성이 다를 수 있다. 실제 추론 성능은 모델 구조, 양자화 방식, 배치 크기, 문맥 길이와 소프트웨어 스택까지 동일하게 맞춘 벤치마크로 판단해야 한다.
대형 모델을 여러 가속기에 나누면 통신 비용도 발생한다. 데이터센터는 고속 인터커넥트와 최적화된 네트워크를 제공하지만 분산 추론이 공짜인 것은 아니다. 작은 모델이라면 오히려 단일 소비자 GPU에서 실행하는 편이 단순하고 효율적일 수 있다.
