GPU 중심에서 메모리 중심으로: AI 반도체 패러다임의 변화

AI 반도체의 경쟁 기준이 단순한 연산 횟수에서 얼마나 많은 데이터를 적은 전력으로 저장하고 옮길 수 있는가로 확장되고 있다. 대규모 AI 추론에서는 GPU가 계산을 수행하지 못해서가 아니라 필요한 모델 가중치와 KV 캐시를 제때 공급받지 못해 대기하는 상황이 발생한다.

이 변화는 흔히 ‘GPU 중심에서 메모리 중심으로의 전환’으로 표현된다. 다만 GPU가 사라지거나 발전이 멈췄다는 뜻은 아니다. 더 정확히는 GPU, HBM, 외부 메모리, 스토리지, 네트워크와 소프트웨어를 하나의 데이터 이동 시스템으로 공동 설계하는 방향이다.

메모리 중심 컴퓨팅이란 무엇인가

메모리 중심 컴퓨팅은 데이터를 연산기로 반복해서 운반하는 비용을 줄이기 위해 메모리의 위치, 대역폭, 용량과 연산 기능을 시스템 설계의 출발점으로 삼는 접근이다.

AI 칩의 산술 처리량은 빠르게 증가했지만 칩 외부에서 데이터를 가져오는 과정은 상대적으로 느리고 많은 전력을 사용한다. 따라서 다음과 같은 기술이 함께 중요해진다.

• GPU 또는 AI 가속기 가까이에 배치하는 HBM
• 메모리와 로직을 수직으로 연결하는 3D 패키징
• 베이스 다이에 제어 또는 일부 연산 기능을 넣는 맞춤형 HBM
• CXL을 이용한 메모리 확장과 풀링
• 낸드플래시를 넓은 인터페이스로 연결하는 HBF 구상
• 칩과 서버 사이의 전송 전력을 낮추려는 광인터커넥트
• 데이터를 메모리 가까이에서 처리하는 PIM과 near-memory computing

즉, 메모리 중심이라는 표현은 특정 메모리 제품 하나를 뜻하지 않는다. 빠른 메모리부터 대용량 저장장치까지 여러 계층을 묶어 데이터 이동을 최소화하는 시스템 원칙이다.

왜 AI 추론이 메모리 병목을 키우는가

모델 가중치와 KV 캐시는 서로 다른 부담이다

AI 추론에 필요한 메모리는 크게 모델 가중치, 실행 중 생성되는 활성값, KV 캐시로 나뉜다. 모델 가중치는 요청이 없어도 일정한 크기를 차지하지만 KV 캐시는 입력 길이, 출력 길이, 동시 요청 수에 따라 증가한다.

트랜스포머 모델은 이전 토큰을 매번 처음부터 계산하지 않기 위해 각 레이어의 어텐션 키와 값 정보를 KV 캐시에 저장한다. 단순화하면 요청 하나의 KV 캐시 크기는 다음 요소에 비례한다.

정확한 KV 캐시 크기는 모델 아키텍처와 구현 사양에서 확인해야 한다.

KV 캐시에는 키와 값이 각각 저장된다. 따라서 컨텍스트가 길어지거나 동시에 처리하는 사용자가 많아지면 KV 캐시가 빠르게 커진다. 모든 모델이 수백만 토큰을 사용하거나 캐시가 일률적으로 수백 배 증가하는 것은 아니지만, 장문 추론과 에이전트형 작업이 메모리 압력을 높인다는 방향은 분명하다.

할루시네이션과 메모리 용량은 같은 문제가 아니다

더 긴 컨텍스트와 검색 증강 생성은 모델에 더 많은 근거를 제공할 수 있다. 그러나 메모리를 늘리는 것만으로 할루시네이션이 사라지지는 않는다. 검색 결과의 품질, 프롬프트 구성, 모델의 추론 능력, 출처 검증과 평가 체계도 함께 필요하다.

소프트웨어가 물리 메모리 수요를 줄이기도 한다

KV 캐시 병목은 하드웨어 증설만으로 해결하지 않는다.

• MQA와 GQA는 저장해야 하는 KV 헤드 수를 줄인다.
• 양자화는 가중치와 캐시의 바이트 수를 줄인다.
• PagedAttention은 캐시를 페이지 단위로 관리해 단편화와 낭비를 완화한다.
• 연속 배칭은 여러 요청을 효율적으로 묶는다.
• 프리픽스 캐싱은 반복되는 시스템 프롬프트나 공통 문맥을 재사용한다.
• 캐시 제거와 계층별 오프로딩은 중요도가 낮은 정보를 더 느린 메모리로 이동시킨다.

따라서 데이터센터의 실제 메모리 투자량은 모델 크기뿐 아니라 추론 엔진의 효율에 따라서도 달라진다.

AI 데이터센터의 메모리 계층

하나의 메모리가 속도, 용량, 가격과 전력 효율을 모두 만족시키기는 어렵다. AI 데이터센터는 다음과 같은 계층 구조로 발전할 가능성이 높다.

핵심은 HBM과 HBF 중 하나가 승리하는 것이 아니라 데이터의 사용 빈도에 따라 여러 계층을 배치하는 것이다.

FMS 2026이 보여준 차세대 메모리 경쟁

2026년 8월 미국 산타클라라에서 열린 FMS는 HBM 이후의 AI 메모리와 스토리지 구조를 주요 의제로 다뤘다. 논의의 중심에는 더 높은 적층, 낸드 기반 대용량 계층, 맞춤형 메모리와 데이터센터 연결 기술이 있었다.

삼성전자의 GHBM, SK하이닉스가 Google·SanDisk와 논의한 HBF 등은 이러한 방향을 보여주는 사례로 소개됐다. 다만 GHBM, HBF, THBM 같은 명칭은 모두 JEDEC에서 동일한 사양으로 확정된 범용 세대명이라고 단정하기 어렵다. 업체의 발표 단계 기술, 공동 개발 개념과 표준화된 상용 제품을 구분해서 읽어야 한다.

또한 세대명이 더 높다고 실제 AI 서비스가 반드시 더 빨라지는 것은 아니다. 유효 대역폭, 메모리 용량, 지연시간, 전력, 냉각, 패키지 수율과 소프트웨어 지원을 함께 비교해야 한다.

HBM의 강점과 용량 한계

HBM은 여러 개의 D램 다이를 수직 적층하고 실리콘 관통 전극과 넓은 인터페이스로 연결한다. 일반적인 보드형 메모리보다 가속기 가까이에서 많은 데이터를 병렬로 공급할 수 있다는 것이 핵심 장점이다.

그러나 HBM 용량을 무한히 늘리기는 어렵다.

1. 적층 수가 증가하면 제조 수율과 검사 난도가 높아진다.
2. GPU와 HBM을 함께 배치하는 패키지 면적이 커진다.
3. 가속기와 메모리에서 발생한 열을 좁은 공간에서 제거해야 한다.
4. 전력 공급망과 인터포저 배선도 복잡해진다.
5. 고가의 HBM을 낮은 사용 빈도의 데이터까지 저장하는 데 쓰면 경제성이 떨어진다.

이 때문에 HBM은 가장 자주 사용하는 데이터를 담당하고 나머지를 CXL 메모리, 플래시 또는 SSD로 넘기는 계층화가 중요해진다.

HBF는 HBM을 대체할 수 있는가

HBF는 High Bandwidth Flash의 약자로, 낸드플래시를 병렬화하고 적층해 기존 SSD보다 가속기에 가까운 고대역폭 메모리 계층을 만들려는 구상이다. 낸드는 D램보다 높은 집적도와 비휘발성을 제공하므로 동일한 물리 공간에 더 많은 데이터를 담을 여지가 있다.

그러나 낸드는 D램과 특성이 다르다.

• 읽기 지연시간이 더 길다.
• 덮어쓰기 전에 삭제 과정이 필요하다.
• 쓰기 횟수에 따른 수명 관리가 필요하다.
• 불량 블록, 오류 정정과 웨어 레벨링이 필요하다.
• 작은 단위의 불규칙 접근보다 큰 단위의 순차 접근에 유리하다.

따라서 HBF가 상용화되더라도 HBM을 그대로 교체하기보다는 HBM과 SSD 사이의 대용량 계층으로 작동할 가능성이 크다. 읽기 중심의 모델 가중치, 재사용 빈도가 낮은 캐시, 체크포인트와 검색 데이터가 후보가 될 수 있다. 실제 적합성은 인터페이스 표준, 지연시간, 내구성, 컨트롤러와 추론 소프트웨어 지원에 달려 있다.

GHBM과 THBM이 제기하는 3D 패키징 문제

가속기와 HBM을 패키지 옆에 나란히 배치하는 방식은 연결 폭과 패키지 면적에 한계가 있다. 이를 극복하기 위해 로직과 메모리를 수직으로 쌓아 배선 길이를 줄이는 구상이 등장한다.

GPU 위에 메모리를 배치하는 구조

GHBM 또는 Z축 HBM으로 소개되는 개념은 GPU와 HBM을 수직으로 결합해 데이터 이동 거리를 줄이는 방향이다. 짧고 많은 수직 연결은 높은 대역폭과 낮은 입출력 전력을 기대하게 한다.

문제는 열이다. GPU 위에 메모리를 놓으면 GPU에서 발생한 열이 메모리와 냉각 장치 사이를 통과할 수 있다. ‘메모리가 녹는다’는 표현은 기술적 설명이라기보다 열 문제를 강조한 비유에 가깝다. 실제 위험은 접합부와 메모리의 허용 온도 초과, 누설전류 증가, 성능 제한과 수명 저하다.

메모리 아래, GPU 위 구조

김정호 KAIST 교수 측이 제안한 것으로 알려진 THBM은 HBM 스택 위쪽에 GPU를 두어 발열이 큰 로직을 냉각 장치에 더 가깝게 배치하는 발상이다. 열 배출에는 유리할 수 있지만 다음 과제가 남는다.

• 무거운 로직 다이와 메모리 적층의 기계적 안정성
• 전력 공급과 신호 배선
• 서로 다른 공정으로 만든 다이의 접합 수율
• 불량 다이 교체와 테스트 가능성
• 냉각판까지 포함한 패키지 설계

수직 적층의 경쟁력은 개념도만으로 판단할 수 없다. 열저항, 유효 대역폭, 수율과 총소유비용을 측정한 결과가 필요하다.

광인터커넥트는 메모리 의존을 피하는 우회책인가

GPU 외부의 메모리와 스토리지를 사용하려면 데이터가 더 먼 거리를 이동해야 한다. 전기 신호는 거리가 길고 전송 속도가 높아질수록 신호 보정과 재전송에 더 많은 전력을 요구한다. 광인터커넥트는 서버, 랙과 클러스터 사이의 고속 연결에서 대역폭 밀도와 전송 전력을 개선할 후보로 주목받는다.

NVIDIA가 광네트워킹을 강화하는 흐름을 특정 메모리 기업에 대한 의존을 피하기 위한 전략 하나로만 설명하기는 어렵다. 더 직접적인 배경은 가속기 규모가 한 서버를 넘어 랙과 데이터센터 단위로 확장되면서 네트워크가 전체 AI 시스템의 병목이 되기 때문이다.

광연결도 HBM을 대체하지 않는다. 가속기 바로 옆의 짧은 지연시간은 HBM이 담당하고, 광연결은 더 먼 메모리 풀과 여러 가속기를 연결하는 역할을 맡을 가능성이 높다.

맞춤형 HBM이 메모리 산업을 바꾸는 방식

기존 범용 D램은 동일 규격 제품을 여러 고객에게 공급하는 성격이 강했다. HBM은 GPU 패키지, 인터포저, 베이스 다이와 전력·열 설계를 함께 조정해야 하므로 고객과 메모리 기업의 공동 설계 비중이 더 높다.

맞춤형 HBM 또는 CHBM에서는 베이스 다이에 다음 기능을 넣을 수 있다.

• 메모리 제어와 인터페이스 최적화
• 오류 정정과 신뢰성 관리
• 데이터 압축과 이동 제어
• 보안 또는 가상화 기능
• 제한적인 데이터 전처리와 연산

이 구조는 메모리 공급사를 단순 부품 제조사에서 시스템 공동 설계자로 끌어올릴 수 있다. 개발 초기에 물량과 사양을 협의하므로 장기 계약과 고객 고착 효과도 커질 수 있다.

다만 맞춤화가 메모리 사이클을 완전히 제거하지는 않는다. AI 투자 속도, 고객 집중도, 패키징 생산능력, 수율과 범용 D램 가격은 여전히 실적 변동을 만들 수 있다. 특정 고객에 최적화한 제품은 수요가 바뀌었을 때 다른 고객에게 판매하기 어렵다는 위험도 있다.

GPU의 발전이 멈췄다는 해석은 정확한가

GPU 발전이 사실상 멈췄다고 단정하기는 어렵다. 가속기는 낮은 정밀도의 연산 형식, 희소성 처리, 트랜스포머 전용 엔진, 칩렛, 네트워크와 냉각을 포함하는 방향으로 계속 발전하고 있다.

달라진 것은 평가 기준이다. 칩 한 개의 최대 연산 성능보다 다음 지표가 더 중요해졌다.

• 실제 모델에서 달성하는 유효 메모리 대역폭
• 사용자당 첫 토큰 지연시간과 토큰 생성 속도
• 와트당 처리 토큰 수
• 랙당 메모리 용량과 네트워크 대역폭
• 모델을 서비스하는 전체 비용

오픈소스 모델이 확산됐다고 모든 모델 역량이 평준화된 것도 아니다. 다만 유사한 모델을 여러 사업자가 활용할 수 있게 되면서 하드웨어 운영 효율과 서비스 배포 능력의 중요성이 커진 것은 사실이다.

놓치기 쉬운 변수: 신뢰성·보안·프로그래밍 모델

차세대 메모리 논의는 대역폭과 용량에 집중되지만 실제 상용화를 좌우하는 또 다른 요소가 있다.

데이터 정확성과 수명

메모리 적층과 집적도가 높아지면 열, 오류율과 수명 문제가 더 중요해진다. AI 추론에서 조용한 데이터 손상은 즉각적인 시스템 중단 대신 잘못된 출력으로 나타날 수 있다. 오류 정정, 데이터 무결성 검사와 장애 격리가 성능만큼 중요하다.

공유 메모리의 보안

CXL 메모리 풀이나 외부 캐시를 여러 가속기와 고객이 공유하면 데이터 격리, 암호화, 접근 권한과 잔존 데이터 삭제가 필요하다. 메모리 용량이 늘수록 보호해야 할 모델 가중치와 사용자 문맥도 늘어난다.

개발자가 사용할 수 있는가

새 메모리 계층이 있어도 컴파일러와 추론 엔진이 데이터 배치를 자동으로 결정하지 못하면 활용도가 낮다. 어떤 텐서와 KV 캐시를 HBM, HBF, CXL 메모리 또는 SSD에 둘지 관리하는 런타임이 필요하다. 결국 하드웨어 경쟁은 메모리 스케줄러와 시스템 소프트웨어 경쟁으로 이어진다.

AI 데이터센터는 메모리 공장인가

대규모 AI 데이터센터를 ‘메모리 공장’이라고 부르는 것은 메모리의 전략적 중요성을 강조하는 비유로는 유용하다. 모델 가중치, KV 캐시, 학습 데이터, 체크포인트와 검색 인덱스가 여러 계층에 저장되기 때문이다.

그러나 데이터센터 비용의 일정 비율이 항상 메모리와 전력에 사용된다는 식의 일반화는 근거가 부족하다. 비용 구성은 학습과 추론의 비중, 전력 가격, 서버 감가상각, 네트워크, 냉각, 이용률과 모델 효율에 따라 달라진다.

보다 정확한 결론은 다음과 같다.

미래의 AI 데이터센터는 GPU를 많이 설치하는 장소를 넘어, 데이터를 가장 적절한 메모리 계층에 배치하고 최소한의 전력으로 이동시키는 시스템이 된다.

한국 반도체 산업에 주는 의미

한국은 HBM과 낸드플래시의 대규모 제조 역량을 갖추고 있어 메모리 중심 전환에서 중요한 위치에 있다. 그러나 메모리 생산량만으로 장기적인 우위를 보장받기는 어렵다.

필요한 전략은 다음과 같다.

1. HBM·HBF·첨단 패키징을 함께 설계할 수 있는 역량을 확보한다.
2. 베이스 다이, 인터페이스 IP와 메모리 컨트롤러의 설계 비중을 높인다.
3. 열관리, 전력반도체, 광인터커넥트와 데이터센터 시스템 기업을 육성한다.
4. 컴파일러와 추론 엔진이 한국산 메모리를 효율적으로 활용하도록 소프트웨어 생태계를 만든다.
5. 스마트폰, 자동차, 로봇과 가전에서 하드웨어·AI 모델·서비스를 연결하는 실제 사용 사례를 확보한다.
6. 특정 고객이나 단일 패키징 공급망에 대한 의존 위험을 관리한다.

‘한국을 거치지 않고서는 AI를 만들기 어려운 위치’는 생산량만으로 형성되지 않는다. 표준, 설계 자산, 제조, 패키징, 소프트웨어와 최종 서비스가 연결될 때 대체하기 어려운 산업적 지위가 만들어진다.

전망: 대체가 아니라 계층화와 공동 설계

AI 반도체가 GPU 중심에서 메모리 중심으로 완전히 교체된다고 보기보다는, 연산기와 메모리의 경계가 흐려지는 과정으로 보는 편이 정확하다.

• HBM은 가장 빠르게 사용해야 하는 데이터를 담당한다.
• HBF와 CXL 메모리는 더 큰 용량을 제공한다.
• SSD는 장기 저장과 콜드 데이터를 맡는다.
• 광인터커넥트는 멀리 떨어진 자원의 연결 비용을 낮춘다.
• 맞춤형 베이스 다이와 PIM은 일부 연산을 데이터 가까이 옮긴다.
• 추론 소프트웨어는 각 데이터를 어느 계층에 둘지 결정한다.

차세대 AI 인프라의 승자는 가장 빠른 GPU 하나를 만든 기업이 아니라 연산, 메모리, 연결, 전력, 냉각과 소프트웨어를 하나의 시스템으로 최적화한 생태계가 될 가능성이 크다.