"AI 메모리도 전월세시대 온다"‥HBM 아버지의 전망

KAIST 김정호 교수 ‘AI 메모리 대통합 로드맵’ 공개
"엔비디아 ‘베라 루빈’이 촉발 병목 해법, HBM·HBF 결합이 유일한 해법"
"2027년 HBM 1세대 양산이후 2036년 랙 단위 공유 메모리(ICMS) 완성"
1인당 100TB 메모리 수요 대응
소유 아닌 대여 중심 ‘메모리 전세·월세’ 경제 모델 부상
"K반도체, 차세대 패키징으로 표준 선점해야”

"앞으로 인공지능(AI)용 메모리는 개인이 소유하는 것이 아니라, 아파트처럼 전세나 월세를 내고 빌려 쓰는 시대가 올 것이다."

김정호 카이스트 전기 및 전자공학부 교수가 3일 서울 프레스 센터에서 열린 기술설명회에서 HBF에 대해 설명하고 있다. 사진=백종민 테크 스페셜리스트

'고대역폭메모리(HBM)의 아버지'로 불리는 김정호 한국과학기술원(카이스트) 전기 및 전자공학부 교수는 고대역폭 플래시(HBF)의 등장이 야기할 '메모리 전세·월세 시대'를 예고하며 향후 10년간의 HBF개발 로드맵을 제시했다. 김 교수는 AI 에이전트가 일상화되는 2030년대 중반에는 개인당 100TB 수준의 방대한 메모리가 필요해지며, 하드웨어를 직접 소유하기보다는 AI 팩토리나 클라우드 인프라를 통해 대여해 쓰는 새로운 서비스 모델이 구축될 것이라고 진단했다.

김 교수는 3일 서울 프레스센터에서 열린 'HBF 기술전략 설명회'에서 메모리 임대 경제를 가능케 할 중심으로 HBF를 지목했다. 그는 엔비디아가 최근 발표한 차세대 GPU '루빈(Rubin)'과 '베라(Vera)' CPU가 'KV 캐시(Key-Value Cache)' 처리 기능을 대폭 강화한 것에 주목했다. 이는 모델이 정교해질수록 대화의 맥락을 기억하는 메모리 용량이 한계에 부딪혔음을 의미한다.

김 교수는 현재의 HBM을 GPU 옆의 '책꽂이'에, HBF를 그 뒤를 받치는 '도서관'에 비유했다. HBF는 낸드 플래시를 수직 적층해 고대역폭과 대용량을 동시에 잡은 기술이다. D램을 쌓은 HBM만으로는 감당할 수 없는 '용량의 벽'을 허물 유일한 대안이라는 주장이다.

김 교수는 2036년까지 이어지는 구체적인 HBF 로드맵도 제시했다. 로드맵은 메모리의 용량 증대가 아니라, GPU와 메모리가 상호작용하는 아키텍처 자체를 5단계에 걸쳐 근본적으로 재설계하는 과정을 담고 있다.

2028년(HBF1)에는 속도 중심의 GDDR7과 용량 중심의 HBF가 결합한 '분산 추론 시스템'이 등장한다. 연산량이 많은 생성 전 단계(Prefill)는 속도가 빠른 메모리가, 본격적인 문장 생성(Decode)은 4TB급 대용량 HBF가 담당하며 효율을 극대화하는 단계다. 2030년(HBF2)부터는 HBM과 HBF가 GPU와 물리적으로 직접 통합되기 시작하며 본격적인 하이브리드 메모리 시대의 막을 올린다. 2032년(HBF3)은 GPU 한 개를 중심으로 8개의 HBM과 8개의 HBF가 병렬로 배치되는 '전방위 하이브리드 아키텍처'가 구축된다. 이때 HBM 용량은 192GB, HBF는 4TB까지 늘어나며 초거대 모델의 고질적 병목 구간이었던 KV 캐시 문제를 해결한다.

로드맵의 최종 단계인 2036년(HBF4·HBF5)에는 랙 단위의 거대 공유 메모리 풀인 ICMS(Inference Context Memory Storage)가 도입되어, 수백 TB의 데이터를 DPU가 각 GPU에 실시간으로 수혈하는 'AI 메모리 공장'이 실현된다. 수백 TB의 데이터를 DPU가 실시간으로 공급하는 'AI 메모리 공장' 인프라가 실현되는 시기다. 이 시기 HBM 역시 'HBM6 트윈 타워' 구조로 진화한다. 'HBM6 트윈 타워' 구조와 CPU·GPU·메모리가 하나의 베이스 다이 위에서 유기적으로 결합하는 MCC(메모리 중심 컴퓨팅) 아키텍처가 완성되는 시점이다.

김 교수는 HBF에 대한 기업들의 표준 선점 경쟁은 이미 불붙었다고 소개했다. SK하이닉스는 샌디스크(SanDisk)와 지난해 8월 HBF 규격 표준화를 위한 MOU를 체결하며 연합전선을 구축했고, 일본 키옥시아 역시 독자적인 프로토타입을 발표하며 추격 중이다. 삼성전자는 독보적인 V낸드 기술력과 Z낸드 솔루션을 앞세워 HBM6와 HBF를 하나로 통합하는 차세대 솔루션을 준비하고 있다.

김 교수는 "미래 AI 산업의 성패는 결국 메모리에 달려 있으며, 기술적으로는 16단 이상의 초고적층 구조에서 발생하는 신호 무결성(SI)과 열 문제(TI)를 해결할 수 있는 패키징 역량이 승부처가 될 것"이라고 제언했다.

백종민 테크 스페셜리스트 cinqange@asiae.co.kr