'HBM의 아버지'가 지목한 다음 먹거리는?[백종민의 쇼크웨이브]

김정호 카이스트 교수 연구실, HBM의 미래 이끌 활력 넘쳐
토론과 소통, 기업과의 협력 통해 실전에 강한 엔지니어 양성
HBM 미래 청사진도 제시
"HBM이어 HBF가 뜰 것"

대전 카이스트(KAIST)에 있는 김정호 전기·전자공학부 교수의 연구실인 '테라랩'을 지난 8일 방문했다. 반도체 중에서도 싸구려 취급을 받던 메모리 반도체를 어떻게 금값 수준인 고대역폭메모리(HBM)로 둔갑시킨 것인가에 대한 궁금증을 해소하기 위해서였다.

이 연구실은 한국 반도체 산업의 새장을 연 HBM의 발전을 주도한 곳이다. 삼성전자, SK하이닉스, 엔비디아 등 반도체 기업들을 뒤흔든 그 HBM이 이곳을 통해 본격적으로 연구됐다. 이제 HBM은 한국 반도체 산업을 상징하는 문구로 국민들에게 각인됐다.

김정호 카이스트 교수가 연구실 앞에 붙어있는 다양한 기업과의 협업을 상징하는 현판에 대해 설명하고 있다.. 백종민 테크 스페셜리스트

연구실 입구에는 삼성, 인텔, 네이버 등 유력 기업들과의 협력 연구를 알리는 현판이 손님을 반겼다. 김 교수가 기업과의 협업을 당연해함을 이해할 수 있었다. 실제 산업현장에서 변화를 이끌어 내는 것을 즐긴다는 뜻이다.

테라랩은 김정호 교수가 2000년대 초 설립한 이후 메모리와 패키징 연구를 중심으로 세계적인 연구 거점으로 자리 잡았다. 그 중심이 HBM이다. 테라랩은 HBM을 개념에서 현실로 끌어낸 연구실로 이름을 알렸다. 김 교수가 'HBM의 아버지'라고 불리는 이유다. 김 교수와 연구팀은 연구실에만 머물지 않았다. 기업 현장으로 향했다. 2010년대 초반부터 삼성전자, SK하이닉스와 함께 HBM 상용화 연구에 직접 참여하며 산업 현장과 학계의 연결 고리를 만들었다. 연구실에서 축적한 패키징 시뮬레이션 기술과 전력·신호 무결성 해석 기법은. 세계 최초 HBM 제품 개발의 기초가 됐다.

연구실 문을 열자 학생들이 자신들의 자리에서 연구를 이어가고 있었다. 이들은 다시 작은 그룹으로 모여 토론하고, 지도교수인 김정호 교수와 함께 연구 방향, 논문 주제에 대해 자유롭게 이야기했다. 반도체 연구소라 딱딱할 것이라는 선입견은 완전히 깨졌다. 열린 연구소였다.

삼성전자 연구소에서 협업 프로젝트를 마치고 돌아온 학생은 "우리 연구실이 더 협업하고 자유롭게 논의하고 자료를 공유하는 것 같다"며 끈끈함을 강조했다. 이들은 하나의 방향을 향해 모인 전사다. HBM의 발전이다. 치열한 경쟁은 존재하지만, 동시에 자료와 아이디어를 공유하며 전체의 성과를 높이는 분위기는 연구실을 넘어 한국 반도체 산업의 미래를 위한 좋은 본보기였다.

지난 6월 테라랩은 2025년부터 2040년까지 이어지는 HBM 로드맵을 발표했다. 일개 대학 연구실의 발표라고 하기에는 의미가 상당하다. 이 로드맵은 HBM4에서 HBM8까지 15년간의 기술 발전 방향을 담은 '청사진'이었다.

김 교수는 "HBM4에서 그래픽처리장치(GPU) 기능 일부가 베이스 다이에 통합되고 LPDDR 메모리를 함께 활용해 데이터 병목을 완화할 수 있다"고 전망했다. HBM5에서는 HBM을 구성하는 D램 사이를 관통하는 TSV 수가 4000개 이상으로 늘어나고 S램 캐시가 내장되며, 패키지를 냉각수에 담그는 이머전 쿨링이 본격화된다. HBM6에서는 쌍둥이 빌딩처럼 여러 HBM 스택을 베이스 다이에 배치하고, 유리와 실리콘을 결합한 하이브리드 인터포저가 적용된다. 본격적인 변화는 이제부터다. HBM7은 임베디드 쿨링 기술을 도입해 메모리 다이 사이에 직접 냉각수를 흐르게 한다.

이 시점부터 낸드를 활용한 고대역폭플래시, 즉 HBF라는 새로운 개념이 등장한다. 마지막으로 HBM8은 GPU 상단과 하단에 HBM을 배치하는 풀 3D 구조로 진화하며, 대역폭은 초당 64테라바이트에 이를 것으로 전망된다. 김 교수는 "GPU가 아니라 HBM의 대역폭과 연결 수가 인공지능(AI) 성능을 결정한다"고 말했다. 이런 청사진을 현실로 구현하기 위한 이론적 배경을 만드는 것이 김 교수팀의 임무다.

김 교수는 이번 탐방에서 유독 고대역폭낸드플래시(HBF)를 강조했다. 김 교수는 "HBM은 속도를 담당하지만 HBF는 용량을 책임지게 될 것"이라고 설명했다. 낸드플래시를 수백 층 쌓아 HBM처럼 고대역폭 구조로 재구성하는 구상이다. 향후 10년 안에 HBF가 메모리 시장의 또 다른 주축으로 부상할 수 있다는 예상이다. HBM의 아버지의 발언이니 함부로 흘려들을 수 없었다. 김 교수는 이미 해외 기업이 이 연구를 함께 하자는 요청을 해 왔다고 했다.

HBM 개발 초기 누가 그런 비싸고 어려운 메모리를 사용하겠냐는 의문에도 학문적 호기심을 기반으로 연구를 이어온 김 교수팀의 성과는 챗GPT의 등장과 함께 폭발했다. SK하이닉스, 삼성전자가 개발한 HBM에는 김 교수의 연구가 담겨 있다. 연구실에서 나온 성과는 ISSCC, VLSI 같은 국제 학회에 발표됐고, HBM 표준화 과정에도 중요한 아이디어를 제공했다.

테라랩의 성과는 ISSCC, VLSI, ECTC 등 세계 최고 권위 학회에 수십 편의 논문으로 발표됐다. IEEE 저널에는 수백 회 이상 인용된 패키징 및 메모리 인터페이스 논문을 남겼다. 연구실이 제안한 '하이브리드 본딩 기반 TSV 구조'는 이후 HBM3E와 차세대 HBM 설계에 직접 반영됐다.

김정호 카이스트 교수가 학생과 HBM 연구 방향에 대해 논의하고 있다. 테라랩.

HBM만이 아니다. 연구실의 2.5D·3D 패키징 기술도 세계적이다. 연구실에서 제시한 마이크로채널 냉각 설계와 인터포저 전력 최적화 해석은 글로벌 기업들이 차세대 GPU·AI 칩 설계에 참고하는 기본 모델로 자리 잡았다. 김 교수는 국제반도체기술로드맵(ITRS)과 IEEE Heterogeneous Integration Roadmap(HIR)에도 한국을 대표해 참여하며, 테라랩의 연구 성과를 세계 표준화 논의로 확장시켰다.

이러한 연구 성과는 인재 양성으로도 이어졌다. 지금까지 200명 이상이 테라랩에서 석박사 학위를 받고 배출됐으며, 상당수가 삼성전자, SK하이닉스, 엔비디아, 구글, 애플 등 글로벌 반도체 기업에서 핵심 기술 인력으로 활동하고 있다. 다양한 분야 배경을 가진 학생이 반도체 분야에서 연구를 하며 쌓은 경험을 탐내는 빅테크(대형 정보기술기업)들이 많다. 주요 반도체 업체는 물론 메타, 테슬라, 그로크 등에도 학생들이 진출했다. 김 교수는 "요즘 애플에서도 우리 연구실 학생을 탐내고 있다"고 했다.

테라랩의 운영 방식은 일반적이지 않다. 김 교수는 "단기적인 정부 과제로는 대박을 터트릴 수 없다"고 잘라 말했다. 그는 정부 과제 중심의 연구 지원이 오히려 창의성을 제약한다고 본다. 대신 연구실은 기업 연구 과제를 통해 운영비를 충당하고, 석사와 박사 과정 학생들의 학위 연구는 오로지 HBM에 집중시킨다. 김 교수의 방 앞에도 함께 과제를 한 많은 기업의 로고를 볼 수 있었다. 심지어 현대자동차와도 협업했다고 했다. 기업 과제를 통해 자금을 마련하고, 학위 연구는 특정한 장기적 주제에만 전념하는 방식이다. 그 과정에서 학생들은 기업 연구 현장을 익혀 즉시 활용 가능한 인력으로 성장한다.

김 교수는 연구 성과를 대하는 태도에서도 다른 길을 걸었다. 그는 "HBM이 성공할 수 있었던 이유는 특허에 집착하지 않았기 때문"이라고 말했다. "특허를 내는 게 목적이 되면 기술은 묶인다. 오히려 많은 사람이 자유롭게 아이디어를 활용하고 발전시키도록 열어두는 게 중요하다"는 것이다. 2010년 이후 반도체 미세 공정을 주도한 핀펫(FinFET) 기술의 창시자인 첸밍 후 UC버클리 교수도 비슷한 이유로 해당 기술에 대한 특허를 내지 않았다.

김 교수는 최근 에이전틱 AI에 푹 빠져 있다. 은퇴가 얼마 남지 않았음에도 새로운 분야를 받아들이는 데 노력을 아끼지 않는다. 학생들과도 에이전틱 AI를 통한 HBM 자동 설계를 연구한다. HBM을 통해 AI시대가 열렸어도 그의 연구는 끝이 없다.

백종민 테크 스페셜리스트 cinqange@asiae.co.kr