[특별 칼럼]AI팩토리 넘어 AI메모리팩토리 시대로‥젠슨황 방한 의미

AI팩토리, GPU와 HBM이 필수
韓, 中 대체 시장 성장 가능성 급부상
SK하이닉스·삼성전자 HBM 확보가 급선무
AI메모리 팩토리 건설이 필요해
생태계 갖춘 韓이 매력적 파트너

지금까지의 공장은 산업과 경제 성장의 상징이었다. 산업혁명을 맞아 시작된 대표적인 모델은 '포드 자동차 공장'이다. 헨리 포드는 1863년 태어난 미국의 기술자이면서 기업인으로 포드 자동차의 창립자다. 그는 기업 경영자로서 동일한 생산 공정을 반복하는 '표준화'를 주도하고, 각자 자신이 맡은 부분만 담당하는 '분업화'를 실현했으며 각자의 일을 완벽하게 해내는 '전문화'를 성공적으로 정착시켰다. 현대의 공장은 이런 3원칙에 맞게 운영하고 있다.

포드는 1912년 도축장을 시찰하던 중 작업자들이 모노레일을 이용해 갈고리에 매달려 있는 고깃덩어리들이 다음 작업자들에게 신속하게 이동되는 장면을 목격하고 바로 자동차 공장에 적용했다. 바로 포드의 컨베이어 시스템의 출발점이다. 근대 제조의 역사를 바꿨던 사건이다.

지금 인공지능(AI) 시대를 맞아 공장의 정의가 바뀌고 있다. 바로 AI 공장인 'AI 팩토리'가 등장하고 있기 때문이다. AI 팩토리에는 최소한 수만 대의 그래픽처리장치(GPU)와 수십만 대의 고대역폭메모리(HBM)가 광통신으로 연결된다. 인공지능 생성을 위한 디지털 전기 신호들이 GPU 간에 전달되는 시간을 줄이고 한 몸처럼 실시간으로 동작하기 위해선 AI 팩토리를 체육관 크기 건물에 집적해야 한다. 기가와트(GW)급 전력 공급시설과 냉각을 위한 물이 공급돼야 한다. 강물도 좋고 바닷물도 좋다.

여기서 인공지능이 대량 생산되고 보급된다. 인공지능의 가장 기초적인 인프라다. 동시에 수백만 명이 명령(Prompt)을 내려 사용할 수 있다. 바로 AI 팩토리가 인공지능의 개발, 생산, 파급의 성지가 되는 셈이다. AI 팩토리 없이는 AI 서비스도 기술개발도 인력양성도 없다. 생성형 인공지능을 넘어 대리형 인공지능(Agentic AI)을 위해서는 더욱 필수적인 시설이다. 기존의 서비스업을 넘어 교육, 의료, 광고, 금융, 법률, 생산과 인공지능을 결합해서 산업 경쟁력을 높이기 위한 필수 인프라이다.

AI 팩토리를 짓기 위해서는 제일 먼저 GPU와 HBM이 필요하다. 최근 2025 아시아태평양경제협력체(APEC) 정상회의를 계기로 방문한 젠슨 황(Jensen Huang) 엔비디아 최고경영자(CEO)가 한국에 26만대의 GPU를 공급하기로 약속했다. 엔비디아는 최고 성능인 블랙웰 GPU를 한국 정부에 5만장, 삼성·SK·현대차에 각각 5만장, 그리고 네이버클라우드에 6만장을 공급한다는 계획을 발표했다. 총 26만장이다. AI 팩토리를 시작하는 최소한의 기초 물량이다. GPU는 삼성전자, SK, 현대차, 네이버의 인공지능 제품과 서비스에 AI 기능을 넣기 위해 필요하다. 이들 제품에 사용할 생성형 인공지능의 학습뿐만 아니라 추론에도 사용한다. AI 팩토리 없는 AI 산업 전환은 없다.

이제 우리나라가 자체 인공지능 모델을 확보하고 본격적으로 인공지능 G3 강국으로 도약할 기회를 잡았다. 추후 미래에는 최소 100만대 규모로 확대돼야 한다. 이러한 목적과 배경으로 젠슨 황과 이재용 삼성전자 회장, 그리고 정의선 현대차그룹 회장과 함께 서울 삼성역 인근 깐부치킨 매장에서 깜짝 '치맥 회동'을 했다.

젠슨 황은 왜 우리에게 26만대의 GPU를 판매하고 치맥 회동을 했을까 생각해 본다. 일단 AMD, 구글, 브로드컴, 인텔 등 GPU 경쟁자들보다 먼저 우리나라 시장을 점유하는 데 있다. GPU와 소프트웨어 스택(Stack)을 먼저 공급함으로써 고객 고정 효과가 있다. 한번 써보면 다른 GPU를 쓰기 어렵게 만들 수 있다. 이를 열쇠 잠금(Lock-in) 효과라고 부른다.

다음으로는 중국 시장의 대체 효과도 있다고 본다. 미국의 수출통제 정책에 따라 중국에 블랙웰 GPU를 판매하기 어렵다. 그럼 대체 시장으로 중동과 유럽 그리고 아시아 국가가 있다. 우리나라는 인공지능 기술, 산업, 인력 그리고 정부의 지원이 경쟁력이다. 성장 가능성이 있는 시장이다. 이렇게 시장을 확대하고 선점하기 위해서 젠슨 황이 비행기를 타고 전 세계를 돌아다니고 있다.

세 번째로는 HBM을 비롯한 메모리 반도체 공급 물량을 확보하기 위해서 삼성전자, SK하이닉스와 협력할 필요가 있다. HBM 없는 GPU는 불가능하기 때문이다. 미래 1000만대 GPU 시장을 꿈꾼다면 8000만대 수준의 HBM이 필요하다. 삼성전자와 SK하이닉스의 물량을 다 받아 가도 모자란다. 서로 물리고 물리면서 협력할 수밖에 없다.

미래에는 AI 팩토리를 넘어 'AI 메모리 팩토리' 시대가 온다. 생성 인공지능의 학습과 추론의 성능이 GPU보다는 HBM과 같은 메모리에 의해서 정해진다. 동시에 쏟아 낼 수 있는 문자의 숫자나 그림의 숫자, 동시에 사용하는 고객의 숫자가 메모리 반도체의 대역폭과 용량에 의해서 결정된다.

특히 미래에는 인공지능이 더 많은 자료를 실시간으로 읽고 답하는 검색증강생성(RAG) 기법이 사용된다. GPU 옆에 대량의 자료를 저장하는 고대역폭 메모리가 필요하다. 이렇게 생산한 생성의 결과를 가까이 저장하고 다시 재활용해야 한다. 이러려면 역시 대용량 메모리 반도체가 필요하다. 이러한 반도체 메모리로 '고대역 플래시 메모리(HBF)'가 개발되고 있다. 플래시 메모리 반도체가 GPU와 HBM 옆에 적층된다. 따라서 미래에는 GPU 못지않게 HBM-HBF 복합 메모리의 수요가 증가할 전망이다. 이러한 메모리 반도체 집적 시설이 공장 크기로 지어지게 되는데 이를 바로 'AI 메모리 팩토리'라고 부른다. AI 팩토리 바로 옆에 대규모로 건설된다.

이렇게 인공지능 인프라는 메모리 중심으로 투자된다. 그래서 젠슨 황이 앞으로 더 자주 우리나라를 방문할 것으로 기대한다. 협상과 협력에는 이처럼 주고받을 무기가 있어야 한다. 우리 반도체 산업은 설계, 파운드리, 패키징, 메모리 등 전체 산업 생태계를 갖고 있다. 여기에 소프트웨어, 알고리즘, AI 서버를 얹으면 진정한 AI 강국이 된다. 눈과 귀가 즐거운 한 주였다.

김정호 KAIST 전기·전자공학부 교수

백종민 테크 스페셜리스트 cinqange@asiae.co.kr