온디바이스AI '사활'…삼성 "LPDDR6 프로토타입 개발" SK "가속기 칩 고도화"

3일 '제2회 서울대 AI 반도체 포럼' 개최

삼성전자와 SK하이닉스가 대규모 언어 모델(LLM) 시대를 겨냥해 차세대 메모리 기술 경쟁에 나섰다. 두 회사는 각각 프로세싱인메모리(PIM) 기술과 저전력더블데이터레이트(LPDDR) 메모리를 결합해 온디바이스 AI와 데이터센터의 성능, 에너지 효율 문제를 해결하는 데 집중하고 있다.

삼성전자, LPDDR-PIM으로 기술 혁신 가속

3일 손교민 삼성전자 마스터가 서울 관악구 서울대 관악캠퍼스에서 열린 '제2회 서울대 AI 반도체 포럼'에서 'AI와 메모리'를 주제로 강연하고 있다. 최서윤 기자

손교민 삼성전자 마스터는 3일 서울 관악구 서울대 관악캠퍼스에서 서울대 인공지능 반도체 대학원 주최로 열린 '제2회 서울대 AI 반도체 포럼(SAISF)'에서 LPDDR-PIM 기술 장점을 강조하며 "LPDDR-PIM은 LPDDR 단품보다 에너지 효율이 유리하다" 고 말했다.

그는 이어 "LPDDR 기반의 PIM은 기존 메모리의 한계를 넘어서는 혁신적인 기술로, 스마트폰과 노트북뿐만 아니라 엣지 서버까지 폭넓게 활용될 수 있다"고 했다.

손 마스터는 삼성전자가 차세대 D램인 LPDDR6 프로토타입 개발을 진행 중이라고 밝혔다. 이를 통해 AI 서비스와 데이터센터에서 성능과 에너지 효율 모두를 크게 개선할 계획이라고 했다.

특히 SK하이닉스와의 차별점을 설명하며 "삼성전자는 기존 D램 인터페이스와의 호환성을 유지하면서도 PIM 성능을 극대화할 수 있는 구조를 설계 중"이라며 "고객이 기존 시스템을 대폭 변경하지 않고도 LPDDR-PIM 기술을 도입할 수 있도록 하고 있다"고 설명했다.

그는 "PIM 기술은 데이터 이동을 줄이는 동시에 내부 메모리 대역폭을 최대로 활용해 성능을 높이는 데 초점이 맞춰져 있다"며 "LPDDR6는 차세대 스마트 디바이스와 데이터센터 모두에서 주력 메모리가 될 것"이라고 강조했다.

SK하이닉스, AiMX로 LLM 처리 혁신

3일 임의철 SK하이닉스 솔루션AT 담당 부사장이 서울 관악구 서울대 관악캠퍼스에서 열린 '제2회 서울대 AI 반도체 포럼'에서 '데이터센터부터 엣지 디바이스까지 PIM 기반 LLM 컴퓨팅 솔루션'을 주제로 강연하고 있다. 최서윤 기자

SK하이닉스는 그래픽 D램인 GDDR6 기반 AiM(액셀러레이터 인 메모리) 기술을 발전시켜 'AiMX(시제품명)'라는 가속기 칩을 소개하며 차세대 AI 생태계를 구축하겠다는 목표를 제시했다. AiMX는 중앙처리장치(CPU)나 그래픽처리장치(GPU) 속도를 높이는 가속기 칩으로, GDDR6에 PIM 기술을 적용한 제품이다.

임의철 SK하이닉스 솔루션AT 담당 부사장은 "LPDDR은 데이터센터와 온디바이스 AI에서 에너지 절감과 성능 강화를 동시에 이룰 수 있는 최적의 선택"이라며 "LPDDR-PIM은 데이터센터의 높은 전력 소비를 해결하면서도 온디바이스 AI에서도 고성능 처리를 지원할 수 있는 다목적 솔루션"이라고 말했다.

임 부사장은 SK하이닉스가 LPDDR을 중심으로 GDDR6 기반 AiM 제품군을 확대하고 있다고 설명했다. 임 부사장은 "우리는 GDDR6-AiM을 활용해 LLM 처리에 특화된 가속기 카드 'AiMX'를 개발했다"며 "AiMX는 높은 대역폭과 에너지 효율성을 바탕으로 데이터센터의 핵심 요구를 충족할 뿐 아니라 다양한 글로벌 기업들과 협력해 AI 생태계를 확장할 계획"이라고 밝혔다.

SK하이닉스는 AiMX를 통해 LLM 모델의 제너레이션 스테이지(AI가 주어진 입력에 대해 결과물을 생성하는 데 필요한 연산을 수행하는 단계)에서 발생하는 메모리 병목 현상을 해결하고, 데이터 전송량을 대폭 줄이는 데 성공했다고 설명했다. 임 부사장은 "우리는 온디바이스 AI와 데이터센터 두 영역에서 모두 최적의 성능과 효율성을 제공할 수 있는 기술 개발에 집중하고 있다"고 했다.

최서윤 기자 sychoi@asiae.co.kr