“최대 11배 빠르다” KAIST, ‘PIM’ 반도체 통신 비약적 향상

KAIST는 전기 및 전자공학부 김동주 교수연구팀이 미국 노스이스턴대·보스턴대, 스페인 무르시아대 연구팀과 공동연구로 ‘프로세싱-인-메모리(Processing-in-Memory, 이하 PIM)’ 반도체 통신 성능을 기존보다 11배 향상시킨 기법을 개발했다고 19일 밝혔다.

(왼쪽부터) KAIST 전기및전자공학부 손효준 박사과정, 김동준 교수. KAIST 제공

최근 인공지능과 빅데이터, 생명과학 등 연구에서 사용되는 메모리 대역폭이 차지하는 비중이 높아지면서, 메모리 내부에 연산장치를 배치하는 PIM 반도체 연구개발도 활발해지고 있다.

공동연구팀은 기존 PIM 반도체가 내부장치를 활용하면서, 통신할 때 필수적으로 PIM 반도체 외부와 연결돼야 하는 CPU를 통해야 하는 문제(병목현상)를 해결했다. 이 기법을 통해 PIM 반도체 통신 성능은 기존보다 11배까지 빨라질 수 있다고 공동연구팀은 강조한다.

이를 위해 김동준 교수 연구팀은 기존 PIM 반도체가 갖는 메모리 내부 연산 장치 간 통신 구조의 한계를 밝히고, 기존에 메모리 내부에 존재하는 데이터 이동을 위한 버스 구조를 최대한 활용해 연산장치를 직접적으로 연결하는 ‘인터커넥션 네트워크(interconnection network)’ 구조를 적용하는 기법을 제안했다.

공동연구팀은 이를 통해 PIM 반도체를 위한 연산 과정에서 통신 처리를 위한 CPU의 개입을 최소화해 PIM 반도체에 특화된 인터커넥션 네트워크 구조를 개발했다.

김동준 교수 연구팀이 제안한 PIM 특화 인터커넥트가 적용된 PIM 연산장치 간 통신 개념도. KAIST 제공

인터커넥션 네트워크는 다중 연산 장치를 포함한 대규모 시스템 설계에서 쓰이는 연산 장치 간 연결 구조로, 다중 연산 장치를 포함한 시스템 설계의 필수 요소로 꼽힌다. 시스템 규모가 커질수록 인터커넥션 네트워크가 중요해지는 특징이 있다.

또 메모리 공정은 복잡한 로직의 추가가 어렵다는 문제점이 있다. 하지만 김동준 교수팀이 개발한 네트워크 구조는 PIM에서 효율적인 인터커넥트를 구현했다.

이 구조는 병렬 컴퓨팅과 기계학습 분야에서 널리 활용되는 집합 통신(Collective communication) 패턴에 특화돼 있으며, 연산장치별 통신량과 데이터 이동 경로를 미리 파악할 수 있는 집합 통신의 결정성(determinism)을 활용해 기존 네트워크에서 비용을 발생시키는 주요 구성 요소를 최소화한다.

가령 기존 PIM 반도체는 통신하기 위해 CPU를 거쳐야 하는 탓에 상당한 성능 손실을 감내해야 한다. 하지만 공동연구팀이 개발한 PIM 특화 인터커넥션 네트워크를 적용하면, 기존 시스템보다 어플리케이션 성능을 획기적으로 높일 수 있다. 이는 PIM 반도체 내부 메모리 대역폭 활용률을 극대화하고, PIM 메모리 시스템의 규모가 커짐에 따라 통신 성능의 확장성이 함께 증가한 덕분이다.

김동준 교수는 “데이터 이동을 줄이는 것은 PIM을 포함한 모든 시스템 반도체에서 핵심적인 요소”라며 “PIM은 컴퓨팅 시스템의 성능과 효율성을 향상할 수 있지만, PIM 연산장치 간 데이터 이동으로 성능 확장성에 제약이 따를 수 있어 응용 분야가 제한적이다. 공동연구팀이 개발한 PIM 인터커넥트는 이러한 문제점을 해결할 해법이 될 수 있다”고 설명했다.

한편 이번 연구는 한국연구재단, 삼성전자, 정보통신기획평가원 차세대지능형반도체기술개발사업의 지원을 받아 수행됐다.

대전=정일웅 기자 jiw3061@asiae.co.kr