기존보다 최대 100배 큰 데이터 분석 시스템 개발

효율적인 분산 알고리즘 설계로 최대 100배 큰 크기의 다차원 텐서 분석 기술 개발

강유 카이스트 교수

[아시아경제 이초희 기자]국제 공동연구진이 기존 대비 최소 10배에서 최대 100배 큰 용량의 데이터를 효율적으로 분석할 수 있는 대용량 다차원 텐서 분석 시스템을 개발했다.

텐서는 3차원 이상의 고차원 배열로 지식 베이스 데이터는 3차원 배열이며 발신 IP, 수신 IP, 시간, 포트를 포함하는 네트워크 트래픽 데이터는 4차원 배열이다. 통화 내역을 예로 들면 발신자와 수신자만 포함할 경우 2차원 행렬(발신자, 수신자)로 표현되지만, 통화시점까지 포함하면 3차원 텐서(발신자, 수신자, 시간)로 표현된다.

연구팀은 큰 용량의 중간데이터가 생겨나는 기존 알고리즘의 단점을 극복, 기존 대비 최대 100배 큰 텐서 데이터를 분석할 수 있는 분산머신 기반의 대용량 다차원 텐서 분석 시스템을 개발했다.

분산머신은 중앙집중식이 아니라, 데이터나 기능을 분산해서 처리하는 여러 대의 머신을 말한다.

강유 카이스트 교수는 "기존 방법으로 처리할 수 없었던 다차원 빅데이터를 효율적으로 분석하는 시스템으로 소셜 네트워크, 지식 베이스, 네트워크 트래픽, 의료 데이터 등 다양한 분야의 빅데이터를 분석하는데 활용할 수 있을 것"이라고 밝혔다.

카이스트 강유 교수팀(제1저자 전인아, 교신저자 강유)과 미국 카네기멜론 대학 크리스토스 팔로웃소스(Christos Faloutsos) 교수팀이 공동으로 진행한 이번 연구는 미래창조과학부와 한국연구재단이 추진하는 기초연구지원사업(신진연구자지원사업)의 지원으로 수행됐다. 연구결과는 오는 4월13일 서울에서 개최되는 데이터베이스분야 저명 국제학회 중 하나인 ICDE 2015에 구두 발표할 예정이다.