[테크토크]클라우드 느려터져서 택배로 데이터 받아요

거대 데이터, 클라우드로도 한참 걸려
가끔은 ‘택배’로 배송하는 게 더 빨라

이상한 말처럼 들릴 수 있지만, 글로벌 클라우드 1위 아마존웹서비스(AWS)의 핵심 비즈니스가 바로 '데이터 택배'입니다. 말 그대로 컴퓨터 데이터를 포장해 고객의 집 앞에 배송하는 사업입니다. 이메일 열람부터 영화 스트리밍까지 클라우드로 해결되는 초연결 시대에 왜 이런 번거로운 사업이 남아 있을까요.

데이터 택배 상자, 아마존 스노우볼

데이터를 옮기는 택배상자, 아마존 AWS 스노우볼 [이미지출처=AWS 홈페이지 캡처]

아마존은 2016년 '스노우볼(Snowball)'이라는 엣지형 컴퓨터 서버를 만들었습니다. 스노우볼은 특수 케이스로 안전하게 보호한 소형 데이터센터입니다. 일반적인 AWS 데이터센터에 탑재되는 CPU, 메모리 장치는 모두 탑재됐고, 기능도 동일합니다. 단지 20㎏ 남짓한 작은 케이스 수준으로 크기를 줄였을 뿐입니다.

스노우볼의 목적은 단 하나입니다. '물리적으로' 고객의 컴퓨터와 클라우드를 잇는 겁니다. 일단 주문을 받으면 아마존은 스노우볼을 4~6일 안에 고객에게 배송합니다. 고객은 전원을 켜서 자기 컴퓨터와 스노우볼을 랜(LAN)으로 연결한 뒤, 컴퓨터의 데이터를 스노우볼에 옮겨 담습니다. 그 후 아마존 직원이 스노우볼을 다시 가져와 AWS 데이터센터에 옮기는 겁니다.

때로는 통신보다 택배원이 더 빠르다

클라우드를 이용할 수 있는데, 상자 크기 서버를 주고받으며 데이터를 옮긴다? 얼핏 들으면 이해가 안 될 겁니다. 마치 이메일을 인터넷으로 전송하는 대신 프린터기로 복사해서 우체국에 보내는 격이니까요.

하지만 스노우볼이 탄생한 데엔 이유가 있습니다. 구글 클라우드 등을 이용해 봤다면 수십기가바이트(GB)짜리 대용량 데이터를 옮기거나 다운로드받을 때 어느 정도 시간이 걸린다는 걸 알 겁니다.

페타바이트 규모 데이터는 현대 통신 기술로도 감당하기 힘들다. [이미지출처=픽사베이]

그러나 기업들의 상황은 다릅니다. 테라바이트(TB, 1TB는 약 1000GB) 규모나 페타바이트(PB, 약 1000TB) 단위 데이터를 옮겨야 하는 일이 심심찮게 벌어집니다. 내 컴퓨터에서 네트워크를 거쳐 데이터센터로 파일이 전송되기까지 네트워크 환경에 따라 대략 2~3주일에서 수개월 넘게 걸릴 수도 있습니다.

데이터가 너무 커서 생기는 클라우드 상의 병목(Bottleneck)은 데이터 중심 기업들이 흔히 직면하는 문제입니다. 8~12K 해상도 영상으로 작업하는 할리우드 영화계나, 초고해상도 이미지를 전송하는 천문학 연구소, 은행 등이 대표적인 사례입니다.

스노우볼에 거대 데이터를 저장한 뒤 직접 사람이 들어 옮긴다. [이미지출처=유튜브]

이 문제를 어떻게 해결할까요. 의외로 방법은 간단합니다. 초대형 데이터를 받아다가 클라우드로 가져갈 임시 데이터센터를 만드는 겁니다. 그게 바로 스노우볼이었습니다. 아마존은 이미 전 세계 어디에든 물류 거점을 두고 있습니다. 인터넷 케이블이 한 달 동안 데이터를 소화하려고 애를 쓰고 있는 사이 스노우볼을 든 택배원은 1주일 안에 데이터 전송 작업을 마무리할 수 있습니다.

클라우드론 10년 걸릴 작업도 6개월로 단축

하지만 물리적으로 데이터를 옮기는 건 너무 위험하지 않을까요? 오히려 더 안전할 수도 있습니다. 스노우볼 서버를 감싼 특수 케이스는 최첨단 소재 공학을 동원했으며, 심지어 미 공군의 수송기에서 낙하산에 매달아 떨어뜨려도 끄떡없을 정도입니다. 덕분에 스노우볼은 군대, 재난 지역 등에서도 애용됩니다.

컨테이너형 데이터센터 이동수단인 '스노모빌' [이미지출처=AWS]

스노우볼 1100여개를 연결한 '스노모빌(Snowmobile)'이라는 컨테이너형 데이터센터도 있습니다. 이 데이터센터는 대형 트럭이 운송합니다. AWS가 스노모빌을 고안한 건 과거 '디지털 글로브'라는 인공위성 사진 기업의 의뢰 때문이었다고 합니다.

디지털 글로브는 100PB 규모 사진 자료를 보유하고 있었는데, 이를 AWS로 전부 옮기려면 무려 10년이 소요될 예정이었습니다. 대신 스노모빌을 이용해 '물리적'으로 운송하자, 기간은 6개월로 대폭 줄어들었다고 합니다.

초연결 시대에도 네트워크 한계는 여전

스노우볼은 디지털 시대에도 '통신'이라는 개념이 얼마나 어려운 건지 보여주는 사례입니다. 때로는 첨단 통신망보다 단순한 택배 트럭이 훨씬 빠를 때도 있으니까요.

물론 오프라인 데이터 전송 시스템은 점차 과거의 유산이 될 겁니다. AWS는 지난달 스노모빌 서비스를 단계적으로 종료하겠다고 밝힌 바 있습니다. 최신 데이터 전송 기술이 보편화하면서 더는 컨테이너 규모의 데이터센터를 옮길 필요는 없어졌기 때문입니다. 언젠가 PB 단위 데이터를 빠르게 옮길 수 있는 통신망이 전 세계에 갖춰진다면, 스노우볼도 차차 사라지게 되겠지요.