세계 최고 빅테크들 따돌렸다…中 헤지펀드는 어떻게 딥시크를 만들었나 [테크토크]

퀀트 개발자는 AI 산업의 숨겨진 재능풀
네트워크, 칩, 수학, 프로그램 다룬 이들
이제 딥러닝 분야서 두각 드러내기 시작

미국 등 다른 나라 경쟁사 대비 10분의 1도 안 되는 비용으로 최첨단 생성 AI와 동급의 성능을 보유한 '가성비 AI'를 내놓은 중국 '딥시크(deepseek)'가 최근 업계에 거대한 파장을 일으켰습니다.

저렴한 개발 비용을 앞세워 무료로 챗봇을 공개한 딥시크. AFP 연합뉴스

이 회사의 AI 모델은 그 기원부터 범상치 않습니다. 사실 딥시크의 모기업은 중국 헤지펀드 운용사 '환팡퀀트(하이플라이어)'이며, AI 모델연구는 단순히 '사이드 프로젝트'에서 출발했다고 합니다. 언뜻 AI와는 거의 상관없어 보이는 헤지펀드가 어떻게 세계 최고 빅테크들마저 앞지르게 된 걸까요.

10분의 1 채 안 되는 비용으로 빅테크들 따돌려

딥시크 개발을 주도한 량원펑(오른쪽). 그는 중국계 헤지펀드 '환팡퀀트' 연구원이다. CGTV 연합뉴스

딥시크는 지난해 12월 추론 AI 모델인 딥시크-R1 공개 당시 한화 80억원에 불과한 비용으로 훈련했다고 주장해 업계의 주목을 받았습니다. 이 모델은 오픈AI가 개발한 GPT-4o와 거의 동급의 성능을 기록 중입니다. 현재 중국은 미국의 수출 규제로 엔비디아의 고성능 GPU인 H100을 수입할 수 없으므로, 이 모델의 훈련엔 2048개의 H800 GPU(H100의 연결 대역폭을 절반 이하로 줄인 반도체)가 쓰였습니다. 초대형 데이터센터와 AI 슈퍼컴퓨터의 자원을 끌어다 쓰는 빅테크들과 비교하면 새 발의 피입니다.

딥시크는 딥러닝 훈련에서 흔히 쓰이는 '파인 튜닝'이 아닌 순수 '강화학습'을 채택했습니다. 강화학습은 AI가 특정 목적을 달성할 때 보상을 주는 방식으로 훈련하는 기계 학습법입니다. 실제로 강화학습은 훈련 비용 측면에서 일반 딥러닝보다 유리하지만, 보상 착취(업무를 편법으로 건너뛰거나 규칙을 무시하고 보상만 성취하는 오류를 뜻함) 등 부작용이 만만찮아 지금껏 전면에 부각되진 못했습니다. 이 때문에 '인간 피드백을 통한 강화학습(RLHF)' 등 다양한 보완책이 제안돼 왔죠.

미국 상무부가 중국에 대한 GPU 수출을 규제한 뒤, 엔비디아는 성능을 제약한 염가 GPU 'H800'을 설계해 판매 중이다. 사진은 실제 렌트 중인 H800 80기가바이트(GB) GPU 8개를 연결한 서버 팜으로, 중국의 중소규모 AI 기업들은 이런 장비를 직접 만들어 연구 인프라로 사용한다. 메이드 인 차이나 홈페이지 캡처

따라서 딥시크가 완전히 새로운 기술을 들고 와 빅테크들을 모두 따돌린 건 아닙니다만, 지금껏 다른 기업들이 주시하지 않았던 분야를 대담하게 파고들어 나름의 새로운 돌파구를 만든 건 사실입니다. 이들이 가진 자원과 인력의 수준이 극히 제한됐음을 생각하면 대단한 쾌거죠.

수학, 프로그래밍으로 무장한 '헤지펀드'

무엇보다도, 딥시크는 어디까지나 모회사인 환팡퀀트의 사이드 프로젝트였다는 점에 의미가 있습니다. 딥시크가 사용한 H800 GPU 2048개도 환팡퀀트가 알고리즘 거래에 사용하던 것을 나눠 받은 수준에 불과했다고 합니다. 환팡퀀트는 운용자산(AUM) 80억달러(약 11조5000억원) 규모의 헤지펀드로 알려졌습니다.

그러나 사실 헤지펀드는 과거부터 AI 산업과 깊이 연결된 업종이었습니다. 딥마인드, 오픈AI, 스태빌리티AI 등 오늘날 대표적인 AI 기업들의 핵심 개발자 중 상당수가 헤지펀드, 마켓메이커(유동성 공급자) 등 알고리즘 트레이딩 회사에서 일했습니다.

영국 AI 기업 '스태빌리티AI' 전 CTO이자 현재는 일본 최초의 생성형 AI 업체인 '사카나AI' CEO를 맡은 데이비드 하(왼쪽)는 골드만삭스 퀀트 트레이더 출신이다. 오늘날 AI 연구원 상당수가 헤지펀드, 마켓메이커 등 퀀트 출신으로 알려졌다. 엔비디아 홈페이지 캡처

알고리즘 트레이딩, 혹은 퀀트(Quant)는 증시, 채권, 원자재 등 다양한 자산군의 가격 변동을 신속하게 포착해 거래함으로써 차익을 노립니다. 따라서 퀀트에 쓰이는 알고리즘이나 모델을 개발하는 사람들은 모두 수학과 프로그래밍에 능통합니다. AI 개발에 요구되는 전문성과 겹치죠.

AI 경쟁, 빅테크 만의 영역 아닐 수도

헤지펀드 업계가 직접 신경망 AI를 연구하고 생성 AI를 내놓기 시작한 건 최근 일입니다. 퀀트도 기계 지능을 이용해 금융 거래를 자동화하긴 하지만, 사실 해당 분야의 기계 지능은 생성형 AI들과는 판이했거든요.

알고리즘 트레이딩은 주로 HFT(high-frequency trading ·초단타매매)라고 불리는 컴퓨터 프로그램을 사용해 왔습니다. 이 프로그램은 1초도 안 되는 시간에 수백만번의 거래를 처리하는데, 업계에선 '알고봇(algobot)'이라고 불립니다. 알고봇은 인간의 인지 능력으론 따라갈 수 없는 거래 속도로 자산의 미묘한 가격 변동을 노려 차익을 남깁니다.

아시아경제 DB

자연스럽게 지금까지 헤지펀드의 프로그램 개발은 순수한 '속도 경쟁'의 영역이었습니다. 맞춤 제작한 고속 라우터와 컴퓨터 칩을 매입해 더 빠른 서버를 만들고, 해당 기기를 실제 거래소와 물리적으로 최대한 가까운 거리로 이동시켜 거래 처리량을 조금이라도 더 높이는 게 핵심이었습니다. 또 프로그램의 반응 속도를 끌어 올리기 위한 다양한 수학적 알고리즘을 연구해 왔습니다.

그러나 최근 일부 퀀트 기업들은 속도가 아닌 AI의 예측 능력을 이용해 더 우월한 거래 전략을 세우기 시작했습니다. 즉, 자산 가격 변동에 관한 수많은 데이터를 학습한 딥러닝 AI로 3~10여분 이후의 가격을 예측 거래하여 차익을 남기는 전략이 대두된 겁니다.

실제로 지난해 말 이런 '예측봇'을 내세워 알고봇들을 몰아내고 사상 최대의 실적을 남긴 마켓메이커가 파이낸셜타임스(FT)에 보도된 바 있습니다. 창업 10년 만에 영국 1위, 전 세계 3위권의 퀀트 기업 자리에 오른 'XTX 마켓'이라는 회사입니다. 러시아 출신의 수학자인 알렉스 거코라는 인물이 세운 기업으로, 거코는 지난해 150억달러(약 21조원)의 순자산을 보유해 영국 부자 순위 12위를 기록했습니다.

딥러닝 AI로 초고속 거래 프로그램을 압도할 수 있다는 사실이 입증되면서, 헤지펀드 등 알고리즘 트레이딩 기업들은 점차 AI 산업으로 진출하고 있다. 사진은 딥러닝 AI를 앞세워 순식간에 세계 3대 퀀트 기업으로 올라선 영국 XTX 마켓. XTX 마켓 홈페이지

이 회사는 최신예 엔비디아 GPU 2만5000개를 보유했으며, 자체 딥러닝 AI 훈련을 위한 독점적 데이터셋, 약 250명의 전문 AI 연구원을 거느리고 있습니다. 이 정도면 어지간한 빅테크의 연구 역량에 뒤지지 않는 인프라 규모입니다.

테크 업계에 '딥시크 쇼크'를 안긴 환팡퀀트도 XTX 마켓처럼 딥러닝 AI를 내세운 거래 전략을 가진 회사로 추정됩니다. 딥시크가 앞으로 AI 개발의 접근 방식을 완전히 뒤집어 놓을지, 혹은 그저 다양한 훈련 전략 중 하나에 그칠지는 아직 판단할 수 없습니다. 다만 이번 사건은 빅테크뿐만 아니라 다른 업계도 AI 혁신을 일으킬 수 있다는 점을 시사합니다. 첨예한 금융공학으로 훈련된 수학자들과 방대한 데이터셋, 이젠 GPU까지 갖춘 헤지펀드는 새 주자가 되기에 가장 적합한 사업체일 겁니다.

임주형 기자 skepped@asiae.co.kr