노벨상까지 탄 AI대부가 '수포자'였다니 [AI오답노트]

(18) AI 역사 물길 바꾼 제프리 힌턴
학창시절 수학적 재능 부족에 낙심
전과 끝에 학업 그만두고 목수일까지
수학이란 장벽 넘은 그의 독특한 방법

편집자주실패를 살펴보는 것은 성공으로 가는 지름길입니다. 'AI오답노트'는 AI와 관련한 제품과 서비스, 기업, 인물의 실패 사례를 탐구합니다.

인공지능(AI)은 얼핏 보면 첨단 수학의 결정체처럼 보입니다. 복잡한 수식과 알고리즘이 가득한 것으로 묘사되죠. 그래서 이 분야의 선구자라면 무릇 ‘수학적 천재일 거야’라고 생각하기 쉽습니다. 그러나 흥미롭게도, 오늘의 AI 혁명을 촉발한 위대한 인물이 ‘수포자’라는 걸 아셨는지요. ‘AI의 대부’ 제프리 힌턴(Geoffrey Hinton) 이야기입니다.

학자 가문에서 태어난 제프리 힌턴

지난해 노벨물리학상을 수상한 제프리 힌턴 캐나다 토론토대 교수. AP연합뉴스

힌턴은 1947년 영국의 저명한 학자 가문에서 태어났습니다.

그의 증조부 찰스 하워드 힌턴(Charles Howard Hinton, 1853~1907)은 수학자이자 과학 소설 작가였습니다. 그는 4차원 기하학 연구의 선구자였죠. 4차원 공간을 이해하기 위한 여러 저술을 남겼고, ‘테서랙트’라는 개념도 만들었습니다. 오늘날 영화나 소설에서 언급되는 테서랙트의 기원이 바로 힌턴의 증조부인 것이죠.

증조부의 아들이자 힌턴의 조부인 조지 힌턴(George Hinton)은 엔지니어였고, 힌턴의 아버지 하워드 힌턴(Howard Hinton)은 곤충학자이자 딱정벌레 전문가였습니다.

외고조부는 조지 불(George Boole. 1815~1864)입니다. 수학자, 컴퓨터 전공자라면 이 이름을 모를 수가 없습니다. 그는 ‘불 대수’라는 논리 체계를 고안했습니다. 참(True)과 거짓(False)을 사용해 복잡한 논리를 단순화할 수 있게 했죠. 컴퓨터가 작동하는 원리인 0과 1의 논리체계, 이진법에 큰 영향을 줬습니다.

가문의 이러한 학문적 전통은 어린 제프리 힌턴에게 자연스럽게 과학에 대한 관심을 심어주었을 것으로 보입니다. 특히 증조부의 4차원 기하학 연구, 후에 제프리 힌턴이 개발한 인공신경망의 고차원 수학적 개념들과 어느 정도 맥락이 닿아 있다고도 볼 수 있습니다.

수학에 좌절, 철학과로 전과하고 학교 그만두고 목수 일까지

수학에 힘들어하는 대학생의 모습을 챗GPT가 그린 그림. DALL E·3

그는 케임브리지대학 물리학과에 입학했습니다. 하지만, 제프리 힌턴의 초기 학문 여정은 연이은 좌절의 연속이었습니다. 고약하게도 그는 수학적인 어려움을 겪었죠. 그는 스스로 수학적 재능이 부족하다고 생각했습니다. 너무 힘든 나머지, 철학과로 전과를 할 정도였습니다.

그는 철학을 배우면서 지식의 본질, 사고의 과정 등을 사유했습니다. 이는 후에 그가 하게 되는 AI, 신경과학 연구의 토대가 되었다고 볼 수 있죠. 그럼에도 철학과에 완전히 정착하는 데는 실패했습니다. 전공을 심리학으로 또 바꾼 것이죠. 전과를 거듭했지만 적성에 맞는 그 무언가는 끝내 찾지 못했습니다. 그는 결국 아예 학교를 떠납니다. 그는 펜 대신, 연장을 들었고 목공 일을 전전했죠.

1971년, 힌턴은 마지막이라는 심정으로 에든버러 대학의 문을 두드렸습니다. 롱게 히긴스(Longuet-Higgins) 교수의 퍼셉트론 연구가 그를 사로잡았던 것이죠. 롱게 히긴스는 ‘인간의 뇌, 신경망을 모방하는 AI’를 연구했습니다. 힌턴 역시 인간의 뇌가 정보를 처리하고 학습하는 방식을 이해하고, 이를 기계적으로 재현하는 데 관심이 있었죠.

겨우 흥미를 되찾고 연구에 매진할 기회를 갖는가 했지만, 이마저도 순탄치 않았습니다. 정작 지도교수인 롱게 히긴스가 연구 방향을 바꿔버렸기 때문이죠.

당시 AI 학계에서 ‘거장’으로 꼽히던 마빈 민스키(Marvin Minsky)는 퍼셉트론 개념의 한계를 지적하고 치명적 비판을 가합니다. 학계 전반에 인공신경망, 퍼셉트론에 대한 신뢰도가 급감했죠. 많은 AI 연구자들이 이 주제를 포기하거나 다른 AI 접근법을 택했죠. 이 역사는 향후 ‘AI의 겨울’로 묘사될 정도였습니다.

지도교수가 떠난 상황이었지만, 힌턴은 그러지 않았습니다. 그는 다시 한번 고독한 길을 선택했죠. 인간의 뇌가 학습하는 방식, 정보를 처리하는 방식을 모방하는 데 집중했습니다.

이는 당시 AI 연구의 주류에서는 멀어지는 길이었습니다. 그는 홀로 자기 관심사항에 몰두했습니다. 실험을 거듭하며 이론을 고도화해 나갔죠. 그렇게 걸은 41년 외길의 끝에는 ‘AI 혁명’이 기다리고 있었습니다.

41년간의 고독한 연구…AI 역사의 물길을 바꾸다

2010년 시작된 이미지넷 대회는 이미지를 분류하고 인식하는 기술을 경쟁하는 대회다. 위키피디아

2012년은 AI 역사의 전환점으로 기록됩니다. 토론토 대학의 제프리 힌턴 연구팀이 이미지넷 대회(ImageNet Large Scale Visual Recognition Challenge)에서 압도적인 성적으로 우승을 차지한 순간이죠.

이 대회는 컴퓨터가 이미지 속 대상을 얼마나 정확히 인식하는지 겨루는 대회였습니다. 그때까지 참가한 대다수의 연구팀은 전통적 컴퓨터 비전 기술을 사용했습니다. 힌턴의 팀은 달랐죠. ‘딥러닝(Deep Learning)’이었죠.

힌턴 팀이 딥러닝을 활용해 개발한 인공신경망은 ‘알렉스넷(AlexNet)’이라 불렸습니다. 알렉스넷의 오류율은 약 16% 수준이었습니다. 2위 팀은 26%를 기록했습니다. 이 분야에서 10% 오류율 차이는 혁명적인 일이었습니다. 그 이전까지는 매년 1~2% 정도의 성능 개선이 있었는데, 단숨에 몇 년 치 진보를 이끌어낸 결과였거든요.

이 승리는 단순한 대회 우승 이상의 의미가 있었습니다. 수십 년간 주류 학계가 외면했던 인공신경망의 잠재력을 증명한 순간이었기 때문입니다. 64세의 힌턴은 마침내 자신의 오랜 확신이 옳았음을 입증했습니다. 이를 계기로 전 세계 AI 연구의 패러다임은 딥러닝으로 급격히 전환되었죠. 한 분야에서 40년 넘게 고독한 연구를 이어온 과학자의 집념이 마침내 빛을 발한 순간이었습니다.

수학이라는 장벽을 넘은 방법 : 완벽하지 않아도 괜찮다

제프리 힌턴 교수. 캐나다 토론토대학 홈페이지 캡쳐

한때 수학이 어렵고 두려워 전공을 여러번 바꿨던 힌턴은 어떻게 수학이라는 난관을 넘어섰을까요. 그는 수학적 알고리즘을 완벽히 이해하지 못했지만, 독특한 전략을 개발했습니다.

‘이해하기 어려운 부분은 일단 그렇다고 받아들이자. 그리고 다음 단계로 넘어가자!’ 때로는 앞으로, 때로는 뒤로, 단계를 넘나들었죠. 끊임없는 시행착오를 통해 누구보다 깊은 직관을 활용했고, 추상적 사고력을 키웠습니다.

토머스 에디슨은 정규 학교 교육을 못 받았지만, 지독한 실험과 시행착오를 거쳐 ‘발명왕’으로 기억되고 있죠. 컴퓨터 혁명, 디지털 혁명을 이끈 스티브 잡스는 정작 코딩, 컴퓨터 공학과는 거리가 멀었습니다. 직관과 통찰이 있었죠. 한 분야에 위대한 업적을 남긴 사람이, 그 분야의 모든 걸 다 알아야 하는 건 아닌가 봅니다.

힌턴은 신체적 시련도 겪었습니다. 젊은 시절 집에서 어머니를 돕다 허리를 다쳐 평생 고통을 안고 살아야 했습니다. 앉아있기조차 힘들어 일할 때나 세미나에 참석할 때는 서 있거나 누워 있어야 했습니다. 버스를 탈 때는 맨 뒷자리에 누워서 가야 했는데, 특히 비행기 탑승은 그에게 극심한 고통을 안겨주었습니다.

하지만 힌턴은 낙천적 태도와 유머를 잃지 않았습니다. 무엇보다 한 가지 주제에 대한 그의 집념은 흔들리지 않았습니다. 남들이 보기에는 한물간 연구 주제처럼 보였을지 모르지만, 그는 자신의 길을 묵묵히 걸었죠.

힌턴의 이야기는 우리에게 중요한 교훈을 남깁니다. 한 분야의 최고가 되기 위해 그 분야의 모든 것을 완벽하게 알아야 하는 것은 아닙니다. 때로는 자신의 한계를 인정하고 그것을 창의적으로 극복하는 것이 더 중요할 수 있습니다. 수학적 재능이 부족했던 한 과학자가, 인공지능이라는 수학적 분야에서 혁명을 일으킨 역설. 제프리 힌턴이 남긴 또 다른 위대한 유산입니다.

다음 연재 예고(매주 토요일)

(19) 데이터가 원유라는 생각 (02.22)
(20) K인공지능이 '국뽕'이라는 생각 (03.01)

김동표 기자 letmein@asiae.co.kr