핵전쟁에서 인류를 구한, 한 인간의 판단력 [AI오답노트]

(38) ‘미국이 소련에 핵무기 5발 발사’
시스템 경고에 즉각 반격 대신 고민
“미국이 단 5발만 쏠리가 없을 텐데”
AI시대에도 결코 대체될 수 없는 인간

편집자주실패를 살펴보는 것은 성공으로 가는 지름길입니다. 'AI 오답노트'는 AI와 관련한 제품과 서비스, 기업, 인물의 실패 사례를 탐구합니다.

핵 버튼. 게티이미지뱅크

'긴급상황, 긴급상황.

미국이 대륙간탄도미사일(ICBM) 발사'

1983년 9월 26일 자정이 막 지났을 무렵. 러시아 모스크바 남서쪽 비밀 벙커 세르푸코프-15에 요란한 사이렌이 울리기 시작했습니다.

소련의 조기경보시스템이 미국이 발사한 5기의 ICBM을 탐지했다고 보고한 겁니다. 벙커는 혼돈에 빠졌습니다.

당시 44세였던 스타니슬라프 페트로프 공군 중령은 그날 당직 근무 중이었습니다. 그는 몇 분 안에 판단하고 결론을 내려야 했죠. 시스템상의 발사 감지, 재확인 절차를 거쳤습니다. 눈앞의 상황판은 다섯 발의 미사일이 모스크바로 다가오고 있음을 보여주고 있었습니다.

페트로프에겐 따라야 할 규정이 있었습니다. 경보 사실, 재확인 결과를 상부에 보고해야 했습니다. 그러면 소련 지도부는 '핵미사일로 반격하라'는 지시를 내릴 것이 불 보듯 뻔했죠. 페트로프는 온몸이 굳었습니다.

"뜨거운 프라이팬에 앉아 있는 느낌이었다.
엄청난 압박감에 나는 자리에서 일어날 수조차 없었다"

다른 당직자들이 패닉에 빠져있는 사이, 페트로프는 정신을 가다듬었습니다. 그는 생각했습니다.

"미국이 정말로 모스크바를 향해 핵 공격을 시작한다면…
단 5발이 아니라 훨씬 큰 규모로 했을 텐데…"

스타니슬라프 페트로프. 그의 영웅적 행보는 뒤늦게 언론 보도를 통해 알려졌다. 각종 인권상을 받고 UN 표창도 받았으나 겸손했다. 그는 말년에 언론 인터뷰에서 이렇게 말했다. "사람들이 저를 영웅이라고 하는데, 사실 조금 놀랍습니다. 한 번도 제가 그런 사람이라고 생각하지 않았거든요. 그저 제가 해야할 일을 했을 뿐입니다." 국제비영리단체PSR.

페트로프는 조기경보시스템 코드 개발에 참여하기도 한 컴퓨터 기술자였습니다.

"그리고 왜 공중 경보시스템만 울리는 거지?
육상 레이더는 아무런 공격 징후를 포착하지 않고 있는데?"

마침내 페트로프는 상부에 전화를 걸었습니다. 그는 '미국이 핵미사일을 발사했다'고 보고하지 않았습니다. 그는 "컴퓨터 시스템 오작동입니다"라고 했죠.

최초 경보 후 20분이 지났습니다. 소련 영토에 떨어진 미사일은 없었습니다. 페트로프의 판단이 옳았던 겁니다.

잘못된 경보는 소련 위성이 구름에 반사된 햇빛을 잘못 감지한 탓이었습니다. 이날의 일은 1998년에야 비밀해제됐고, 독일 일간지 빌트 보도로 세상에 알려지게 됐죠.

만약 페트로프가 경보, 매뉴얼에 따라서만 행동했었다면 오늘 이 순간은 없었을 겁니다.

완벽한 시스템의 치명적 실패 : 항공기 추락

AF447편의 잔해를 수습하고 있는 모습. AFP연합뉴스

2009년 6월 1일, 대서양 상공에서 비행기가 추락하는 사고가 발생합니다. 브라질 리우데자네이루에서 프랑스 파리로 향하던 에어프랑스 447(AF447)편이 바닷속으로 가라앉은 것이죠. 전체 탑승객 228명 중 생존자는 없었습니다.

기체 '에어버스 A330'은 당시 가장 안전한 항공기 중 하나였습니다. 최첨단 자동조종시스템이 달려있었죠. 1970년대 이후 발생한 항공기 사고가 대부분 인간의 실수에 의해서 발생한다는 연구결과가 있었고, 이후 항공기들은 자동조종시스템에 크게 의존하게 됩니다. 이 시스템은 너무도 완벽해서, 조종사들은 별다른 걱정을 할 필요조차 없었죠.

이런 조치는 역설적인 결과를 가져왔습니다. AF447편의 조종사는 평소 자동조종에만 의존해왔습니다. 수동 경험이 거의 없었죠. 불운하게도, 기상 상황이 좋지 못한 구간을 지나며 기체가 손상을 입었고, 자동조종이 풀리게 됩니다. 비행기의 운항 속도를 나타내는 시스템도 오작동하게 됩니다. 조종사들은 매우 당황했습니다. 잘못된 수동 조작을 거듭했고, 결국 비행기는 바다로 추락하고 말았습니다.

자동화의 역설

로봇이 인간의 두개골을 들고 있는 모습. 게티이미지뱅크봇이 인간의 두개골을 들고 있는 모습. 게티이미지뱅크

자동시스템이 고도화되면, 사람이 경험을 쌓을 기회가 줄어들게 됩니다. AF447편의 사례가 그렇습니다. 자동시스템이 너무 좋다 보니 조종사의 실력은 오히려 갈수록 나빠지는 결과로 이어졌던 것이죠.

경제학자 팀 하포드(Tim Harford)는 이를 '자동화의 역설'이라고 개념화합니다. 그는 자신의 저서(Messy)에서 "자동화 시스템이 좋아질수록 인간 운용자들은 더욱 경험이 부족해지고, 그들이 직면하게 될 상황은 더욱 이상해지고 만다"고 설명했습니다. 완벽한 시스템일수록 인간이 방심하게 되고, 정작 위기 상황에서는 대응 능력을 잃게 된다는 겁니다.

하포드는 항공 엔지니어 얼 위너(Earl Wiener)의 법칙을 인용합니다. "디지털 장치는 작은 오류는 걸러내지만 큰 오류의 기회를 만든다." 기계화, 자동화가 평소의 실수는 방지해주지만, 정작 중요한 순간에는 더 큰 실수를 유발한다는 것이죠.

모든 기업과 경영진은 AI를 통한 생산성 혁명을 바라고 있습니다. AI는 객관적이고 정확하며 감정에 휘둘리지 않는다고, 실수하지 않는다고 생각하죠. 불완전한 인간보다 언제나 더 나은 판단을 내릴 것이라 기대합니다.

하지만 페트로프와 대서양 비행기 추락 사건은 다른 얘기를 들려줍니다. 아무리 최첨단 기술을 총동원한 시스템이라도 예상치 못한 오류를 범할 수 있습니다. 그리고 그런 위기 상황에서는 인간의 판단이 더욱 중요해집니다. 페트로프는 시스템을 맹신하지 않았습니다. 그는 기술자 출신답게 시스템의 한계 또한 알고 있었죠. 규정만큼이나 상황과 맥락을 살폈습니다.

반면 AF447 조종사들은 시스템에 너무 의존해온 나머지 기본기를 잃었죠. 다가올 완전자율주행 시대에도 비슷한 상황이 나타날 수 있습니다. 완전자율주행 차량이 상용화되면, 이동 중 대부분의 상황을 차량이 알아서 판단하고 결정하죠. 그런데 갑자기 운전자가 대신 운전할 상황이 되면 어떻게 될까요. 운전에 오래도록 집중하지 않던 사람이, 긴급한 위기 상황에 제대로 대응하긴 쉽지 않을 겁니다.

하포드는 "자동화는 경이로운 기술이지만, 지나치게 신뢰하다 보면 오히려 소비자가 피해를 볼 수 있다"고 말합니다. 그는 자동화는 통제되고 평이한 상황에서만 허용하는 등 자동화의 영역을 최대한 축소해야 한다고 강조합니다. 하포드가 다소 과격하고 시대착오적인 주장을 한다는 비판 의견도 있으나, 자동화에 대한 그의 주장은 충분히 경청할 만합니다.

인간 중심의 AI

무언가를 완성시키고 책임지는 것은 결국 인간이다. 게티이미지뱅크

산업 발전과 인류의 생산성 향상은 기계화·자동화의 수혜를 입은 측면이 분명히 있습니다. 인간 대 기계(AI)의 이분법 구도에 빠져 있을 필요가 없습니다.

페트로프는 시스템의 정보를 단순히 무시한 게 아니라, 비판적으로 검토한 겁니다. 그는 시스템이 제공하는 데이터와 자신의 경험과 상식을 종합해서 판단했습니다. AF447 사고도 마찬가지입니다. 자동조종시스템 그 자체가 나쁜 게 아니라, 인간이 시스템에 지나치게 의존한 것이 문제였습니다. 조종사들이 평소에도 수동 조종 연습을 했다면, 시스템의 한계를 이해하고 있었다면, 사고를 피할 수 있었을 겁니다.

기술이 발전할수록 인간의 역할은 더욱 중요해집니다. 기계는 규칙과 데이터를 잘 처리하지만, 예외적이고 복잡한 상황에서는 인간의 직감과 판단이 필요합니다.

AI 시대에도 마찬가지입니다. AI는 인간을 최종적으로 대체하는 것이 아니라 인간을 지원하는 역할을 할 가능성이 높습니다. 인간은 AI의 분석과 예측 결과를 참고하되, 최종 판단은 스스로 내릴 수 있어야 합니다.

지금 뜨는 뉴스

그러려면 먼저 AI의 한계를 인정해야 하죠. 아무리 정교한 시스템이라도 예상치 못한 오류를 범할 수 있다는 것이죠. 그리고 인간은 시스템에 의존하더라도 핵심 역량은 계속 연습하고 발전시켜야 합니다. 특히 비판적 사고를 잃지 말아야 합니다. 결국 언제나 인간이 중심이어야 합니다.