[과학을읽다]의학계에 '좀비 논문'이 판친다

가짜 또는 결함있는 데이터 사용 임상실험 허다
의학적 부작용 및 신뢰도 저하 심각
코로나19 시기 '구충제 효과' 소문 원천
"연구 윤리 강화, 검증 시스템 개선 시급"

"의학계에 가짜 임상실험, 좀비 논문이 판친다."

사람의 목숨을 다루는 의약품 개발에선 안전성·효율성을 확보하기 위해 정밀한 임상 실험은 필수다. 먼저 동물 실험(전임상)을 거쳐 부작용ㆍ독성ㆍ효과를 확인한다. 이후 건강한 사람들을 대상으로 안전성을 확인하는 임상 1상, 소규모 환자들에게 투여해 유효성을 검증하는 임상 2상, 대규모 환자들을 대상으로 한 장기 투여 시 안전성을 검토하고 약효를 확인하는 임상 3상까지 실시해 꼼꼼히 확인한다. 이에 사람들은 대체로 이같은 과정을 거쳐 개발된 의약품의 안전과 효과에 대해 신뢰를 갖는다. 그러나 실제론 많은 임상실험들이 조작되거나 치명적인 결함이 있으며, 이를 바탕으로 쓰인 '좀비 논문'들이 의학계에서 난무하고 있다는 지적이다.

자료사진. 기사와 관련이 없음.

18일(현지 시각) 국제학술지 네이처(Nature)가 소개한 존 칼라일 영국 국립보건원 마취과 전문의가 대표적인 사람이다. 마취의학 학술지(Anaesthesia)의 편집자이기도 하는 칼라일은 2020년 10월 놀라운 조사 결과를 발표했다. 그는 2017년부터 3년간 자신의 학술지에 실린 500여개 이상의 논문을 검증했다. 이중 150여건 이상의 임상 실험에서 개별 참가자 데이터(IPD)를 살펴봤는데, 무려 44%에서 불가능한 통계나 부정확한 계산, 중복된 숫자 등 결함이 있다는 사실을 발견했다. 또 해당 논문 중 26%가 저자의 무능 또는 가짜 데이터 사용 등의 이유로 임상 실험 결과를 신뢰할 수가 없는 것으로 판단됐다. 칼라일 편집인은 이런 임상실험들을 '좀비(zombie)'라고 명명했다. 실제 연구와 유사하지만 가짜 또는 치명적 결함이 있다는 것이다. 그는 "10개 중 1개 정도일 것으로 예상했지만 너무 많다는 것에 깜짝 놀랐다"면서 "믿을 만한 정보로 위장했지만 실제론 허울 좋은 껍데기들일 뿐"이라고 지적했다.

칼라일 편집인은 IPD에 접근하기가 어려운 현실적인 어려움도 제기했다. 그는 임상실험의 원천 데이터를 확보하지 못했을 경우 요약본에 드러난 통계 수치만을 가지고 임상 실험 결과를 검증한다. 그런데 이 결과 약 1%는 허위 데이터를 사용한 '좀비 논문'이었고, 2%도 치명적인 결함을 갖고 있었다. 이는 IPD에 대해 접근하지 못한 상태에선 해당 임상실험 결과가 담긴 논문을 검토해 게재해주는 학술지 편집자ㆍ편집위원들조차 데이터 조작ㆍ가짜 여부를 검증할 수 없다는 것을 의미한다. 이에 따라 칼라일 편집인은 "학술지들은 모든 논문들이 잠재적으로 결함이 있을 수 있다고 가정한 후 검증에 들어가야 한다"면서 "편집자들은 무작위 통제 실험을 통한 임상 결과가 포함된 논문들을 게재해주기 전에 개별 환자의 데이터를 검토해야 할 필요가 있다"고 지적했다.

이같은 문제는 사실 어제오늘 얘기가 아니다. 네이처에 따르면 최근 수년간에도 많은 전문가들이 가짜 또는 믿을 수 없는 임상 실험들이 놀라울 정도로 광범위하게 퍼져 있다고 주장해왔다. 산부인과나 통증 의학, 마취, 정형외과 등 다양한 의학 분야는 물론 코로나19 연구 등 수십~수백개의 임상들이 통계학적으로 불가능한 데이터를 사용한 연구 결과를 발표해 신뢰가 불가능하다는 것이다. 네이처는 "일부 과학자들은 자신들의 개인적 경험에 근거해 임상실험의 약 4분의1 정도가 신뢰도가 떨어진다는 지적조차 실제와는 다소 거리가 있는 과소평가일 수 있다고 본다"면서 "런던 위생ㆍ열대의학대학원의 이안 로버츠 전염병학 교수는 특정 주제의 무작위 임상 실험을 검증해 볼 경우 약 3분의1 이상이 조작됐을 것이라고 본다고 단언했다"고 전했다.

과거에는 이같은 가짜 임상실험-허위 논문 문제가 학술지 차원의 문제라고 여겨지기도 했다. 이른바 종이 공장(paper mills)으로 불리는 수많은 상업적 학술지들이 난무하면서 수익 확보를 위해 마구잡이로 논문들을 생산ㆍ게재해주면서 생겨난 문제라는 것이다. 하지만 허위 데이터ㆍ치명적 결함이 있는 임상 실험 결과들이 널리 퍼지면서 심각한 문제가 발생하고 있다. 의학적인 부작용뿐만 아니라 실제 임상 치료를 위해 나름대로 철저한 검증을 거치는 통계 분석ㆍ체계적 검증 과정에 포함돼 그럴듯하게 세탁될 수 있다. 많은 의학적 지침들이 종종 그런 오류들이 포함된 기준들을 인용하고 있으며 의사들이 환자를 치료하는 과정에서 이를 참조하고 있는 형편이다.

실제 의학계의 권위있는 연구 집단이자 국제 비영리 단체인 코크란 협업(Cochrane Collaboration)이 검토해 발표한 임상 결과조차도 오류가 발견됐다. 로버츠 교수가 2005년 코크란 협업을 통해 발표된 고용량의 설탕 주사가 머리 손상 후 사망 확률을 낮추는데 효과가 있다는 연구 논문을 검증해 보니 인용된 3차례의 핵심 임상 결과가 모두 브라질의 동일한 신경외과 의사 1명에 의해 주도됐다는 사실이 확인됐다. 다만 그 의사는 로버츠 교수의 조사가 시작되기 전에 자살하는 바람에 결과 자체가 조작됐는지 여부는 확인되지 않았다.

가장 최근의 사례는 일본의 정형외과 연구자 사토 요시히로다. 그는 2016년 사망하기 전까지 수십건의 골절 예방 의약품ㆍ보충제 연구 임상 실험 결과를 조작한 사실이 드러났다. 무려 113건의 관련 논문들이 철회됐다. 하지만 이미 이 중 27건이 88개의 체계적 검토 및 임상 지침에서 인용됐다. 심지어 일부는 일본 정부의 골다공증 권장 치료법으로 사용되기까지 했다.

지난 코로나19 팬데믹 기간에 불었던 구충제 효과 논란도 비슷하다. 당시 구충제 성분인 이버멕틴(ivermectin)이 코로나19에 효과가 있다는 내용의 임상 결과가 속출했다. 하지만 이 중 많은 연구 결과에서 데이터 결함이 있다는 지적이 제기됐고, 결국 2022년 코크란 협업 그룹은 이 중 40% 이상의 임상 실험이 믿을 수 없다는 결론을 발표했다.

이에 따라 연구 현장의 철저한 무결성(integrity) 관리, 연구 윤리 준수, 정밀성ㆍ정확성ㆍ완전성ㆍ유효성 확보를 위한 연구 방법의 개발ㆍ정밀화 등의 노력이 필요하다는 지적이 나오고 있다. 칼라일 편집인은 "솔루션의 문제는 재료(데이터)에서 고쳐야 한다"면서 "만약 이 문제가 시정되지 못하면 마치 산불을 잡지 못한 것과 같이 급격히 퍼져나갈 것"이라고 말했다.

김봉수 기자 bskim@asiae.co.kr