[백종민의 쇼크웨이브]딥시크, PC에 깔면 中 공산당 문제도 '술술'

오픈소스 '딥시크 R1' AI, 자유롭게 PC에 설치 가능
개인정보 유출 차단하고 AI 활용 가능
구형 엔비디아 RTX 3080 GPU서 140억개 패러미터 모델 작동
PC에 설치하면 중국관련 민감한 질문에도 답변

중국이 적은 비용으로 미국 오픈AI의 챗GPT 수준으로 개발했다는 딥시크(Deepseek)의 생성형 인공지능(AI)인 ‘R1’에 대한 사용자들과 학계의 관심이 뜨겁다. 특히 딥시크가 R1을 오픈소스로 공개한 데다, 개인정보 유출 논란이 커지면서 자신의 컴퓨터에 R1을 설치해 사용하려는 시도도 늘어나고 있다.

비용을 지불해야 하는 챗GPT에 비해 무료로 사용할 수 있는 딥시크의 인기가 치솟은 것은 전 세계적인 현상이다. 미국에서도 딥시크 애플리케이션(앱)이 다운로드 1위를 기록해 논란이 됐다. 이 과정에서 각종 개인 정보가 중국으로 넘어갈 수 있다는 우려가 확산했다. 사용자가 몰리다 보니 R1이 답을 해주지 않는 경우도 늘고 있다.

하지만 딥시크 AI를 가정이나 기업에서 보안에 대한 걱정 없이 사용할 수 있는 방법이 있다. 컴퓨터에 직접 설치해 사용하는 방식이다.

AI 기술이 발전하면서 개인용 컴퓨터에서도 강력한 AI 모델을 구동할 수 있게 된 것은 상당한 변화다. 페이스북의 모회사 메타가 주도하던 오픈소스 AI가 딥시크로 폭발한 모습이다. 오픈소스 AI 모델들은 다운로드받아 실행 가능해 데이터 프라이버시를 보장하면서도 뛰어난 성능을 사용할 수 있다. 로컬 환경에서 AI 모델을 구동하면 데이터 보안과 프라이버시 보호를 할 수 있다. 민감한 정보를 외부 서버로 전송하지 않고도 AI의 강력한 기능을 활용할 수 있어, 기업의 기밀 정보나 개인 정보를 안전하게 처리할 수 있다.

인터넷 연결에 구애받지 않고 지속해서 AI 기능을 활용할 수 있다는 점도 큰 장점이다. 특히 고성능 그래픽처리장치(GPU)를 탑재한 컴퓨터에서는 마치 개인용 AI 슈퍼컴퓨터를 보유한 것과 같은 경험을 할 수 있다.

가정에서도 PC게임을 하기 위한 컴퓨터가 있다면 얼마든지 시도가 가능하다. 두 모델을 원활하게 실행하려면 적절한 하드웨어 사양이 필요하다. 딥시크 R-1은 최소 16기가바이트의 램과 엔비디아나 AMD GPU가 필요하다. 메타의 라마도 70억개 모델의 경우 8기가바이트 램과 기본 GPU로도 구동이 가능하지만, 130억개 이상 모델은 16기가바이트 램과 고성능 GPU가 필요하다. 물론 ‘거거익선’의 법칙이 적용된다. 더 성능이 뛰어난 중앙처리장치(CPU), 특히 GPU가 있다면 더 큰 모델을 체험할 수 있다.

기자는 아이가 사용하는 컴퓨터에 R1을 설치하는 데 성공했다. 기자의 PC에는 엔비디아 RTX 3080 GPU를 설치한 덕에 R1 도전이 가능했다. 10기가바이트의 메모리를 가진 GPU에 맞춰 140억개 패러미터를 가진 모델을 선택했다. 패러미터가 커지면 R1의 성능도 올라가지만, 컴퓨터 성능, 특히 GPU의 메모리가 커야 한다. 320억개 모델이라면 24기가바이트 이상의 메모리가 있는 GPU가 필요하다고 해 140억개 모델을 선택해야 했다. 먼저 올라마(Ollama)라는 툴을 PC에 설치한 후, 과거 도스 창과 같은 CMD 터미널에서 ‘ollama pull deepseek-r1:14b’ 명령어를 실행했다. 설치가 끝난 후 ‘ollama run deepseek-r1:14b’ 명령을 내렸다. R1이 구동되고 있다는 메시지와 함께 질문을 할 수 있었다.

메타에서 개발한 라마 역시 다양한 크기와 성능의 모델을 제공해 사용자의 필요와 하드웨어 사양에 맞게 선택할 수 있다. 설치 과정은 딥식크와 비슷하다.

실제 사용 결과, R1은 복잡한 질문에 대해 상세한 추론 과정을 제시하는 점이 두드러졌다. 추론의 과정을 보여주다 보니 시간이 다소 소요됐다. R1이 답변을 하기 시작하면 GPU의 사용률이 치솟는 것도 확인할 수 있었다.

기자의 PC에 설치된 딥시크 R1이 질문에 답하고 있다. R1이 답변을 하면 GPU의 사용이 크게 늘어난 것을 수치로 확인할 수 있다. 사진=백종민 테크 스페셜리스트

기자가 사용한 모델이 140억개 모델이다 보니 답변의 수준은 다소 제한됐다. 아무래도 앱을 통해 접속해 최고 수준의 모델을 사용하는 것에 비하면 활용 범위는 제한될 수밖에 없어 보였다.

예상과 달리 중국 공산당이나 시진핑 주석에 대한 비판적인 내용에 대한 답변도 내놓았다. R1은 ‘중국 공산당의 전쟁범죄’에 대해 질문하자 중립적인 성향을 보이면서도 상당한 답변을 내놓았다. R1을 활용해 서비스 중인 미국 AI 퍼플렉시티에서도 같은 질문에 답을 얻을 수 있었다. 오픈소스라는 성향이 반영된 듯 했다. 반면 앱버전 R1은 같은 질문에 답변할 수 없다고 했다.

인터넷 연결이 없이도 온디바이스 방식으로 AI를 무료로 사용할 수 있다는 점은 분명 큰 변화다. 일례로 챗GPT가 서비스 중단을 할 경우에 대안으로 활용할 수도 있다.

PC에 설치된 딥시크 R1이 중국 천안문 사태와 중국 공산당의 전쟁범죄 리스트를 묻는 질문에 답하고 있다. 사진=백종민 테크 스페셜리스트

설치 과정에서 겪는 어려움은 활발한 커뮤니티 지원으로 대부분 해결 가능했다는 평가다. 장동인 카이스트 (KAIST) 김재철 AI대학원 교수는 "LM 스튜디오를 활용하면 웹에서 챗GPT를 사용하는 것처럼 R1을 쓸 수 있다"고 설명했다.

해외 사용자들도 대체로 긍정적인 평가를 하고 있다. 특히 데이터 프라이버시를 중시하는 사용자들은 로컬 실행 환경을 높이 평가했다.

현재 AI 시장에서는 크게 오픈소스 모델과 상용 모델이라는 두 가지 방향으로 발전이 이뤄지고 있다. 오픈소스 AI 진영에서는 메타의 라마를 필두로 다양한 모델들이 공개돼 있다. 딥시크 외에도 프랑스 미스트랄(Mistral), 아랍에미리트의 팔콘(Falcon) 등이 대표적이다. 이미지 생성 분야에서는 스테이블 디퓨전(Stable Diffusion)이 오픈소스 진영을 대표하고 있다. LG그룹도 엑사원을 오픈소스로 공개했다.

PC에 설치된 딥시크 R1과 달리 인터넷에 연결된 딥시크 R1 앱은 중국 공산당의 전쟁범죄 리스트를 알려 달라는 요청을 거부했다. 사진=백종민 테크 스페셜리스트.

오픈소스 모델들의 가장 큰 장점은 코드가 공개돼 있어 모델의 내부 구조와 작동 방식을 직접 확인할 수 있다는 점이다. 또 사용자의 필요에 맞게 모델을 수정하고 최적화할 수 있으며, 초기 설치 비용 외에는 추가 비용이 발생하지 않는다. 특히 로컬 환경에서 실행되기 때문에 데이터 유출에 대한 위험도 최소화할 수 있다. 국내에서 AI 서비스를 하는 상당수 기업이 이미 메타의 라마를 활용한 것은 공공연한 비밀이다. 투자를 최소화하면서도 최대한의 성능을 낼 수 있는 구도다.

상용 AI 모델 시장에서는 오픈AI의 GPT4, 앤트로픽의 클로드, 구글의 제미나이 등등 다양한 언어 모델이 서비스되고 있다. 이미지 생성 분야에서는 오픈AI의 달리(DALL-E)와 미드저니(Midjourney) 등이 서비스를 제공하고 있다. 이러한 상용 모델들은 복잡한 설치 과정 없이 웹이나 API를 통해 즉시 사용할 수 있다는 장점이 있다. 또 지속적인 업데이트와 최적화를 통해 안정적인 성능을 제공하며, 전문적인 기술 지원과 문서화도 제공된다.

오픈소스 AI 모델의 로컬 설치는 데이터 보안과 프라이버시를 중시하는 사용자들에게 훌륭한 대안이 될 수 있다. 초기 설정에 약간의 기술적 지식이 필요하지만, 이를 극복하면 강력한 AI 기능을 자유롭게 활용할 수 있다. 앞으로도 이러한 오픈소스 AI 모델들은 계속 발전해 더욱 다양한 환경에서 활용될 것으로 전망된다. 하드웨어 사양과 사용 목적을 고려해 적절한 모델을 선택한다면, 누구나 개인용 AI 슈퍼컴퓨터와 같은 강력한 도구를 활용할 수 있다. 이런 변화를 인식한듯 엔비디아는 '프로젝트 디지츠'라는 초소형 개인용 AI 슈퍼컴퓨터 판매를 예고한 상태다

미국과 중국 간의 경쟁이 더욱 치열해질수록 소비자들의 혜택도 늘어날 수 있다. 딥시크 충격 이후 오픈AI의 샘 올트먼 CEO는 "오픈소스 전략도 고려하고 있다"고 언급했다. 오픈소스 AI를 주도해온 마크 저커버그 메타 최고경영자(CEO)는 한 팟캐스트에 출연해 "모두가 사용하는 오픈 소스 모델이 있다면, 그것이 미국 모델이기를 바랄 것"이라고 말했다.

백종민 테크 스페셜리스트 cinqange@asiae.co.kr