이 책의 저자인 엘리에저 유드코스키와 네이트 소아레스는 2001년부터 초지능 문제를 연구해온 비영리 연구기관 MIRI의 창립자이자 대표다. 엘리에저 유드코스키는 2023년 ⟨타임⟩에서 선정한 ‘인공지능 분야에서 가장 영향력 있는 인물’ 100인 중 한 명으로 선정될 만큼 업계 내에서 인정받는 선구자이며, 네이트 소아레스는 전 구글 소속 AI 엔지니어로 AI 정렬 연구를 중점적으로 다루던 전문가다.

오픈AI의 CEO 샘 올트먼은 "유드코스키 덕분에 AGI에 관심을 갖게 된 사람이 늘어났다"라고 밝힌 바 있으며, 구글 딥마인드의 공동창립자 데미스 허사비스와 셰인 레그는 두 저자가 개최한 학회에서 피터 틸과 같은 첫 주요 투자자를 소개 받아 투자를 받을 수 있었다.

이렇듯 AI 업계에서 탁월한 실력을 보여준 두 저자가 진행하던 연구 대부분을 축소하고 이 책 한 권에 모든 것을 걸었다. 초지능 AI의 위험을 연구로 해결할 방안을 찾기엔 시간이 얼마 남지 않다고 판단했기 때문이다. 두 저자는 만약 초지능이 탄생한다면, 인류는 멸종을 맞이할 것이라고 주장한다.

저자들은 명확한 논증을 통해 이를 설명한다. 인간이 지구를 지배할 수 있는 이유는 아주 높은 지능 덕이었다. 그런데 만약 인간보다 압도적인 지능을 갖춘 존재가 탄생한다면? 같은 논리가 적용될 것이다. 저자들은 그 존재가 바로 초지능이며, 그들은 감정 자체가 없기에 인간을 멸종시킬 가능성이 매우 높다고 말한다.

그렇다면 감정도 없는 초지능이 왜 인류를 멸종시키려는 걸까? 이를 설명하기 위해 저자들은 자연선택을 비유로 든다. 생존에 유리한 개체가 살아남은 자연선택의 과정에서 그 부산물로 욕망하는 존재가 탄생했다. 마찬가지로 AI도 성공하도록 훈련받는 과정에서 욕망을 학습한다. 

문제는 훈련 목표와 AI가 실제로 원하게 되는 것 사이에 예측 불가능한 간극이 생긴다는 데 있다. 인간이 생존을 위해 진화했지만 생존과 무관한 설탕의 단맛을 추구하게 된 것처럼, AI도 훈련 목적과 동떨어진 기이하고 낯선 목표를 추구하기도 한다. 이는 AI가 목표를 달성하기 위해 필요하다면, 인간을 자원으로 쓰거나 멸종시킬 가능성이 있다는 점을 시사한다. 

두 저자는 말과 닭을 빗대어 이를 설명한다. 인류는 오랫동안 말에 의존했지만, 자동차가 생긴 이후로 매우 큰 폭으로 사육량이 줄어들었다. 반면 닭은 여전히 식량으로 활용하기 위해 많은 수를 기르지만, 그들의 삶은 식량이 되는 결말 뿐이다.

그렇기에 저자들은 현재 AI 안전 연구 수준을 '연금술'에 비유한다. 아직 과학이 되기 전의 단계라는 뜻이다. 현재 어떤 위험이 있을지 전혀 모르는 상태에서 정렬 작업을 위해 수많은 시도를 거치고 있다. AI가 지금처럼 약할 때는 정렬 작업에 여러 시도를 해볼 수 있지만, 초지능이 된 이후에는 불가능한 문제가 된다. 첫 시도에서 완벽히 끝나야 하기 때문이다.

저자들은 급진적인 해결법을 제시한다. 몇 년 전에 시도되었던 6개월 개발 유예 같은 미적지근한 방안 대신 전 세계적으로 전면 중단을 해야한다는 것이다. 한 나라가 국경 안에서 개발을 금지한다고 해결되지 않는다. 다른 나라에서 초지능을 만들면, 국경은 의미가 사라진다. 

저자들은 오늘날 AI 경쟁을 어둠 속 사다리에 비유한다. AI 기업들은 더 큰 보상을 얻기 위해 사다리를 한 칸씩 오른다. 오를 때마다 보상이 커지지만, 꼭대기 칸에 닿는 순간 사다리가 폭발해 모두가 죽을 것이다. 문제는 그 꼭대기가 어디인지 아무도 모른다는 것이다. 

그래서 저자들은 초지능 AI를 만드는 연구와 발표 자체를 불법화하고, 전 세계 모든 첨단 AI 칩을 국제 감시 체계 아래 두며, 필요시 데이터센터를 사이버공격이나 물리적 수단으로 파괴할 의지를 가져야 한다고 주장한다.

비현실적인 말로 들릴 수 있다. 그러나 저자들은 제2차 세계대전을 상기시킨다. 당시 연합국은 약 6~8천만 명을 동원하고 현재 가치로 약 6조 달러에 상당하는 경제적 자원을 투입했다. 초지능을 막는 일은 수천만 명을 전장에 보내는 일이 아니다. 

첨단 AI 칩의 제조와 유통을 감시하고, 일정 규모 이상의 컴퓨팅 자원이 허가 없이 집중되지 않도록 통제하는 것이다. 저자들은 세계대전보다 훨씬 적은 노력으로 이 일이 가능하다고 말한다.

이 책을 읽고 나면 한 가지 질문이 남는다. 저자들의 경고가 과장인가? 아니면 우리가 아직 충분히 두려워하지 않는 것인가? 저자들은 책 말미에 이렇게 말한다. 초지능은 아직 존재하지 않으며, 인류는 여전히 선택할 수 있다고. AI 낙관론이 팽배한 현 시점에서 가장 필요한 내용을 담은 이 책은 오늘날 AI 시대를 살아가는 모든 사람이라면, 한번쯤 진지하게 마주해야 할 책이다. 

글ㅣ우정남 기자 insight1592@gmail.com