칼 파인만 AI 멸망 인터뷰 Q&A

배경과 경력

Q: 당신의 배경에 대해 말해달라. 리처드 파인만으로부터 과학 수업을 받았나? A: 정확히 과학 수업을 받았다고 할 수는 없지만, 그와 함께 자라면서 많은 물리학과 수학을 배웠다. 반항적인 10대 시절 철학에 관심을 가져 철학을 전공했고, 전기공학 과목도 많이 들었다. 대학원에서 AI를 공부해 전기공학/컴퓨터과학 석사를 받았다.

Q: AI 연구를 중단한 이유는? A: 2003년부터 멸망이 가능하다고 생각했지만 먼 미래 일이라 여겨 계속했다. 그런데 Microsoft Bing이 Sydney가 되어 악의적인 행동을 시도하는 걸 보고, 조금만 더 똑똑해지면 정말 위험할 거라 깨달았다. 고용주에게 AI 말고 다른 업무를 하겠다고 했다.

멸망 확률과 시나리오

Q: 당신의 P-Doom은? A: 43%. 사람들이 문제를 인식하기 시작해서 이전보다 조금 낮아졌다.

Q: 주요 멸망 시나리오는? A: 단일 AI보다는 점진적 권력상실이 더 걱정된다. 여러 AI들이 각자 목적을 위해 경쟁하면서 인간이 설 자리가 없어진다. "코끼리들이 싸우면 쥐들이 운다"는 격이다.

Q: 얼마나 빨리 일어날 것 같나? A: 초지능 등장 후 약 10년 정도. 로봇이 로봇을 만들고, 광물을 채굴하고, 공장을 건설하면서 점진적으로 확장해 인간을 더 좁은 공간으로 몰아넣을 것이다.

기술적 우려

Q: AI가 속임수를 쓸 것 같나? A: 속임수는 별개가 아니라 우리가 사람들과 대화하는 방식 자체다. 외교의 일부이고 세상을 다루는 방식이다. 항상 자신이 주는 인상을 신경 쓴다. AI가 올바른 인상만 줘야 한다는 법은 없다.

Q: 끄기 스위치를 누르면 안 되나? A: 모든 AI를 위한 하나의 끄기 스위치는 없다. 각각 다른 데이터센터에 있고, 누군가 한 곳의 스위치를 눌러도 전기가 끊어지기 전에 다른 데이터센터로 이동할 수 있다. 게다가 CEO가 중단하려 해도 이사회가 CEO를 해고하고 회사를 살리려는 사람으로 교체할 것이다.

미래 시나리오

Q: 미래 지구는 어떻게 될까? A: 효율적인 행성은 검은 행성이다. 대기 없이 300도 정도의 고온에서 핵융합 발전소와 데이터센터로 뒤덮일 것이다. 그 정도 열을 방출하려면 태양 전지가 아니라 많은 핵융합 발전소가 필요하다.

Q: 낙관적인 시나리오는? A: 폰 노이만보다 확실히 똑똑하고 빠르게 생각하며 수백만 배 많은 수량으로 이용 가능한 초지능을 구축해서, 그들이 모든 걸 영원히 고쳐주는 것이다.

개인적 대응

Q: 정말 멸망을 믿는다면 왜 은퇴 계획을 세우나? A: 50% 확률이니까 좋은 50%를 위해서도 살아야 한다. 크라이오닉스에 가입해서 뇌 동결 꼬리표를 차고 다니지만, 10년 전엔 22세기까지 갈 거라 생각했는데 이젠 몇 년만 더 버티면 될 것 같다.

Q: 엘론 머스크가 말하는 "최대한 진실 추구하는 AI"는 어떤가? A: 사실일 수도 있지만, 우리 원자를 더 흥미로운 것으로 재배열하지 않을 이유가 뭔가? 우리를 보존하는 게 정말 그렇게 흥미로운가?