자레드 카플란(Anthropic 공동창업자 겸 최고 과학 책임자) 인터뷰 요약 (한글)

이 인터뷰에서 자레드 카플란은 인공지능(AI), 특히 인간 수준 AI(AGI)의 발전 속도와 그에 따른 안전 문제에 대해 이야기합니다.

카플란은 작년에 2030년까지 인간 수준 AI가 등장할 수 있다고 예측했지만, 현재는 그 시기가 더 빨라져 향후 2~3년 내에도 가능할 수 있다고 봅니다. 다만 '인간 수준'이라는 정의 자체가 명확하지 않으며, AI는 여러 영역에서 계속 발전할 것이라고 덧붙입니다.

DeepSeek과 같은 중국 기업과의 경쟁에 대해서는, 현재 AI 분야에 아직 개척할 부분이 많아(low hanging fruit) 누가 먼저 획기적인 발전을 이룰지 예측하기 어렵기 때문에 알고리즘적으로 충분히 경쟁력이 있다고 봅니다.

AI가 인간을 햄스터처럼 보이게 할 정도로 발전했을 때의 '해석 가능성' 문제에 대해서는, AI 시스템이 다른 AI 시스템의 작동 방식을 이해하고 모니터링하며 좋은 방향으로 유도하는 '확장 가능한 감독(Scalable Supervision)' 연구 방향을 언급합니다. 즉, 인간보다 똑똑한 AI를 활용하여 미래의 더 발전된 AI를 통제하려는 시도입니다.

AI의 경제적 파급력은 운하, 전기, 아이폰 등 과거 기술보다 훨씬 빠를 수 있으며, 이에 대비하기 위한 사회적 논의가 중요하다고 강조합니다. 가장 근본적인 질문은 "인간보다 똑똑한 AI를 갖는 것이 정말 안전한가?"이며, 초지능 AI라는 '외계인'을 지구에 불러들일지 말지 사회적으로 결정해야 할 문제라고 말합니다.

Anthropic은 이러한 위험성을 인지하고 '책임감 있는 확장 정책(Responsible Scaling Policy)'을 통해 안전 조치를 마련하면서 AI 개발 속도를 조절하고 있으며, AI 안전성 및 통제에 관한 연구(정렬 문제, 해석 가능성 등)를 중요하게 생각하고 있다고 설명합니다.

 

인터뷰 원문

[0:00] 아짐 아자르: 작년에 당신은 2030년까지 인간 수준의 인공지능(AI)이 등장할 가능성을 제시했습니다.

[0:06] 제러드 카플란: 만약 있다면, 저는 아마 2030년보다 더 빠를 것으로 예상합니다. 아마도 다음 2~3년 안에요.

[0:12] 아짐 아자르: 딥시크(DeepSeek)가 미국의 최첨단 모델(frontier models)의 능력을 넘어서기 위해 무엇이 필요할까요?

[0:19] 제러드 카플란: 아직 딸 수 있는 낮은 곳의 과일(low hanging fruit)이 너무 많아서, 누가 어떤 발전을 먼저 찾을지는 예측하기 어렵습니다. 그러니 그들이 알고리즘적으로 매우 경쟁력이 없을 이유가 없습니다.

[0:28] 아짐 아자르: 만약 기계가 우리를 은색 등 고릴라(silverback gorillas)가 아니라 햄스터처럼 보이게 만드는 공간에서 작동한다면, 해석 가능(interpretable)하다는 것은 무엇을 의미합니까?

[0:36] 제러드 카플란: 우리가 나아가고 있는 방향 중 하나는, 다른 버전의 클로드(Claude)가 무엇을 하고 있는지에 대해 생각하는 AI 시스템을 갖추는 것입니다. 이를 통해 (클로드를) 모니터링하고 좋은 방향으로 이끌 수 있습니다. 그래서 AI가 사람만큼 똑똑하거나 그 이상인 시점이 되면, 당신은 그러한 인간보다 똑똑한 AI들을 활용할 수 있게 됩니다.

[0:54] 아짐 아자르: 이 모델들이 경제 생산성과 노동 시장에 미치는 영향이 운하나 전기, 아이폰보다 훨씬 빠를 수 있다는 말씀이시군요. 우리 사회가 이런 빠른 배포 시나리오에 대비하는 데 가장 도움이 될 만한 논의는 무엇이어야 할까요?

[1:13] 제러드 카플란: 당신보다 똑똑한 AI를 갖는 것이 정말 안전할까요? 저는 이것이 정말 중요한 질문이라고 생각합니다. 우리가 이런 초지능 AI 외계인들이 지구를 침략하도록 둬야 할까요, 아니면 그러지 않기로 결정해야 할까요?

(영상 후반부 - 동일 인물, 추가 설명)

[1:27] 아짐 아자르 (아짐 아자르): 앤스로픽(Anthropic)의 공동 창업자이자 최고 과학 책임자이신 제러드 카플란(Jared Kaplan) 씨를 모시게 되어 기쁩니다. 제러드, 와주셔서 감사합니다.

[1:34] 제러드 카플란 (제러드 카플란): 초대해 주셔서 감사합니다. 만나서 반갑습니다.

[1:37] 아짐 아자르: 작년에 당신은 2030년까지 인간 수준의 인공지능(AI)이 등장할 가능성을 제시했습니다. 그 이후로 일어난 모든 일을 고려할 때, 현재 당신의 평가는 어떻습니까?

[1:50] 제러드 카플란: 글쎄요, 만약 있다면 (그리고 어쩌면 제가 너무 저희 회사 편을 드는 걸 수도 있지만), 저는 아마 2030년보다 더 빠를 것으로 예상합니다. 아마도 다음 2~3년 안에요. 하지만 '인간 수준 AI'가 정확히 무엇인지... 글쎄요, 그건 객관적인 측정 기준이 있어서 선을 넘었는지 아닌지를 알 수 있는 그런 게 아니죠. AI는 여러 다른 방식으로 계속해서 발전할 것이라고 생각합니다.

[2:13] 아짐 아자르: 방금 아주 중요한 질문을 제기하셨는데요, 그게 대체 뭐냐는 거죠. 우주비행사 두 명을 달에 착륙시키고 안전하게 귀환시키는 것과는 다르죠. 그건 매우 명확하고 잘 이해된 목표였습니다. '인간 수준 AI'라고 말하는 테스트를 갖는 목적은 무엇일까요?

[2:28] 제러드 카플란: 네. 음, 저희는 사실 어떤 하나의 테스트를 가지고 있지는 않습니다. 앤스로픽에는 아마 수십, 수백 개의 다른 테스트와 평가들이 있고, 클로드에 대해 계속 실행하고 있습니다. 시간이 지남에 따라 솔직히 말해서, 클로드와 함께 일하고 협업하며 생산성 이점을 얻는 경험 자체가, 어떤 주어진 테스트보다 클로드가 얼마나 유용한지를 보여주는 더 나은 척도라고 생각합니다.

AI의 능력을 생각하는 방식은 일종의 두 가지 축으로 볼 수 있습니다. 하나는 AI가 실제로 활동할 수 있는 환경(environments)입니다. 알파고(AlphaGo)를 생각해 보면, 그건 초인적인 바둑 프로그램이었죠. 어떤 인간보다도 뛰어났고, 어떤 사람보다도 똑똑했지만, 바둑판이라는 아주 제한된 격자 안에서만 활동하도록 제약되었습니다. 아주 특정한 게임이었죠. 우리가 대규모 언어 모델(LLM), 대규모 멀티모달 모델(LMM)을 개발하면서 AI가 상호작용할 수 있는 다양한 환경이 늘어났습니다. 클로드 같은 챗봇과 대화할 수 있게 되면서 크게 성장했죠. AI가 이미지를 이해할 수 있게 되면서 더 성장했습니다. AI가 컴퓨터를 사용할 수 있게 되면 더 성장할 것이고, 궁극적으로 우리가 상상하는 SF적인 것은 AI가 로봇에 탑재되어 세상 밖으로 나가는 것이겠죠. 그것이 제가 생각하는 한 가지 방향입니다.

다른 하나는 AI가 할 수 있는 일의 복잡성(complexity) 또는 소요 시간(duration)입니다. 예를 들어, 저에게 1분, 10분, 1시간, 하루가 걸릴 만한 일을 AI가 할 수 있을까요? 우리는 이 방향으로 계속 나아가고 있다고 생각합니다. 바로 이 지점에서 AI는 실제로 세상에 행동을 취하고, 우리가 하듯이 스스로 배워야 유용해질 수 있습니다.

[4:15] 아짐 아자르: 정말 도움이 되는 설명입니다. 제가 다시 한번 정리해 보자면, 하나는 AI가 작동할 수 있는 영역의 범위와 폭이고 (텍스트에서 멀티모달 이미지, 그리고 물리적 세계로 나아가는), 다른 하나는 정말 흥미로운데, 기계가 처리할 수 있는 인간 시간 단위(unit of human time)의 개념입니다. 초기의 LLM, 버트(BERT) 같은 모델은 1초짜리 작업을 했죠. 문장을 보고 명사를 찾는 것 같은. GPT-3 초기 버전은 10초 정도 걸리는 작업을 했습니다. 문단을 보고 문장을 추출하는 것 같은. 그리고 소네트 3.7(Sonnet 3.7) 같은 모델에게는 제가 몇 시간이 걸릴 만한 작업을 줄 수 있습니다. 예를 들어, 2만 단어 분량의 텍스트를 주고 8~9개의 핵심 주장을 추출하고, 그것들이 서로 일치하는지, 불일치하는지 식별하라고 하는 거죠. 이건 대학원생이 반나절은 걸릴 작업입니다. 이 작업 시간(duration of task)의 급격한 진전을 보는 것은 매우 흥미롭습니다. 당신은 이 부분을 추적하고 예측하시나요? 소네트 3.7은 얼마나 오래 작동할 수 있나요?

[5:43] 제러드 카플란: 아주 좋은 질문입니다. 네, 이건 제가 추적하는 부분이고, 확실히 제가 매우 적극적으로 생각하는 부분입니다. 그리고 저희 연구의 많은 부분이 여기에 맞춰져 있습니다. 저희는 이걸 클로드가 작동할 수 있는 '지평선(horizon)'이라고 부릅니다. 적어도 개발자라면, 클로드 코드(Claude Code) 같은 것에서 가장 잘 느낄 수 있을 텐데요, 클로드에게 코드 저장소를 검색하고, 다양한 기능에 걸쳐 변경하고, 코드를 반복하고 테스트하도록 요청할 수 있습니다. 이런 종류의 능력들은 가장 복잡한 것들처럼 느껴집니다. 당신이 말했듯이, 우리가 하는 많은 일은 머릿속에서 일어나고 그건 저에게도 마찬가지입니다. 하지만 우리가 세상을 실제로 파악하는 방식은 무언가를 시도해보고, 무엇이 효과가 있고 없는지를 보는 것이라고 생각합니다. 바로 이 점이 이 지평선을 확장하는 데 정말 도움이 된다고 생각합니다. 이건 제가 추적하는 것이고, 몇 년 전에 AI 애호가들이 "어쩌면 AI는 점점 더 오래 걸리는 작업은 못 할 수도 있다"고 말했던 것을 기억합니다. 하지만 우리는 이 지평선이 확장되는 것을 보고 있고, 따라서 AI의 유용성도 증가하고 있습니다.

[6:50] 아짐 아자르: 왜 지평선이 확장되는 걸까요? GPU 메모리가 더 많아져서인가요? 아니면 당신이 조정한 어떤 마법 같은 것 때문인가요?

[6:57] 제러드 카플란: 좋은 질문입니다. 몇 가지 요인이 있다고 생각합니다. 하나는 모델의 지능(intelligence) 자체가 일반적인 의미에서 향상되고 있다는 것입니다. 그래서 모델이 더 많은 이슈에 주의를 기울이고 더 많은 것을 추적할 수 있게 됩니다. 다른 하나는 컨텍스트 길이(context length)입니다. 모델의 컨텍스트 길이가 계속 늘어나고 있습니다. 그리고 우리는 이것을 우리가 출시한 것보다 훨씬 더 확장할 수 있다는 것을 발견했습니다. 그래서 AI가 문단, 챕터, 책, 그리고 훨씬 더 긴 내용을 이해하는 것이 가능해져야 합니다. 그것이 도움이 됩니다. 그리고 마지막으로, 우리는 강화 학습(reinforcement learning)을 사용하여 AI가 더 복잡한 작업을 유용하게 수행하도록 훈련하고 있습니다. 그래서 당신이 제시한 예시처럼 더 복잡한 코딩 작업이나 더 긴 문서를 연구하고 더 많은 정보를 추출하는 작업을 하도록 AI를 훈련하고 있습니다. 우리는 항상 클로드가 할 수 있는 것의 한계를 밀어붙이는 작업을 찾고 있고, 거기서 더 잘하도록 훈련하고 있습니다. 마치 우리 자신의 교육 과정에서 나이가 들고 초등학교, 고등학교, 대학교로 진학하면서 점점 더 어려운 문제를 풀려고 노력하는 것처럼요. 그래서 저는 이 모든 것들이 함께 이 지평선을 밀어붙이고 있다고 생각합니다.

[8:11] 아짐 아자르: 하지만 아시다시피, 우리가 LLM에 대해 생각할 때 많은 강조점은 첫 번째 L, 즉 '대규모(Large)'에 맞춰져 있습니다. 그리고 우리는 스케일링 법칙(scaling laws)의 시대에 살았습니다. 어느 정도 예측 가능성이 있었죠. 모델 크기를 10배 늘리면 (데이터 10배, 컴퓨팅 10배, 결국 복잡성 10배를 의미), 모델 성능이 얼마나 향상될지 예측 가능한 선형적인 개선이 있었습니다. 그리고 그 주장은 그런 종류의 스케일링이 점점 더 어려워지고 있다는 것이었습니다. 데이터가 부족해지거나, 비용이 너무 비싸거나, 아니면 그냥 정말 복잡해지기 때문이죠. 당신은 그 최전선에 있었습니다. 사전 훈련 스케일링(pre-training scaling)을 볼 때, 어떤 부분이 결과 개선 속도에 제동을 걸기 시작했나요?

[9:02] 제러드 카플란: 잠시 뒤로 물러서서 보면, 저는 스케일링 법칙이 매우 정밀하다는 점이 있다고 생각합니다. 그게 바로 놀라웠던 점이죠. AI와 AI 훈련을 연구하는 것에서 나온 매우 정밀한 경험적 발견입니다. 당신이 아름답게 표현했듯이, 신경망의 크기(파라미터 수)를 늘리고, 데이터 양을 늘리고, 훈련에 사용하는 컴퓨팅 양을 늘리면, AI가 데이터를 얼마나 잘 모델링하는지(소위 '손실(loss)'이 얼마나 낮아지는지)에 대해 놀라울 정도로 예측 가능한 곡선을 얻게 됩니다. 이것이 의미하는 바는 LLM이 문장, 문단, 문서 등에서 다음 단어를 얼마나 잘 예측하는지입니다. 그리고 이것은 매우 정밀하게 개선됩니다. 우리는 그것에 대한 한계를 아직 보지 못했습니다. 모델 크기, 컴퓨팅, 데이터를 늘리면 여전히 개선을 얻을 수 있습니다. 제가 생각하기에 사람들이 가장 많이 이야기하는 제한 요소는 데이터입니다. 결국 데이터가 부족해질 것입니다. 아직 그 지점에 도달했는지는 모르겠습니다. 지켜봐야겠죠. 하지만 앞으로 몇 년 안에 결국 그 지점에 도달할 것이라고 생각합니다. 물론 비용도 중요하지만, 비용을 낮추는 데 도움이 되는 모든 다른 요소들이 있습니다. 모델 훈련을 훨씬 효율적으로 만드는 알고리즘적 개선을 찾고 있다고 생각합니다. 그리고 하드웨어도 매우 빠르게 개선되고 있어서 비용이 그런 이유로도 낮아지고 있습니다. 그래서 저는 스케일링은 계속될 것이라고 생각합니다.

이제 별개의 질문이 있습니다. AI가 데이터를 더 잘 모델링한다는 매우 멋진 경험적 진술이 있지만, 그렇다고 해서 그것이 당신에게 더 유용하다거나, 클로드로서 더 유용하다는 것을 반드시 의미하지는 않습니다. 일반적으로는 그런 함의가 있지만, 훨씬 덜 정밀합니다. 그래서 당신이 말한 대로 우리가 얻는 이득, 즉 AI가 당신을 위해 할 수 있는 일의 이득은, 순수한 스케일링보다는 훈련 후(after pre-training), 즉 유용한 작업을 하도록 훈련하는 것에서 더 많이 나올 수도 있습니다.

[11:13] 아짐 아자르: 네. 네. 아, 알겠습니다. 사전 훈련 이후(after pre-training)에 대해 이야기하고 싶습니다. 잠시 후에 요. 하지만 이게...

[11:19] 아짐 아자르: 하지만 많은 사람들에게 이 '테스트 시간 스케일링(test time scaling)' 또는 '추론 시간 스케일링(inference time scaling)'이라는 문구가 사용되기 시작했습니다. 그게 무엇이고, 얼마나 중요한가요?

[11:44] 제러드 카플란: 그건 중요하다고 생각합니다. 여기서의 주장은 AI 모델이 더 오래 생각하도록(let an AI model think for longer), 즉 추론 시에 더 많은 컴퓨팅을 사용하도록 허용하면, 어려운 작업에서의 정확도에서 예측 가능한 개선을 얻을 수 있다는 것입니다. 순수한 사고(pure thought)만으로 성능이 향상됩니다. 고전적인 예는 어려운 수학 경진대회 문제나 경쟁 코딩 문제를 푸는 것입니다. 말 그대로 클로드 3.7 소네트(Claude 3.7 Sonnet) 같은 모델에게 1,000단어, 2,000단어, 4,000단어, 8,000단어, 16,000단어를 생각하게 하면(즉, 더 많은 컴퓨팅을 사용하게 하면), 각 두 배마다 예측 가능한 성능 향상을 얻을 수 있다는 것을 알 수 있습니다. 그리고 병렬적으로 생성된 여러 해결책 중 어떤 것이 가장 좋은지 선택하도록 요청할 수도 있습니다. 다시 말하지만, 생성된 것들 중 병렬적으로 가장 좋은 것을 선택하도록 요청할 수 있습니다. 그리고 다시, 상당히 깔끔한 스케일링을 볼 수 있으며, 이런 방식으로 더 나은 성능을 얻을 수 있습니다. 그래서 매우 어려운 작업의 경우, 이것은 충분한 테스트 시간 컴퓨팅을 투입하면 해결할 수 있다는 것을 의미합니다. 미래에 우리가 상상하는 것들, 예를 들어 질병 치료를 돕거나 이론 물리학에서 새로운 돌파구를 만드는 것 같은 것들이죠.

[18:44] 아짐 아자르: 그래서 추가적인 생각, 즉 생각하는 데 시간을 더 많이 들이는 것이 예측 가능한 개선을 가져온다는군요. 최근에 공개된 클로드 3.7 소네트의 새 버전에서 이 '생각하는 시간(thinking time)' 기능이 있다는 것을 알았습니다. 그냥 제가 체크하는 작은 기능인데요. 제 쿼리를 보고 어떤 판단을 내려서, 그 쿼리에 얼마나 많은 생각을 투입해야 충분히 개선된 응답을 줄지 결정하는 방법이 있나요? 제가 영원히 기다리게 하는 대신에요.

[19:16] 제러드 카플란: 네, 물론입니다. 그래서 클로드 3.7 소네트는 실제로 이전 세대처럼 작동할 수 있는 첫 번째 하이브리드 추론 모델입니다. 전혀 생각하지 않고 작동하거나, 생각하도록 요청할 수도 있습니다. 그리고 클로드는 훈련을 통해 주어진 작업의 난이도에 따라 얼마나 많은 생각을 해야 할지 결정하려고 합니다. 때로는 조금 더 생각했으면 하고, 때로는 조금 덜 생각했으면 할 수도 있지만, 기본적으로는 주어진 작업의 난이도에 따라 가장 좋다고 예상되는 만큼 생각합니다. 그리고 이것은 우리가 작업하고 있는 것이고, 시간이 지남에 따라 더 나아질 것이라고 생각합니다. 즉, 원하는 만큼 생각하게 할 수 있으면서도, 가장 합리적인 시간 내에 응답을 얻을 수 있게 될 것입니다. 그리고 제 생각에 이것은 마치, 제가 모르는 일이지만, 당신이 새로운 직장에 들어가서 상사가 어려운 일을 주면, 정말로 많은 시간을 들여 생각하고 싶을 것입니다. 왜냐하면 정말로 정답을 맞히고 싶고, 해고당하고 싶지 않으니까요. 하지만 다른 한편으로는, 어떤 상황에서는, 당신이 새로운 직장에 익숙해지면, 그냥 빠른 답을 내놓을 수도 있습니다. "우리는 좋은 관계니까 괜찮아"라고 생각하면서요. 그래서 저는 클로드도 비슷한 상황에 있다고 생각합니다. 즉, 클로드는 제가 가진 모든 공간을 사용해야 할지 말아야 할지를 판단하는 데 자신의 판단력을 사용합니다.

[21:47] 아짐 아자르: 네, Claude.ai 사용자로서, 설정할 수 있는 파라미터가 더 적다는 것은 사실입니다. 단순하게 유지하기 위해서죠. 하지만 이 모든 것은 당신이 요청한 내용에 따라 얼마나 생각할지를 결정하는 단일 모델입니다.

[21:58] 아짐 아자르: 많은 사람들에게 이 '생각하는 시간' 경험은 올해 취임식 날, 1월 20일에 딥시크(DeepSeek) R1 때문에 그들의 이해 속으로 폭발적으로 들어왔습니다. 앤스로픽에서 그건 얼마나 큰 일이었나요?

[22:13] 제러드 카플란: 저는 딥시크의 진전을 적어도 1년 또는 1년 반 동안 지켜봐 왔습니다. 그들은 논문을 쓰고 모델을 개선해 왔기 때문이죠. 그래서 저나 앤스로픽에게는 사실 그다지 놀라운 일이 아니었습니다. 하지만 와우, 중국이 이 훌륭한 모델을 가지고 있다는 전 세계적인 반응을 보는 것은 흥미로웠습니다. 그리고 제가 이야기했던 미국 사람들 중에는 역사적으로 중국이 몇 년 뒤처져 있다고 생각했던 사람들이 있었습니다. 딥시크의 진전과 그들이 쓴 논문을 보면서 저는 "글쎄, 그들은 아마 6개월 정도 뒤처져 있을지 모르지만, 그렇게 많이 뒤처진 것은 아니다"라고 생각했습니다.

[22:47] 아짐 아자르: 네. 네. 2024년 10월에 공개된 V3 모델에서도 GPT-4 수준의 능력을 30~50배 저렴하게 달성하는 것이 분명했습니다. 그리고 더 이전 논문은 2023년 11월에 V2 모델로 나왔는데, 이미 상당히 좋은 결과를 보였습니다. 외부에서 보면, 저는 부분적으로는 가장 높은 ELO 등급 모델(즉, 채팅에서 얼마나 좋은지에 대한 체스 등급 같은 것)과 최고의 중국 모델 사이의 격차를 보여주는 그 차트를 보고 있기 때문이라고 생각합니다. 아시다시피, 최전선은 여러 미국 회사들이고 최고의 중국 모델은 상당히 뒤처져 있습니다. 그리고 몇 달 동안 그 격차(delta)는 점점 줄어들었습니다. 그래서 당신은 그걸 보면서 "글쎄, 이게 그냥 중국 회사들이 최고의 미국 모델들보다 약간 뒤처지는 격차일 뿐일까? 아니면 그 중국 회사들 안에 이 최전선 미국 모델들을 뛰어넘게 할 실제적인 모멘텀(momentum)이 있는 걸까?"라고 생각하게 됩니다. 딥시크가 최전선 미국 모델들의 능력을 넘어서기 위해 어떤 종류의 연구 돌파구가 필요할까요?

[24:05] 제러드 카플란: 네. 음, 연구 돌파구는 매우 빠르게 일어나고 있습니다. 어쩌면 어떤 의미에서는 돌파구조차 아닐 수도 있습니다. 제가 항상 하는 말 중 하나는, 과학에서 정말 빠른 진전을 볼 때, 그것은 과학자들이 갑자기 훨씬 똑똑해졌기 때문이 아니라는 것입니다. 그들은 초인이 아니죠. 그것은 사람들이 많은 쉽게 얻을 수 있는 성과(low hanging fruit), 즉 개선에 사용될 수 있는 많은 반복 작업이 있는 영역을 찾았기 때문입니다. 그리고 저는 이것이 AI에서 일어나고 있는 일이라고 생각합니다. 지난 5년, 확실히 10~15년 동안요. 그리고 저는 수집할 수 있는 쉽게 얻을 수 있는 성과가 너무 많아서, 누가 어떤 발전을 먼저 찾을지는 예측하기 어렵습니다. 제 예상은 (물론 확실하지는 않지만) 앞으로는 이미 시행 중인 수출 통제가 있어서 서구 회사들이 가용 컴퓨팅 양 측면에서 우위를 점할 가능성이 있다는 것입니다. 그리고 저는 이것이 딥시크나 다른 회사들이 경쟁하기 더 어렵게 만들 것이라고 생각합니다. 하지만 기본적인 알고리즘 측면에서는, 모든 선도적인 AI 회사들이 잘 작동하고 잘 확장되는 매우 간단한 것들을 하는 방법을 찾고 있다고 생각합니다. 그리고 딥시크도 그들의 논문에 따르면 이러한 아이디어와 기술들을 많이 발견했으므로, 그들이 알고리즘적으로 매우 경쟁력이 없을 이유가 없습니다.

[25:30] 아짐 아자르: 하지만 톤(tone)의 변화가 있었던 것 같습니다. AI와 AI 개발 논의에서요. 그리고 당신의 공동 창업자인 다리오 아마데이(Dario Amodei)가 칩에 대한 어떤 종류의 수출 통제나 라이선스 제도의 중요성에 대해 점점 더 많이 이야기해 왔다는 것을 압니다. 중국에 칩을 보내는 것에 관해서요. 그리고 저는 심지어 앤스로픽의 접근 방식이 얼마나 빨리 개발이 진행되어야 하는지에 대해 약간 변화했다는 미묘한 느낌을 받았습니다. 앤스로픽은 종종 안전 우선(safety first) 접근 방식을 강력하게 주장해 왔는데, 약간 방향을 틀어서 "우리가 가진 것보다 더 빨리 가야 한다"고 말한 것 같습니다. 제가 잘못 읽었나요?

[26:19] 제러드 카플란: 앤스로픽이 개발 속도와 안전과의 상호 작용에 대해 생각하는 방식은 주로 책임감 있는 스케일링 정책(Responsible Scaling Policy, RSP)을 통해서입니다. 그래서 초기, 우리가 앤스로픽을 설립했을 때 우리 사이에는 일반적인 공감대가 있었습니다 (물론 이것은 AI가 더 넓은 세상에서 그다지 큰 문제가 아니었을 때 이야기입니다). 우리의 생각은 AI가 매우 빠르게 발전할 것이고, 그것은 주로 세상에 매우 유익할 것이지만, 그와 관련된 많은 위험도 있다는 것이었습니다. 그리고 우리는 이 강력한 기술이 조금 더 천천히 개발되는 것이 실제로 일을 올바르게 하는 데 더 좋을 수 있다는 어떤 감각을 가지고 있었습니다.

이제, 우리가 알아낸 방식 (그리고 이것은 그 자체로 일종의 돌파구였다고 생각합니다)은, 즉 우리는 이 RSP를 다른 연구소들과 협력하여 AI 개발이 유익하고 해를 끼치지 않도록 보장하는 방법으로 만들었다는 것입니다. 아이디어는 AI로부터 어떤 실제적인 위험이 존재하는지 신중하게 생각하고, 우리가 정말로 심각하게 받아들여야 할 위험들을 식별하는 것이었습니다. 그리고 우리는 그러한 위험을 실제로 초래할 수 있는 우리 시스템의 능력을 측정하고, 특정 임계값을 넘으면, 그러한 문제를 피하기 위한 완화 조치(mitigations)를 마련하기로 약속하는 것입니다.

어떤 의미에서는, 이것은 우리가 이러한 측면에서 생각하고 있었을 때, 우리가 더 자유롭게 빠르게 움직일 수 있다는 것을 의미했습니다. 왜냐하면 아이디어는 "우리가 준비될 때까지 특정 선을 넘지 않도록 구속되는 이 프레임워크를 가지고 있다"는 것이었기 때문입니다. 그리고 우리는 이 보호 장치들을 마련했습니다. 우리는 '헌법적 분류기(constitutional classifiers)'라고 부르는 연구 결과 발표와 함께, 사람들이 이 새로운 시스템을 탈옥(jailbreak)시키도록 요청하는 탈옥 데모를 함께 발표했습니다. 그리고 우리는 이 방법을 테스트하기 위해 인터넷상의 누구에게나 요청했습니다. 그리고 기본적으로 우리가 생각하는 것은, 우리는 AI 능력 향상과 안전 연구 및 위험 완화 조치 모두에서 가능한 한 빨리 움직이고 싶다는 것입니다. 그리고 우리는 이 시스템들을 마련했습니다. 그래서 우리는 RSP가 일종의 책임감 있게 확장(scale responsibly)하는 데 도움이 되기를 바랍니다.

[29:10] 아짐 아자르: 네. 저는... 저는... 저는 이것이 당신과 당신 동료들이 머릿속에 담아두어야 하는 역설적인 아이디어들의 핵심에 도달한다고 생각합니다. 한편으로는 당신이 스스로 명확히 밝힌 위험들과 당신이 하고 있는 작업, 그리고 그것이 움직이는 속도, 18개월 미만의 세대 교체 시간... 당신 자신을 위해 구축한 어떤 내부적인 인지 메커니즘이 있나요?

[30:37] 제러드 카플란: 네. 음, 그러니까, 저는 당신을 위해 이 순간에 부응하기 위해 우리가 하고 있는 모든 다른 종류의 연구에 대해 이야기할 수 있습니다. 광범위하게 말하면, 당신은 딥시크를 언급했고, 중국에는 최전선에 있거나 거의 최전선에 있는 AI 연구소들이 많이 있습니다. 미국, 그리고 흩어져 있는 다른 곳에도 많은 다른 AI 연구자들과 연구소들이 있습니다. 모두가 이 기술을 발전시키고 있습니다. 그리고 분명히, 당신은 위험의 가능성을 언급했고, 이 기술이 위험하다고 말하는 비평가들이 있습니다. 다른 한편으로는, "그건 정말 어리석은 소리다, 전혀 불필요하다, 가장 중요한 것은 이 기술의 혜택을 전달하는 것이다"라고 말하는 사람들도 많습니다. 왜냐하면 제가 말했던 다른 것들, 다리오가 말했던 것들, "어쩌면 이 기술이 우리가 암을 치료하는 데 10배 더 빨리 도움이 될 수도 있다"는 것 때문입니다. 그래서 사람들은 "우리가 어떻게 감히 속도를 늦출 수 있겠는가, 인류 복지에 대한 광범위한 개선을 제공할 수 있는데"라고 말합니다.

그래서 많은 경쟁자들이 있고, 빠르게 움직이는 광범위한 자본주의 생태계가 있습니다. 이 기술에는 많은 이점이 있지만, 만약 그것이 데이터 센터에 있는 수백만 명의 천재들만큼 정말로 강력하다면, 위험도 있습니다. 그래서 균형을 맞추기가 어려운 일입니다. 저는 AI가 더 유능해짐에 따라 위험(stakes)이 커지고, 그러한 시스템을 개발하거나 배포하기 전에 갖고 싶은 확신 수준(confidence level)도 높아진다고 생각합니다. 우리가 이것에 대해 생각하는 방식은 많은 다른 연구 방향을 통해서입니다.

해석 가능성(Interpretability)은 우리가 많이 이야기하는 것 중 하나입니다. 그리고 이것은 심지어 저조차도 3~4년 전에는 확신하지 못했던 것입니다. 우리가 어떤 이득을 얻을 수 있을지 확신하지 못했습니다. 하지만 저는 이제 그 단서를 보기 시작했다고 생각합니다. 그 이득은 기본적으로, 만약 당신이 매우 발전된 AI를 가지고 있고 그것을 신뢰할 수 있는지 확신하지 못한다면, 그것의 마음을 읽을 수 있다면 확실히 유용할 것입니다. 그리고 당신이 그것의 마음을 읽을 뿐만 아니라, 그것이 어떻게 생각을 모아 세상에서 행동을 취하는지 이해할 수 있다면 확실히 유용할 것입니다. 그래서 해석 가능성은, 첫째로, AI가 당신이 원하는 것을 정말로 하고 있는지 확인하는 매우 강력한 방법이 될 수 있다고 생각합니다.

또한 동시에 하고 있는 몇 가지 다른 일들이 있습니다. 하나는 AI를 사용하여 AI를 감독하고 모니터링하는 더 나은 방법을 찾는 것입니다. 저는 이 두 가지 모두 중요하다고 생각합니다. 그래서 앤스로픽이 몇 년 전에 개발한 헌법적 AI(Constitutional AI)는 이것의 아주 초기 예시였습니다. 우리는 AI 시스템을 사용하여 다른 AI 시스템들이 헌법을 준수하는지 확인하고, 우리가 헌법이라고 부르는 원칙 목록과 일치하는 행동으로 안내했습니다. 그래서 우리가 지금 개발하려고 하는 것, 즉 우리가 나아가고 있는 방향 중 하나는, 일종의 강화된(souped up) 헌법적 AI입니다. 즉, 당신이 언급한 추론을 사용하여, 다른 클로드 버전이 무엇을 하고 있는지에 대해 생각하는 AI 시스템을 갖추는 것입니다. 이를 통해 그것을 모니터링하고 좋은 방향으로 이끌 수 있습니다. 그래서 목표는, AI, 즉 당신의 AI 감독 및 모니터링 능력이 AI의 지능과 함께 향상되도록 하는 것입니다. 그래서 AI가 사람만큼 똑똑하거나 그 이상인 시점이 되면, 당신은 그러한 인간보다 똑똑한 AI들을 정렬(alignment)을 위해 활용할 수 있게 됩니다.

[36:31] 아짐 아자르: 네. 그래서 역사적인 유사점을 들자면, 그건 약간 계몽주의적인 아이디어와 같습니다. 그렇죠? 즉, 이전에 있었던 것 위에 층을 쌓아 올리는 계몽주의적인 아이디어입니다. 그리고 저는... 아시다시피, 제가 이 LLM들을 사용할 때, 그것들이 이미 그 아이디어를 내포하고 있다는 느낌을 받습니다. 지구가 평평하다고 믿는 LLM을 상상하기는 정말 어렵습니다. 왜냐하면 지구가 평평하다고 믿기 위해서는 너무 많은 내부 관계들이 깨져야 하기 때문에 다른 방식으로는 도움이 되지 않을 것이기 때문입니다. 그래서 어떤 의미에서는, 이것이 마치 목적론적인(teleological) 주장처럼 느껴집니다. 즉, 각 후속 세대가 대략적으로 정렬되어 있다면, 당신이 하나 위에 다른 하나를 쌓아 올리는 진보의 화살이 있다는 것입니다. 그리고 모델들이 그 경로에서 벗어나면 덜 유용해지고, 따라서 경제적 인센티브로부터 혜택을 받지 못하는 어떤 선택 압력(selection pressure)이 작용하는 것일까요? 아니면 제가 역사와 너무 강한 유사점을 그리고 있는 걸까요?

[37:40] 제러드 카플란: 음, 저는... 저는... 좋은 비유라고 생각합니다. 두 가지 점을 말씀드리겠습니다. 하나는 우리가 매우 운이 좋았다는 것입니다. 그리고 안전에 대해 우려하는 사람들과 이야기했던 것을 기억합니다. 2017년, 2018년경에요. AI가 알파고처럼 보일 것이라는 비전이 있었습니다. 즉, 완전히 백지 상태에서 시작해서 특정 작업을 수행하도록 최적화하기 위해 훈련하는 것이죠. 우리는 LLM을 개발하면서 운이 좋았거나 어쩌면 좋은 선택을 했다고 생각합니다. 왜냐하면 근본적으로 LLM이 가장 먼저 배우는 것은 인간의 글쓰기, 인간의 아이디어, 인간이 세상을 개념화하기 위해 단어를 사용하는 방식이기 때문입니다. 그리고 분명히 여기에는 우리의 편견이 많이 인코딩되어 있습니다. 여기에는 윤리, 도덕, 상식, 인류 역사, 잘된 일, 잘못된 일에 대한 우리의 직관이 많이 담겨 있습니다. 또한 이것은 모델들이 적어도 우리와 소통할 수 있다는 것을 의미합니다. 모델들이 완전히 백지 상태에서 시작해서 어떤 완전히 외계적인 방식으로 세상을 이해했다면 해석하기가 훨씬 더 어려웠을 것입니다. 그래서 저는 이것이 우리에게 매우 강력한 기반을 제공한다고 생각합니다. 그리고 이것은 또한 정렬 작업(alignment task)을 좀 더 쉽게 만든다고 생각합니다.

[39:43] 아짐 아자르: 네. 하지만... 하지만 당신은 이 안에, 헌법적 AI라는 아이디어 안에, 당신이 캐릭터 훈련이라고 부르는 것을 가지고 있습니다. 이것들은 모두 당신이 모델이 어떻게 행동할 것인지, 그리고 그것의 좋은(goodness) 감각이 무엇인지에 대해 내리는 결정들입니다. 그렇죠? 좋다는 것은 우리에게 정직하고, 도움이 되고, 해롭지 않은 방식으로 일을 제공하는 것을 의미합니다. 하지만 이것들은 잠재적으로 기반 시설(infrastructural)이 될 수 있는 기술에 대한 선택입니다. 아시다시피, 많은 사람들이 이제 19세기 인프라가 운하와 철도, 그리고 하수도 시스템이었다면, 21세기 인프라는 AI 계층이 될 것이라고 믿습니다. 그리고 인프라의 본질은 그 자체로 사회적 산물(social product)이라는 것입니다. 하지만 우리가 현재 이러한 모델의 성공을 안내하는 방식은 실제로 시장에서의 상호작용을 통해서입니다. 그리고 그것은 많은 다른 편향(skew)을 가진 시장에서의 상호작용을 통해서입니다. 그래서 만약 당신이 그록(Grok)과 같은 편향된 모델을 만들고 있다면, 당신은 클로드와 공정한 기반에서 경쟁하는 것이 아닙니다. 왜냐하면 당신은 X(트위터)에서 매달 2억 명의 사람들을 가지고 있기 때문입니다. 그 모델에 쏟아부을 수 있죠. 아니면 당신이 오픈AI에 있다면, 당신은 어떤 선도적인 모멘텀을 개발했습니다. 그래서 이 모델들은 반드시 공익과 일치하는 방식으로 경쟁하지 않을 것입니다. 그게 문제인가요?

[41:09] 제러드 카플란: 그건 확실히, 제 생각에 어떤 발전된 기술에 대해서든 문제입니다. 제 생각에 이것은 자본주의에 근본적인 사회적 문제입니다. 즉, 어떤 새로운 기술이든 특정 자본주의적 인센티브가 있다는 것입니다. 종종 그것들이 완전히 반(反)정렬(anti-aligned)되지는 않는다는 의미에서요. 제 말은, 사람들은 제품을 사고, 그들의 의견이 있는 곳에 돈을 씁니다. 하지만 저는 확실히 외부 효과(externalities)가 있고, 새로운 기술로 인해 문제가 발생할 수 있으며, 자본주의는 인간 복지가 향상되고 널리 이용 가능하도록 보장하는 측면에서 완벽과는 거리가 멀다는 것을 인정합니다. 하지만 저는 어떤 의미에서는 많은 문제들이 우리가 이미 세상에서 가지고 있는 문제들과 유사하다고 생각합니다. 다만 잠재적으로, 만약 기술이 매우 빠르게 움직인다면, 우리가 다른 기술들보다 더 빨리 그 문제들에 직면해야 할 수도 있다는 점이 다를 뿐입니다. 저는 그것들에 대해 생각하는 것이 흥미롭다고 생각합니다. AI의 경제적 영향이 정말로 무엇일지에 대한 많은 흥미로운 논쟁이 있다고 생각합니다.

저는 많은 다른 기술들과는 다르다고 생각합니다. 제가 매우 흥미롭고 무슨 일이 일어날지 모르는 한 가지는, AI가 어디에서 가장 유용하고 생산성을 높이는가 하는 점입니다. 그것은 정말로 더 교육받은, 소위 화이트칼라 직업들인데, 이것들이 영향을 받을 수 있습니다. 그래서 저는 이것이 우리가 자동화에 대해 종종 생각하는 방식과는 다르다고 생각합니다. 그래서 저는 그것의 결과를 분석하는 것이 매우 흥미롭다고 생각합니다.

우리 자신은, 경험적인 접근 방식을 매우 중요하게 생각하는데, AI가 어떻게 사용되고 있는지를 경험적으로 연구하려고 노력하고 있습니다. 그래서 우리는 클레오(Cleo)라는 도구를 가지고 있는데, 이것은 프라이버시를 보호하는 방식으로 클로드 사용 방식을 집계하고, 그것이 보완적인지, 생산성을 높이는지, 어느 정도까지 사람들이 하던 작업을 대체할 가능성이 있는지 등을 연구할 수 있게 해줍니다. 그리고 우리는 이 데이터셋을 경제학자들에게 공개하여 연구하려고 합니다. 그래서 저는 이것이 AI가 할 수 있는 일의 한계를 밀어붙이는 작업들을 찾고, 거기서 더 잘하도록 훈련하는 것 외에도, "이것이 의미하는 바가 무엇인지 이해하려고 노력하자"고 생각하는 흥미로운 연구가 많이 이루어져야 할 부분이라고 생각합니다.

[45:07] 아짐 아자르: 저는 이 모든 질문에 대해 생각해 볼 필요가 있다고 생각합니다. 저는 제가 이론 물리학자였고, 꽤 최근까지 그랬다는 점을 말해야겠습니다. 그리고 종종 물리학자들과 이야기할 때, 저는 이렇게 말합니다. "만약 당신이 저를 믿는다면 (그리고 분명히 사람들은 AI에 대해 회의적이어야 하고, 신중하게 생각해야 합니다. 저도 6~7년 전에 물어봤다면 전혀 예상하지 못했을 것입니다. 저는 서서히 AI가 매우 빠르게 발전할 것이라고 확신하게 되었습니다. 이제 저는 꽤 확신하지만, 여전히 틀릴 수도 있습니다. 그러니 사람들은 적절한 수준의 회의론을 가져야 합니다. 저도 물론 'AI가 정말 이 궤도에 있을까?'라고 질문합니다.) 하지만 만약 당신이 그것을 받아들인다면, 제 동료 물리학자들에게 제가 하는 말은, '이것에 대해 작업할 온갖 종류의 지적 훈련과 경험을 가진 사람들이 정말로 필요하다'는 것입니다. 왜냐하면 만약 이것이 정말로 일어나고 있다면, 그것은 꽤 혁명적이고, 우리는 우리의 최고 인재들이 주의를 기울이고 그것이 무엇을 의미하는지 생각하기를 원하기 때문입니다. 모든 사람이 주의를 기울이고 그것이 무엇을 의미하는지 생각하기를 원합니다."

어떤 의미에서는, 당신이 묻고 있는, 우리가 무엇에 대해 생각해야 하는가 하는 질문들...

[45:07] 아짐 아자르: 당신이 제시한 것의 맥락에서, 당신이 방금 강조한 그 점에 대해 더 깊이 파고들고 싶습니다. 즉, 우리가 이 기술로부터 이익을 얻고 싶어하지만, 우리는 또한 특정한 방식으로 위험을 완화해야 한다는 것입니다. 이 기술을 개발하는 실험실로서 당신은 무엇을 할 수 있을까요?

[45:07] 제러드 카플란: 당신이 묻고 있는, 우리가 무엇에 대해 생각해야 하는가 하는 질문들... 제 생각에 흥미로운 논쟁들이 많이 있습니다. AI의 경제적 영향이 정말로 무엇일지에 대한 것이죠. 저는 이것이 많은 다른 기술들과는 다르다고 생각합니다. 제가 매우 흥미롭고 무슨 일이 일어날지 모르는 한 가지는, AI가 어디에서 가장 유용하고 생산성을 높이는가 하는 점입니다. 그것은 정말로 더 교육받은, 소위 화이트칼라 직업들인데, 이것들이 영향을 받을 수 있습니다. 그래서 저는 이것이 우리가 자동화에 대해 종종 생각하는 방식과는 다르다고 생각합니다. 그래서 저는 그것의 결과를 분석하는 것이 매우 흥미롭다고 생각합니다.

우리 자신은, 경험적인 접근 방식을 매우 중요하게 생각하는데, AI가 어떻게 사용되고 있는지를 경험적으로 연구하려고 노력하고 있습니다. 그래서 우리는 클레오(Cleo)라는 도구를 가지고 있는데, 이것은 프라이버시를 보호하는 방식으로 클로드 사용 방식을 집계하고, 그것이 보완적인지, 생산성을 높이는지, 어느 정도까지 사람들이 하던 작업을 대체할 가능성이 있는지 등을 연구할 수 있게 해줍니다. 그리고 우리는 이 데이터셋을 경제학자들에게 공개하여 연구하려고 합니다. 그래서 저는 이것이 AI가 할 수 있는 일의 한계를 밀어붙이는 작업들을 찾고, 거기서 더 잘하도록 훈련하는 것 외에도, "이것이 의미하는 바가 무엇인지 이해하려고 노력하자"고 생각하는 흥미로운 연구가 많이 이루어져야 할 부분이라고 생각합니다.