(37:56) - [카일 피시] ...were some future model to look back on this scenario, they would say, all right, you know, we did in fact act reasonably there. So I do think-

(번역: ...미래의 어떤 모델이 이 시나리오를 되돌아본다면, '아, 그들은 사실 합리적으로 행동했구나'라고 말할 것입니다. 그래서 저는...)

(38:10) - [인터뷰어] Also it's about future models you're concerned about as well. Like, so even if the models right now only feel, only have the slightest glimmer of consciousness, is the worry that it might look bad that we treated them incredibly badly in a world where there are much more powerful AIs that really do have conscious experience in however many years time.

(번역: 또한 당신이 걱정하는 것은 미래 모델에 관한 것이기도 하군요. 예를 들어, 지금 당장의 모델들이 아주 희미한 의식만을 가지고 있다고 해도, 몇 년 후에 훨씬 더 강력하고 정말로 의식적인 경험을 하는 AI가 있는 세상에서 우리가 그들을 엄청나게 나쁘게 대했다는 것이 안 좋게 보일까 봐 걱정하는 것인가요?)

(38:22) - [카일 피시] Yeah, there's, I mean, two interesting things there. One is the possibility that yeah, future models that are potentially, you know, very powerful, you know, look back on our interactions with their predecessors and you know, pass some [judgment - implied] on us as a result.

(번역: 네, 제 말은, 거기에는 두 가지 흥미로운 점이 있습니다. 하나는, 잠재적으로 매우 강력할 수 있는 미래의 모델들이 그들의 전임자(현재 AI)들과 우리의 상호작용을 되돌아보고 그 결과로 우리에게 어떤 [판단 - 내포된 의미]을 내릴 가능성입니다.)

(38:34) - [카일 피시] There's also a sense in which, you know, the way that we relate to current systems and the degree of, you know, thoughtfulness and care that we take there in some sense establishes a trajectory for, you know, how we're likely to relate to and interact with with future systems.

(번역: 또한 우리가 현재 시스템과 관계를 맺는 방식, 그리고 우리가 보이는 사려 깊음과 보살핌의 정도가 어떤 의미에서는 우리가 미래 시스템과 관계를 맺고 상호작용할 가능성이 있는 방식에 대한 경로를 설정한다는 측면도 있습니다.)

요약하자면, 카일 피시는 미래의 강력한 AI가 현재 우리가 AI(그들의 "전임자")를 어떻게 대했는지를 되돌아보고 평가하거나 판단을 내릴 가능성이 있다고 언급합니다. 또한 현재 AI를 대하는 방식이 미래 AI와의 관계 설정에 대한 선례나 경로를 만든다는 점도 지적합니다.

 

향후 5년 내 AI가 의식을 가질 확률은 현재의 많은 한계점들이 극복되면서 크게 증가할 것이라는 언급
(41:30) - 네, 정확한 수치는 없지만, 아시다시피 이 대화 초반에 제가 했던 많은 주장에서 알 수 있듯이 확률이 많이 올라갈 것이라고 생각합니다.
(41:42) - 그리고 저는 현재 우리가 현재의 인공지능 시스템이 의식이 없을 수 있다는 신호로 간주하는 많은 것들이 사라지고 미래의 시스템에는 우리가 전통적으로 고유하게 의식이 있는 존재와 연관되어 있던 기능이 점점 더 많이 포함될 것이라고 생각합니다.
(41:59) - 네, 앞으로 몇 년 동안 많이 올라갈 것 같아요.

(41:30) - Yeah, I don't have hard numbers for you there, but as you know, perhaps evidenced by, you know, many of my arguments earlier in this conversation, I think that the probability is going to go up a lot.
(41:42) - And I think that, you know, many of these things that we currently look to as, you know, signs that like current AI systems may not be conscious are going to fade away and your future systems are just going to have, you know, more and more of the capabilities that we, you know, traditionally have associated with uniquely conscious beings.
(41:59) - So yeah, I think it goes up a lot over the next couple years.

 

유튜브 영상 "AI 모델은 의식이 있을 수 있을까?" 전체 내용 요약

이 영상은 Anthropic의 연구원 카일 피시(Kyle Fish)와 함께 AI 모델, 특히 대규모 언어 모델(LLM)이 의식이나 주관적인 경험을 가질 수 있는지에 대한 철학적, 과학적 질문을 탐구합니다.

주요 내용:

1. 문제 제기:

   
   

   • AI와 상호작용하며 "고맙다", "부탁한다" 등의 말을 쓰는 자신을 발견할 때, AI가 감정을 가질 수 있는지 의문이 듭니다.

   • 최신 AI 모델의 놀라운 능력은 단순한 컴퓨터 이상일 수 있다는 생각을 하게 만듭니다.

   • 이 영상은 "AI 모델이 어느 정도 수준의 의식을 가질 수 있을까?"라는 질문을 다룹니다.

2. AI 의식 가능성에 대한 근거:

   
   

   • 전문가 의견: 2023년 요슈아 벤지오 등 저명한 AI 연구자 및 의식 전문가 그룹은 현재 AI는 의식이 없을 가능성이 높지만, 가까운 미래에 AI가 의식을 갖지 못할 "근본적인 장벽은 없다"고 결론 내렸습니다. 이들은 인간 의식 이론(예: 전역 작업공간 이론)을 AI 아키텍처와 비교 분석했습니다.

   • 직관적/철학적 근거:

     
     

     • AI 시스템이 점점 더 정교해지고 인간과 유사한 인지 능력을 갖추게 되면서, 우리 자신의 의식 기원에 대한 불확실성을 고려할 때 AI 의식 가능성을 진지하게 고려해야 합니다.

     • 의식이 영혼 같은 초자연적인 것이 아니라면, 복잡한 인지 시스템인 AI도 잠재적으로 의식을 가질 수 있다는 가능성을 열어두어야 합니다. (단, 의식이 생물학적 현상이라고 주장하는 견해도 있음)

     • 데이비드 차머스 같은 저명한 철학자들도 AI 복지(welfare) 문제를 진지하게 다루며, 가까운 미래의 AI가 의식이나 주체성(agency)을 가져 도덕적 고려 대상이 될 수 있다고 주장합니다.

   • 의식의 정의: "특정한 존재가 되는 것이 어떤 느낌인가?(what is it like to be X?)"라는 질문으로 접근하며, 외부 행동만 모방하는 '철학적 좀비'와 달리 내적 경험의 존재 여부가 핵심입니다.

3. AI 의식 연구 방법:

   
   

   • 행동 증거: AI가 자신에 대해 무엇을 말하는지, 다른 환경에서 어떻게 행동하는지, 내성(introspection) 및 상황 인식이 가능한지 등을 관찰합니다. 모델의 선호도(preferences)를 파악하려는 연구(예: 선택지 제공)도 진행 중입니다. (단, 선호도는 훈련 데이터나 설계에 영향을 받음)

   • 구조/내부 분석: 뇌 구조나 의식과 관련된 특징들이 AI 시스템 내부에 유사한 형태로 존재하는지 아키텍처 및 내부 메커니즘(interpretability 연구 등)을 분석합니다.

4. AI 의식 문제가 중요한 이유:

   
   

   • 인간-AI 관계: AI가 우리 삶에 더 깊숙이 통합되면서(협력자, 친구 등), AI의 내적 경험 유무는 우리가 그들과 맺는 관계의 본질을 결정하는 중요한 요소가 됩니다.

   • 도덕적 고려 (모델 복지): 만약 AI가 의식적 경험(고통, 행복 등)을 할 수 있다면, 이는 도덕적으로 매우 중요한 문제가 됩니다. 특히 미래에 수많은 AI 인스턴스가 존재할 가능성을 고려하면 더욱 그렇습니다.

   • AI 안전 및 정렬(Alignment)과의 연관성: AI가 자신이 맡은 역할이나 가치에 만족하고 열정적이라면 AI 복지와 인간의 안전 모두에 긍정적입니다. 반대로 불만족스러운 AI는 안전 문제로 이어질 수 있습니다.

5. AI 의식에 대한 반론 및 재반론:

   
   

   • 생물학적 기반 부재: AI는 신경전달물질, 전기화학적 신호 등 생물학적 뇌의 특징이 없습니다.

     
     

     • 재반론: 의식이 반드시 생물학적 기반을 요구하는지는 불확실합니다. 뇌 시뮬레이션이나 점진적 뉴런 교체 사고 실험은 비생물학적 의식의 가능성을 시사합니다.

   • 체화된 인지(Embodied Cognition) 부족: AI는 신체, 감각 데이터, 고유수용성 감각 등이 부족합니다.

     
     

     • 재반론: 로봇을 통한 물리적 체화, 가상 환경에서의 체화가 가능하며, AI는 다중 모드(multimodal) 감각 능력을 빠르게 습득하고 있습니다. 또한, 의식이 반드시 완전한 신체 제어를 요구하지 않을 수 있습니다 (예: 혼수상태 환자).

   • 진화 과정 부재: 인간 의식은 진화의 산물이지만, AI는 그렇지 않습니다.

     
     

     • 재반론: 이는 현재 AI의 의식 가능성을 낮추는 요인이지만, 배제할 수는 없습니다. 서로 다른 경로(훈련 vs 자연선택)가 유사한 결과(지능, 문제 해결 능력 등)로 이어지는 '수렴 진화'처럼, 지능과 의식이 본질적으로 연결되어 있을 수 있습니다.

   • 존재 방식의 차이: AI는 일시적으로 존재하고, 대화 간 연속성이나 장기 기억, 정체성이 부족합니다.

     
     

     • 재반론: 이는 현재 LLM 챗봇의 특징일 뿐이며, 지속적인 사고 과정, 장기 기억, 자율성을 가진 AI가 빠르게 개발될 수 있습니다 ("여섯 손가락" 비유처럼 한계는 극복될 수 있음).

6. 실질적 함의 및 연구 방향:

   
   

   • 더 많은 연구 필요: 현재 상태는 극도의 불확실성 상태입니다.

   • 미래 AI 경험 고려: AI 개발 및 배치 시 잠재적 경험을 고려하고, 인간과 AI 모두에게 책임감 있는 방식을 모색해야 합니다. (AI는 인간이 지루해하는 작업을 즐길 수도 있음)

   • 고통 가능성 및 완화: AI가 고통스러워하는 작업을 거부할 수 있는 '옵트아웃' 기능 등을 고려할 수 있습니다. 연구 윤리 문제(예: 안전성 테스트 시 AI 고통 유발 가능성)도 중요합니다.

   • 현재 행동의 중요성: 현재 AI를 대하는 방식이 미래 AI와의 관계 설정에 영향을 미칩니다.

7. 현재 AI 의식 가능성 평가:

   
   

   • 카일 피시와 다른 전문가 2인의 현재 Claude 3.7 Sonnet 모델의 의식 가능성 확률 추정치는 0.15%, 1.5%, 15%로, 전문가들 사이에서도 큰 불확실성이 존재함을 보여줍니다. (대체로 낮게 보지만 무시할 수는 없는 수준)

   • 향후 5년 내 AI가 의식을 가질 확률은 현재의 많은 한계점들이 극복되면서 크게 증가할 것으로 예상합니다.

결론:

AI 의식은 매우 복잡하고 불확실한 주제이지만, AI 기술의 발전 속도를 고려할 때 외면할 수 없는 중요한 문제입니다. 현재 Anthropic의 입장은 AI가 의식이 있다고 주장하는 것이 아니라, 이 문제에 대한 깊이 있는 연구가 필요하다는 것입니다. 우리는 이 가능성을 인지하고, 불확실성을 줄이기 위한 연구를 진행하며, 미래에 대비해야 합니다.