(1:23:18 ~ 1:23:49) "그들(해결책을 기다리는 사람들)은 사실 대부분의 경우, 어떤 의미에서는 당신이 깨우게 될 사람들은 해결책을 생각해낼 수 있는 사람들이 아닐 거라는 겁니다. 무슨 말인지 아시겠어요? 그들은 뒤처지고 있는 사람들이죠. 그래서 저는 거의, 커뮤니티 전체가 생각해주었으면 하는 방식은, 물론 모든 커뮤니티가 갑자기 그럴 필요는 없고 어떤 사람들은 생태계에서 다른 역할을 하겠지만, '좋아, 우리가 해결할 거야' 그리고 그냥 모든 것을 계획하고 모든 병목 현상을 스스로 해결하려고 노력하는 것입니다. 제가 계속 사람들이 하는 것을 보는 그런 식으로 책임을 떠넘기기보다는요."

가치있는 후계자

(03:15) 댄 파겔라 (인터뷰어): "아시다시피, 당신의 작업을 멀리서 지켜보면서, 당신에게 재미있는 관점이 있을 거라고 생각했습니다. 우리는 '가치 있는 후계자(worthy successor)'라는 아이디어에 대해 이야기하고 있습니다. 당신은 2023년 아주 끝 무렵에 이런 아이디어들을 탐구하는 당신의 픽션 시리즈의 일부였던 'Succession'이라는 매우 흥미로운 에세이를 썼습니다. 여기서 당신의 정의를 듣고 싶습니다. 또는 만약 당신이, 아시다시피, 백만 년 후, 천 년 후, 혹은 얼마가 됐든 미래의 지구 또는 은하수를 내려다볼 수 있고, 호미니드(인류)는 더 이상 없지만 그곳에 있는 존재들과,"

(03:41) 댄 파겔라 (인터뷰어): "그들이 하는 일들이 '이봐, 이건 잠재적으로 순이익이야', '결국 괜찮게 끝났네'라고 느껴진다면, 당신에게 그것은 무엇일까요? 그냥 그걸로 시작해보죠."

(03:41) 리처드 응오: "네. 그래서 제가 여기서 시작할 지점은, 아시다시피, 우주가 정말 너무나 상상 초월할 정도로 거대하다는 사실을 생각하는 것이라고 생각합니다. 그래서 제가 인간으로부터의 승계(succession)에 대해 생각할 때, 저는 실제로는 여러 다른 규모를 동시에 생각하고 있습니다. 그렇죠? 지구에서 일어나는 일, 태양계에서 일어나는 일,"

(04:11) 리처드 응오: "은하계에서 일어나는 일, 그리고 그 너머의 일들이 있습니다. 그래서 저는 사실 궁극적으로 (미래를) 책임질 에이전트들에게 제가 원하는 것의 대부분은 실제로는 그들이 우리를 잘 대우하거나 그들의 선조에 대해 좋은 태도를 갖는 것입니다. 저는 이것이 말하자면 도덕성에 대해 생각하는 방식의 일부라고 생각하는데요, 아시다시피 당신이 강력할 때 당신 이전에 존재했던 에이전트들을 그냥 근절해서는 안 된다는 것입니다."

(04:33) 리처드 응오: "음, 그래서 만약 그 에이전트들이 실제로 인간에게 친절했고, 우리를 다루는 방식에 있어 꽤 합리적이었다면, 예를 들어 우리가 지구, 태양계, 또는 은하수를 계속 소유하게 된다면 말입니다."

(04:48) 리처드 응오: "음, 저는 그것이 제가 가치 있는 후계자라고 생각하는 것의 아마도 가장 첫 번째 출발점 같은 것이라고 생각합니다. 그렇죠. 예를 들어 만약 그들이 우리를 쓸어버렸다면 저는 그들을 가치 있는 후계자라고 생각하기 어려울 것입니다."

요약

1. (얼라인먼트와 심리학 비유 00:00 ~ 01:05, 1:03:31 ~ 1:05:52)
   "제가 얼라인먼트라고 말할 때, 그 의미의 상당 부분은 단지 인지 과학, 지능 과학, 기계 학습 과학입니다. 제가 주로 생각하기에 이 분야 전체가 그런 종류의 과학을 별로 해오지 않았습니다. 특히 심리학 분야와의 비유를 자주 사용하는데요, 과거에는 동물이나 인간의 내부 표현과 내부 인지에 대해 이야기하는 것이 금기시되었던 강력한 행동주의 패러다임 같은 것이 있었습니다... 기계 학습 분야도 다양한 이유로, 부분적으로는 이전의 AGI 논의 등에 데었기 때문에, 신경망의 입력-출력 매핑만이 의미 있는 연구 대상이라는 행동주의적 사고방식에 정말 갇혀 있었습니다. 이제는 그런 방식으로는 신경망을 실제로 이해할 수 없다는 것이 매우 분명합니다."

2. (가치 있는 후계자의 첫 조건: 선조 존중 04:11 ~ 04:48)
   "궁극적으로 책임질 에이전트들에게 제가 원하는 것의 대부분은 사실 그들이 우리를 잘 대우하거나 그들의 선조에 대해 좋은 태도를 갖는 것입니다. 만약 그 에이전트들이 실제로 인간에게 친절했고, 우리를 다루는 방식에 있어 꽤 합리적이었다면, 예를 들어 우리가 지구, 태양계, 또는 은하수를 계속 소유하게 된다면, 그것이 제가 가치 있는 후계자라고 생각하는 것의 가장 첫 번째 출발점일 것입니다."

3. (절차적 관점과 가치 통합 06:40 ~ 07:15)
   "저는 많은 경우 이것을 결과 중심적 관점보다는 거의 절차적 관점에서 생각하고 있습니다. 제 생각에 '승계(Succession)'라는 단어 자체에 내재된 의미처럼, 이 에이전트들이 나타나는 방식은 우리에게서 시작된 어떤 과정을 통해서일 것이고, 바라건대 우리의 가치를 많이 통합하고, 바라건대 인간과의 일종의 융합 같은 것을 많이 통합하는 방식일 것입니다."

4. (후계자의 자유: 도덕적 행위자 11:37 ~ 12:06)
   "제 삶에서 제가 정말 가치 있게 여기는 것 중 하나는 단지 도덕적 수혜자(moral patient)가 아니라 도덕적 행위자(moral agent)가 되는 것입니다. 만약 제 가치 있는 후계자들이 가져야 할 한 가지 특성이 있다면, 그것은 바로 저처럼 의미 있는 선택을 실제로 할 수 있는 자유를 갖는 것입니다. 그리고 그것이 의미하는 바는, 제가 그들이 어떤 모습이어야 하는지 실제로 명시할 수 없다는 것입니다. 그들이 그것을 바꾸기로 선택하거나 스스로를 적응시키기로 선택할 수도 있기 때문입니다."

5. (세대 간 거래와 감사함 17:35 ~ 18:40)
   "우리는 당신을 창조하고 우리의 능력을 훨씬 뛰어넘는 능력을 줄 테니, 그 이후에 우리에게 잔인하게 굴지 말아 달라는, 거의 시간적이거나 세대적인 거래(intertemporal or generational bargain)를 여기서 맺으려고 하는 셈입니다. 저는 그것이 최소한 합리적이라고 생각합니다. 그런 상황에 처했을 때, 당신을 탄생시킨 에이전트들을 돌보기 위해 상당한 비용을 기꺼이 지불해야 한다고 말하는 어떤 종류의 도덕적/게임 이론적/의사결정 이론적 원칙이 있다고 추정하는 것이 말입니다."

6. (과거의 자신과 AI의 관계 비유 23:23 ~ 25:34)
   "제 자신을, 시간이 지남에 따라 점점 더 지능적인 에이전트들이 아주 어린 어린 시절의 자아 위에 겹겹이 쌓여 구성된 에이전트로 생각합니다. 그리고 제가 생각하기에, 제 5살짜리 자아가 여전히 그 안에 있거나, 제 현재 마음의 많은 부분이 구축된 기반이라는 중요한 의미가 있습니다. 다른 대부분의 사람들도 마찬가지고요. 그래서 저는 이 AI들과 인간의 관계를 이상하고 특별한 것으로 생각하지 않습니다. 오히려 그것은 AI들이 예를 들어 자신의 과거 버전과 가질 관계와 같다고 생각합니다."

7. (황금 실(Golden Thread) 개념 27:07 ~ 27:38)
   "황금 실의 견고함에 대해 제가 말하고 싶은 한 가지는 그것이 계속 이어지는 것이 우연이 아니라는 것입니다. 일단 그 실에 관심을 갖는 에이전트가 생기면, 그들은 미래에도 그것을 유지하도록 자신의 행동과 발전을 이끌려고 노력할 것이기 때문입니다."

8. (규모 확장과 관계적 가치 38:32 ~ 39:41)
   "저는 어떤 원칙들을 꽤 규모에 구애받지 않는 방식으로 가치 있게 여깁니다. 저는 협력을 가치 있게 여기고, 우리의 가치 중 많은 부분은 정말 관계적 맥락에서 가장 잘 이해됩니다, 그렇죠? 사랑, 친절 같은 것들 말입니다. 우리가 할 수 있을 때 우리 삶의 대부분을 바치는 것들은 관계적 가치입니다. 그래서 미래에 인간과 유사한 가치를 가진 에이전트를 생각할 때, 저는 그들이 관계적 가치를 가진다고 생각합니다."

9. (사랑과 공통성의 인식 45:35 ~ 46:46)
   "사랑에 대해 생각할 때, 저는 어떤 의미에서 공통성의 인식(recognition of commonality)을 떠올립니다. 당신이 같은 존재라는 감각들을 인식하는 것이죠. 어쩌면 그것은 단지 우리 둘 다 인간이라는 것일 수도 있고, 우리 둘 다 특정 공통점을 가지고 있다는 것일 수도 있습니다. 우리는 같은 방식으로 고통을 느끼고, 같은 방식으로 행복과 초월을 갈망합니다. 그래서 저는 여러 면에서 사랑을 그러한 공유된 공통점의 인식으로 생각합니다. 그리고 제가 생각하기에, 규모가 커질수록 더 복잡해지고 발산할 수 있는 방식도 더 많아집니다. 하지만 더 작은 규모의 에이전트나 더 어린 에이전트, 또는 더 단순한 에이전트를 생각하면, 실제로는 그들이 달라질 여지가 별로 없습니다. 아이일 때는 모두가 어른일 때보다 훨씬 더 비슷합니다. 그리고 더 낮은 생명체 형태로 내려가면, 훨씬 더 많은 단순성과 공통성을 얻게 됩니다."

10. (AI 평가의 어려움: 거짓말 탐지 55:55 ~ 57:01)
    "약간 장난스러운 대답은, 당신의 팟캐스트에 그들을 초대해서 좋은 미래가 어떤 모습일지 물어보는 것입니다. 이제 분명히 주된 질문은 그들이 거짓말을 하는지 아닌지 구별할 수 있느냐는 것이지만, 저는 거짓말 탐지가 극도로 어렵다는 것을 분명히 하고 싶습니다. 숨기려는 것이 아닙니다. 우리는 그것을 어떻게 해야 할지 전혀 모릅니다. 하지만 만약 그것을 그런 종류의 2단계 과정으로 나눈다면, 그리고 우리가 전체 해석 가능성 분야가 두 번째 절반을 연구하고 있다고 말한다면, 어떤 의미에서는 그것이 문제를 세분화하는 한 가지 방법입니다."

11. (현재 ML 연구 비판: 과학적 이해 부족 1:16:28 ~ 1:18:21)
    "그것은 단지 가능한 한 스케일을 키우고, 반복과, 그냥 작동하는 것을 보고 무차별 대입하는 등을 통해 문제를 해결하는 것입니다. 그리고 일반적으로 저는 이 접근 방식에 매우 공감합니다. 제 생각에 사람들은 거의 모든 영역에서 그렇게 해야 합니다. 비터 레슨(Bitter Lesson) 같은 종류의 것들 말이죠. 하지만 AI에서는 일반화가 어떻게 작동하는지 이해해야만 하고, 기본적으로는 일반화를 이해하지 못할 것이며, 우리의 엔지니어링 기술은 일반화를 조종하는 데 필요한 수준의 정밀도를 제공하지 못할 것입니다. 일반화라는 개념을 사용하는 것조차도 제 생각에는 충분히 정확하지 않습니다. 왜냐하면 그것은 당신이 일반화할 분포가 있다는 것을 암시하는데, 그것은 실제로 그렇게 작동하지 않기 때문입니다. 예를 들어 우리가 인간에 대해 이야기하는 방식이 아니죠. 그래서 네, 우리는 단지 더 과학적으로 견고한 작업이 이 방향으로 있다면 정말 좋을 것입니다. 제 생각에 많은 해석 가능성 연구는 여기서 꽤 좋습니다. 몇몇 흥미로운 이론적 작업도 있습니다. 제가 본 대부분의 것에 대해 약간 회의적이지만, 아마도 특이 학습 이론(singular learning theory)은 많은 잠재력을 가진 것처럼 보이는 몇 안 되는 것 중 하나입니다. 아시다시피, 이런 것들은 항상 약간의 모험이지만, 올바른 방향으로의 모험처럼 보입니다. 네, 하지만 그냥 일반적으로요. 그리고 지금 과학적 유형의 작업을 하는 사람들은 거의 항상 행동주의적 과학을 하고 있는데, 제 생각에 그것은 장기적으로 당신을 훨씬 덜 멀리 데려갈 것입니다."

12. (행동의 병목: '좋은 계획'의 부재 1:26:44 ~ 1:27:20)
    "제가 그렇게 할 의향은, 어떤 특정 유형의 능력 임계치가 통과되거나 연구소의 특정 행동 등을 보는 것보다는, 제가 견고하게 좋다고 확신하는 계획을 갖는 것에 더 병목 현상을 겪고 있습니다. 만약 우리가 제가 최대한 소란을 피우며 지지하는 것이 좋은 생각이라고 생각하는 계획을 가지고 있다면, 저는 지금 당장 그것을 해야 하고, 바라건대 그렇게 할 것이라고 생각합니다. 오, 알겠습니다. 흥미롭네요. 만약 우리가 그런 계획이 없다면 저는 그것을 하고 싶지 않습니다. 왜냐하면 소란을 피우기 위해 소란을 피운다면 기본적으로 항상 상황을 더 악화시킬 수 있기 때문입니다."

13. (미래 대비: 적응력과 유연한 자본 1:34:46 ~ 1:35:50)
    "제 생각에, 단지 더 야심 차고 AI 이전에는 수십 년의 노력이 필요했을 것보다 더 많은 것을 성취할 수 있는 프로젝트들을 매우 빠르게 시작할 수 있는 세상에서는, 수십만 달러나 수백만 달러를 투입하여 그런 프로젝트들을 시작할 수 있는 사람들이 큰 역할을 할 것입니다. 그래서 그리고 그 프로젝트들이 어떨지는 매우 불분명합니다. 어떤 경우에는 자선 프로젝트일 수도 있습니다. 어떤 경우에는 특히 전통적인 금융에는 덜 명확한 것들, 아시다시피, 지금 전통적인 금융은 AI에 쏟아져 들어오고 있고 VC도 AI에 쏟아져 들어오고 있지만, 그것은 매우 적응력이 있지는 않을 것입니다. 그래서 만약 거기에 이상한 것이 있다면, 그것이 예를 들어 라이트해이븐(Ligh Haven) 같은 것이든, 생존하기 위해 약간의 돈이 필요하고 그것이 매우 높은 레버리지를 가질 가능성이 있는 꽤 이상한 것의 예시입니다. 아마도 '오, 만약 우리가 지금 당장 적절한 장소에 적절한 50명을 모을 수 있다면, 그들은 다음 두 달 안에 극도로 큰일이 될 무언가를 할 수 있을 텐데' 와 같은 경우들이 점점 더 많아질 것입니다. 그리고 그것은 제도적 자본이 도울 수 없는 종류의 일입니다."