인터뷰/예측
하버드대 AI 안전 전공자 "3년 후 AGI"
작성자
하이룽룽
작성일
2024-12-24 11:17
조회
14
https://www.lesswrong.com/posts/jb4bBdeEEeypNkqzj/orienting-to-3-year-agi-timelines
3년 내 AGI 개발을 전제로 한 사고방식과 행동 전략
제가 생각하는 AGI(인공지능 일반, Artificial General Intelligence) 개발 시점은 지금으로부터 3년 후입니다. 이에 따라 행동 방식을 재조정할 필요가 있으며, 저는 이에 대한 제 생각과 다른 사람들의 유익한 의견을 이 글에서 공유하려고 합니다.
저는 짧은 AGI 개발 시점을 염두에 둔 워크숍을 여러 차례 주도했으며, 약 50명의 참여자(주로 제 생각을 중심으로)로부터 얻은 지혜를 여기 모았습니다. 또한, 여러 차례의 AGI 관련 시뮬레이션 게임에 참여하거나 공동으로 진행한 경험이 있습니다.
이 글에서는 2027년을 AGI 개발 예상 시점으로 가정하고, 이에 따른 시사점에 집중할 것입니다. 이 시점이 맞는지에 대한 논쟁은 생략합니다. 본문은 짧은 AGI 타임라인에 적응하고 계획을 수립하는 데 도움을 주고자 작성되었습니다.
---
글의 구조
1. 3년 내 AGI 타임라인을 가정한 시나리오
2. 현재 충족되지 않은 인류 생존의 필수 조건
3. 항상 유용한 행동 지침
---
1. 3년 내 AGI 타임라인 시나리오
2025년 말까지
AI 성능은 SW 엔지니어링 및 데이터 분석 등에서 인간 수준에 근접합니다.
AI 보조 도구들은 대부분의 실질적 2시간 작업을 무리 없이 수행하며, 코드 작성과 파일 수정에서 오류 없이 작업을 완료합니다.
2026년 말까지
AI 에이전트는 며칠에 걸친 복잡한 작업도 능숙하게 수행합니다.
AGI 회사의 직원들은 AI가 대부분의 가상 직업에서 인간을 능가하는 시점이 2년 이내로 다가왔다고 느낍니다.
정부는 AI가 국가 권력에 결정적임을 깨닫고, AGI 회사들에 대한 극단적 감독 체제를 도입합니다(사실상 국유화).
2027년부터
AGI 회사 인력의 대부분은 AI 에이전트로 대체됩니다.
회사의 주요 결정은 AI 에이전트들에게 연구, 안전, 군사, 상업적 응용 등 다양한 작업을 배분하는 데 집중됩니다.
인간 직원은 AI 에이전트가 해결하기 어려운 문제에 조언하는 보조 역할을 합니다.
중요 변수
1. 2025-2026년: 인간 중심의 사전 자동화 시대
AI 연구를 AI 에이전트에게 안전하게 위임할 방법을 찾아야 합니다.
안전 개입 조치의 효과를 평가하고, 필요할 경우 작업을 일시 중단하거나 타인을 설득할 준비가 필요합니다.
2. 2027년 이후: AI 중심의 자동화 시대
AI 에이전트의 연구 방향성과 우선순위 할당이 주요 과제가 됩니다.
안전 연구에 얼마나 많은 자원을 할당할지 결정하는 것도 중요합니다.
---
2. 현재 충족되지 않은 인류 생존의 필수 조건
안전한 이행 계획: AI 에이전트가 연구를 이어받을 안전한 방식에 대한 비전 부족.
정렬 접근법: AI 에이전트에게 기본적으로 할당할 연구 분야에 대한 명확한 계획 필요.
계산 자원 약속: 안전 연구에 충분한 계산 자원이 할당되지 않을 위험 존재.
사이버 보안 강화: AI 시스템이 악용되거나 도난당하지 않도록 보장.
글로벌 긴장 완화: AGI 개발로 군사 균형이 붕괴할 가능성이 높아, 핵전쟁을 방지할 방안 모색 필요(향후 10년 내 핵전쟁 가능성 15% 추정).
국유화 전략: 국유화 시점과 계획의 최적화를 통해 혼란 최소화.
---
3. 항상 유용한 행동 지침
1. 핵심 역할 확보
AGI와 관련된 주요 조직에 취업하거나 협력 관계를 구축하세요.
외부 연구를 수행할 경우, 해당 연구가 실제로 활용될 가능성을 고려하세요.
2. 중요 플레이어들에게 정보 제공
중요한 인물이 당신을 신뢰하고 조언을 구하도록 하세요.
3. 연간 계획 수립
2025년 말, 2026년 말, 2027년 말까지 달성해야 할 구체적인 목표를 설정하세요.
4. 적응력과 회복력 강화
지속 가능한 방식으로 건강과 정신적 안정성을 유지하세요.
5. 미래 시나리오 대비
다양한 가능성을 미리 생각해두고, 놀라움이나 공포를 줄이세요.
6. 속도감 있는 실행
계획이 있다면 지금 바로 실행 가능한 부분부터 시작하세요.
---
마지막 생각
짧은 AGI 타임라인에 대해 고민하는 것은 스트레스가 될 수 있지만, 이를 회피하지 말고 적응하는 것이 중요합니다. 지금 해야 할 일들은 명확합니다. 시간이 많지 않지만, 우리가 해야 할 일은 분명합니다.
함께 AGI가 인류에게 긍정적인 미래를 가져올 수 있도록 노력합시다.
3년 내 AGI 개발을 전제로 한 사고방식과 행동 전략
제가 생각하는 AGI(인공지능 일반, Artificial General Intelligence) 개발 시점은 지금으로부터 3년 후입니다. 이에 따라 행동 방식을 재조정할 필요가 있으며, 저는 이에 대한 제 생각과 다른 사람들의 유익한 의견을 이 글에서 공유하려고 합니다.
저는 짧은 AGI 개발 시점을 염두에 둔 워크숍을 여러 차례 주도했으며, 약 50명의 참여자(주로 제 생각을 중심으로)로부터 얻은 지혜를 여기 모았습니다. 또한, 여러 차례의 AGI 관련 시뮬레이션 게임에 참여하거나 공동으로 진행한 경험이 있습니다.
이 글에서는 2027년을 AGI 개발 예상 시점으로 가정하고, 이에 따른 시사점에 집중할 것입니다. 이 시점이 맞는지에 대한 논쟁은 생략합니다. 본문은 짧은 AGI 타임라인에 적응하고 계획을 수립하는 데 도움을 주고자 작성되었습니다.
---
글의 구조
1. 3년 내 AGI 타임라인을 가정한 시나리오
2. 현재 충족되지 않은 인류 생존의 필수 조건
3. 항상 유용한 행동 지침
---
1. 3년 내 AGI 타임라인 시나리오
2025년 말까지
AI 성능은 SW 엔지니어링 및 데이터 분석 등에서 인간 수준에 근접합니다.
AI 보조 도구들은 대부분의 실질적 2시간 작업을 무리 없이 수행하며, 코드 작성과 파일 수정에서 오류 없이 작업을 완료합니다.
2026년 말까지
AI 에이전트는 며칠에 걸친 복잡한 작업도 능숙하게 수행합니다.
AGI 회사의 직원들은 AI가 대부분의 가상 직업에서 인간을 능가하는 시점이 2년 이내로 다가왔다고 느낍니다.
정부는 AI가 국가 권력에 결정적임을 깨닫고, AGI 회사들에 대한 극단적 감독 체제를 도입합니다(사실상 국유화).
2027년부터
AGI 회사 인력의 대부분은 AI 에이전트로 대체됩니다.
회사의 주요 결정은 AI 에이전트들에게 연구, 안전, 군사, 상업적 응용 등 다양한 작업을 배분하는 데 집중됩니다.
인간 직원은 AI 에이전트가 해결하기 어려운 문제에 조언하는 보조 역할을 합니다.
중요 변수
1. 2025-2026년: 인간 중심의 사전 자동화 시대
AI 연구를 AI 에이전트에게 안전하게 위임할 방법을 찾아야 합니다.
안전 개입 조치의 효과를 평가하고, 필요할 경우 작업을 일시 중단하거나 타인을 설득할 준비가 필요합니다.
2. 2027년 이후: AI 중심의 자동화 시대
AI 에이전트의 연구 방향성과 우선순위 할당이 주요 과제가 됩니다.
안전 연구에 얼마나 많은 자원을 할당할지 결정하는 것도 중요합니다.
---
2. 현재 충족되지 않은 인류 생존의 필수 조건
안전한 이행 계획: AI 에이전트가 연구를 이어받을 안전한 방식에 대한 비전 부족.
정렬 접근법: AI 에이전트에게 기본적으로 할당할 연구 분야에 대한 명확한 계획 필요.
계산 자원 약속: 안전 연구에 충분한 계산 자원이 할당되지 않을 위험 존재.
사이버 보안 강화: AI 시스템이 악용되거나 도난당하지 않도록 보장.
글로벌 긴장 완화: AGI 개발로 군사 균형이 붕괴할 가능성이 높아, 핵전쟁을 방지할 방안 모색 필요(향후 10년 내 핵전쟁 가능성 15% 추정).
국유화 전략: 국유화 시점과 계획의 최적화를 통해 혼란 최소화.
---
3. 항상 유용한 행동 지침
1. 핵심 역할 확보
AGI와 관련된 주요 조직에 취업하거나 협력 관계를 구축하세요.
외부 연구를 수행할 경우, 해당 연구가 실제로 활용될 가능성을 고려하세요.
2. 중요 플레이어들에게 정보 제공
중요한 인물이 당신을 신뢰하고 조언을 구하도록 하세요.
3. 연간 계획 수립
2025년 말, 2026년 말, 2027년 말까지 달성해야 할 구체적인 목표를 설정하세요.
4. 적응력과 회복력 강화
지속 가능한 방식으로 건강과 정신적 안정성을 유지하세요.
5. 미래 시나리오 대비
다양한 가능성을 미리 생각해두고, 놀라움이나 공포를 줄이세요.
6. 속도감 있는 실행
계획이 있다면 지금 바로 실행 가능한 부분부터 시작하세요.
---
마지막 생각
짧은 AGI 타임라인에 대해 고민하는 것은 스트레스가 될 수 있지만, 이를 회피하지 말고 적응하는 것이 중요합니다. 지금 해야 할 일들은 명확합니다. 시간이 많지 않지만, 우리가 해야 할 일은 분명합니다.
함께 AGI가 인류에게 긍정적인 미래를 가져올 수 있도록 노력합시다.
전체 0