https://www.forethought.org/research/will-ai-r-and-d-automation-cause-a-software-intelligence-explosion

https://jack-clark.net/

 

앤트로픽 공동창업자 잭 클라크:

AI가 AI 연구를 자동화하여 소프트웨어 폭발로 이어질 가능성이 높아 보입니다:

…우리는 상황이 매우 빠르게 진행될 것에 대비해야 합니다…

AI 연구 기관인 Forethought의 연구원들은 현대 AI 연구가 스스로 후속 모델을 구축할 수 있는 AI 시스템을 만들어낼 가능성이 높다고 생각합니다. Forethought는 미래의 어느 시점에 AI 연구개발 자동화(ASARA: AI Systems for AI R&D Automation)를 위한 AI 시스템 구축이 가능해질 것으로 예상합니다.

이는 엄청난 영향을 미칠 것입니다: "경험적 증거에 따르면, 만약 AI가 AI 연구를 자동화한다면, 피드백 루프가 수확 체감 현상을 극복하고 AI 발전을 크게 가속화할 수 있다"고 그들은 씁니다. 이는 AI 연구가 매우 빠르게 진행되기 시작하는 '소프트웨어 지능 폭발(software intelligence explosion)'로 이어질 수 있습니다. "만약 소프트웨어 지능 폭발이 발생한다면, 이는 믿을 수 없을 정도로 빠른 AI 발전을 초래할 수 있으며, 사전에 강력한 정책 및 기술적 안전 장치의 개발과 구현이 필요합니다…

ASARA 직후에는 AI 소프트웨어가 (현재 몇 달마다 두 배가 되는 것과 비교하여) 며칠 또는 그보다 더 빠르게 두 배로 증가하는 수준까지 발전 속도가 빨라질 수 있습니다."

이것이 오늘날 일어나고 있다는 증거가 있습니다: 이 뉴스레터에서 저는 더 나은 커널 작성 방법을 알아내는 AI 시스템부터 새로운 아키텍처를 발견하는 AI 시스템, 새로운 옵티마이저를 학습하는 것들에 이르기까지 '전구체-ASARA(precursor-ASARA)' 연구의 수많은 사례를 다루었습니다. Forethought 연구원들이 이용 가능한 문헌들을 살펴볼 때, 그들은 비슷한 추세를 봅니다 – 컴퓨터 비전에서 대규모 언어 모델에 이르기까지 다양한 영역에서, 연구자들이 후속 시스템 개발 속도를 높이기 위해 AI 시스템을 더 잘 사용하게 되면서 전반적으로 발전이 가속화되는 것으로 보입니다. "AI 소프트웨어의 효율성(런타임 효율성 및 훈련 효율성 모두)은 상당한 불확실성을 가지고 약 6개월마다 두 배가 되고 있다"고 그들은 씁니다.

근본적으로 다른 세상을 어떻게 준비할 것인가: 만약 소프트웨어 주도 폭발이 일어난다면, 그것에 대해 아는 것이 좋을 것입니다. 우리는 무엇을 준비해야 할까요? 저자들은 몇 가지 아이디어를 가지고 있습니다:

* 사람들은 소프트웨어 발전을 측정해야 하며, AI 연구소라면 이를 제3자에게 공개해야 합니다.

* 우리는 모델이 AI 연구개발에 얼마나 잘 기여할 수 있는지 측정해야 합니다 – 새로운 시스템을 훈련하기 전과 새로 훈련된 시스템을 배포하기 전에 모두.

* 기업들은 적절한 예방 조치를 적용하지 않고는 넘어서지 않을 '상당한 AI 주도 소프트웨어 가속의 임계 수준'을 채택해야 합니다.

"SIE(소프트웨어 지능 폭발)가 다가오고 있다는 명확한 징후를 볼 때쯤이면, 필요한 변화를 구현하기에는 너무 늦을 수 있습니다. 우리가 그 가능성을 배제할 수 없는 한, 우리는 선제적으로 대응하고 앞으로의 지형을 헤쳐나갈 방법을 미리 파악해야 합니다"라고 그들은 씁니다.

이것이 왜 중요한가 – 저는 연구 발전의 쓰디쓴 바람 속에서 이것을 맛볼 수 있습니다: 제 직관에 따르면 AI 연구개발 자동화는 가능해야 합니다. 다만 이는 주로 현재 AI 연구가 놓여있는 '진보의 원뿔(cone of progress)' 내에서 그렇다는 단서가 붙습니다. 저는 AI가 여러 보완적인 속성을 가지고 있기 때문에 연구 자동화에 이상하게 적합하다고 생각합니다:

* 소프트웨어에서 이루어지므로 매우 빠른 루프에서 작동합니다.

* 우리가 AI를 구축하는 방식은 여러 개의 빠른 연구개발 루프를 실행하는 데 꽤 적합합니다: 아키텍처를 테스트할 수 있고, 다른 실험에서는 알려진 좋은 아키텍처에 대한 하이퍼파라미터 탐색을 테스트할 수 있으며, 또 다른 실험에서는 데이터 입력, 강화학습 환경 등을 가지고 실험하는 것과 같은 일을 할 수 있습니다.

* AI 시스템은 점점 더 작업을 위임할 수 있는 '에이전트'로 사용 가능해지고 있습니다.

* AI 시스템이 수행할 수 있는 작업 유형은 난이도와 해결에 관련된 단계 수 측면 모두에서 복잡성이 증가하고 있습니다 – 이는 지난 호 METR의 연구에서 AI 시스템이 인간에게 시간이 걸리는 작업을 해결하는 속도의 증가율로 예시되었습니다.

이 모든 것을 종합하면 ASARA는 가능해 보입니다. 만약 그렇게 된다면, 이미 빠르게 움직이고 대체로 통제 불가능한 기술 분야가 훨씬 더 빠르게 움직일 것입니다 – 이는 우리가 거버넌스(통제 및 관리)를 위한 유일한 경로가 스스로 후속 모델을 훈련하는 시스템만큼 빠르게 생각할 수 있는 AI 시스템을 만드는 것을 요구하는 세계로 진입하려 하고 있음을 시사합니다.