Meta와 Llama 4 관련

Q: Meta의 Llama 4와 Behemoth 모델 지연에 대해 어떻게 생각하는가?

A: Meta는 현재 3개의 서로 다른 모델을 작업 중이다. Behemoth은 지연되었고 아예 출시되지 않을 수도 있다. 훈련 방식과 결정에 문제가 있었기 때문이다. Maverick과 Scout라는 다른 모델들도 있는데, 그 중 하나는 괜찮지만 최고는 아니었고, 다른 하나는 객관적으로 나빴다. DeepSeek 아키텍처 요소들을 급하게 적용하려다 실패했고, 희소성(sparsity)에 너무 집중한 나머지 일부 전문가(expert) 모듈들이 전혀 사용되지 않는 문제가 발생했다.

Q: Meta가 최고의 인재들을 보유하고 있는데도 왜 성과가 부족한가?

A: 훌륭한 연구자들을 보유하는 것과 조직적으로 성공하는 것은 다르다. 핵심은 기술적 리더가 어떤 아이디어가 최고인지 선택하는 것이다. OpenAI에서는 Sam Altman이 자원을 확보하고 Greg Brockman이 기술적 결정을 내린다. 연구자들은 모두 자신의 연구가 최고라고 생각하기 때문에, 누군가 평가하고 올바른 방향을 선택해야 한다. 잘못된 아이디어를 선택하면 그 방향으로 계속 연구하게 되어 시간을 낭비하게 된다.

Meta의 인수합병 전략

Q: Meta가 Scale AI를 인수한 이유는?

A: Scale AI는 회사로서는 어려운 상황이다. Google이 계약을 철회하고 있고, OpenAI도 Slack 연결을 차단했다. Meta는 Scale 자체가 아니라 Alexander Wang과 그의 팀을 원했다. Alex는 28-29세로 매우 성공적이며, Mark Zuckerberg를 설득해 회사를 매각시킬 정도로 뛰어나다. 이는 Zuckerberg의 전략 변화를 보여준다 - 몇 달 전까지만 해도 그는 AGI가 곧 일어날 일이 아니라고 했는데, 이제는 초지능(super intelligence)이 전부라고 말하고 있다.

Q: AGI에서 초지능으로 용어가 바뀐 이유는?

A: AGI라는 단어가 더 이상 의미가 없어졌다. Anthropic 연구자들은 AGI를 단순히 "자동화된 소프트웨어 개발자"라고 생각한다. 이는 진정한 인공일반지능이 아니다. Ilya Sutskever가 Safe Super Intelligence(SSI) 회사를 설립하면서 리브랜딩을 시작했고, 약 1년 후 모든 사람들이 "초지능"에 대해 말하기 시작했다.

OpenAI GPT-4.5의 실패

Q: GPT-4.5 (내부 코드명 Orion)에 무슨 문제가 있었나?

A: GPT-4.5는 2024년 초에 훈련을 시작한 대규모 사전훈련에 대한 베팅이었다. 모델은 GPT-4보다 훨씬 똑똑하고 실제로 웃길 정도였지만, 너무 느리고 비쌌다. 가장 큰 문제는 데이터 부족이었다. 모델이 너무 커서 과매개화(overparameterization) 문제가 발생했다 - 일반화하기 전에 먼저 암기하는 경향이 있었다.

훈련 중에는 여러 인프라 문제도 있었다. PyTorch 버그가 몇 달간 지속되었고, 여러 번 체크포인트에서 재시작해야 했다. 한편 다른 팀에서는 추론(reasoning) 기술인 Strawberry를 개발했는데, 이것이 훨씬 적은 비용으로 더 높은 품질을 달성할 수 있음을 보여줬다.

Apple의 AI 전략

Q: Apple이 AI에서 뒤처진 이유는?

A: Apple은 매우 보수적인 회사다. 큰 인수는 거의 하지 않고(Beats가 가장 큰 인수였음), 주로 작은 스타트업들을 조기에 인수한다. AI 연구자들을 유치하는 데 어려움이 있다 - AI 연구자들은 자신의 연구를 발표하고 공유하길 좋아하는데 Apple은 비밀주의 회사이기 때문이다.

또한 Apple은 Nvidia를 싫어한다. 과거 "Bumpgate" 사건(Nvidia GPU의 솔더볼 문제로 인한 하드웨어 실패)과 모바일 칩 특허 소송 때문이다. 따라서 Apple은 Nvidia 하드웨어를 거의 구매하지 않는다. 데이터센터에서도 Mac 칩을 사용하는데, 이는 연구자들에게 매력적이지 않다.

Q: 온디바이스 AI vs 클라우드 AI에 대한 견해는?

A: 온디바이스 AI에 대해서는 회의적이다. 보안은 좋지만, 실제로는 무료가 보안보다 더 중요하다. Meta, OpenAI, Google 모두 클라우드에서 무료로 서비스를 제공하는데, 이것이 온디바이스에서 실행하는 것보다 더 좋을 것이다.

레이턴시 측면에서도, 가장 가치 있는 AI 작업들(검색, 이메일, 캘린더 등)은 어차피 클라우드에 있는 데이터를 사용한다. 하드웨어 제약 때문에 휴대폰에서는 Llama 405B나 GPT-4 수준의 모델을 실행할 수 없다.

AI 칩셋 경쟁: Nvidia vs AMD

Q: AMD의 새로운 칩들이 Nvidia에 대항할 수 있는가?

A: AMD는 열심히 노력하고 있고 하드웨어 측면에서는 일부 영역에서 더 나은 부분도 있다. 하지만 Blackwell과 비교하면 객관적으로 열등하다. 가장 큰 문제는 소프트웨어다. Nvidia는 72개 칩을 긴밀하게 연결할 수 있는 반면 AMD는 8개만 가능하다.

개발자 경험도 큰 차이가 있다. Nvidia는 10개 플래그로 설정할 수 있는 것을 AMD는 50개 플래그가 필요하다. 대부분의 사용자들은 단순히 모델을 실행하고 싶어하는데, AMD에서는 이것이 더 복잡하다.

AMD는 시장 점유율을 일부 확보할 것으로 예상되지만, 가격이 매우 좋을 때만 의미가 있다. Meta도 특정 워크로드와 AMD가 좋은 가격을 제공할 때만 사용한다.

XAI와 Grok

Q: Elon Musk의 Grok에 대한 주장들을 어떻게 보는가?

A: Elon은 훌륭한 엔지니어이자 마케터다. Grok 3는 예상보다 좋았다. 특정 쿼리에 Grok을 사용하는데, 특히 다른 모델들이 제공하길 꺼려하는 데이터나 현재 이벤트 요약에 유용하다. X 데이터에 접근할 수 있어서 실시간 정보에 뛰어나다.

하지만 근본적으로 다른 것을 하고 있다고는 생각하지 않는다. 모든 회사가 기본적으로 같은 방식을 따르고 있다 - 대규모 트랜스포머 사전훈련과 검증 가능한 도메인에서의 강화학습.

미래 전망

Q: 초지능에 먼저 도달할 회사는?

A: OpenAI가 1순위다. 그들은 모든 주요 돌파구에서 첫 번째였고, 추론도 마찬가지였다. Anthropic이 2순위인데, 예전보다 덜 보수적이 되었다. 3순위는 Google, XAI, Meta 사이의 경쟁이다.

Q: 화이트칼라 직업의 50%가 사라질 것이라는 전망에 대해서는?

A: 인구 고령화와 사람들이 예전보다 적게 일한다는 점을 고려해야 한다. 50년 전보다 평균 근무시간이 훨씬 줄었다. AI는 우리가 더 적게 일할 수 있게 해줄 것이다.

이미 주니어 소프트웨어 엔지니어 시장은 무너졌다. 회사들은 AI를 사용하는 시니어 개발자를 선호한다. 배치에는 시간이 걸리겠지만, 궁극적으로는 인간이 루프에서 완전히 제외될 것이다.

Q: 오픈소스 vs 클로즈드소스의 미래는?

A: 중국은 뒤처져 있기 때문에 오픈소스를 하고 있다. 앞서게 되면 오픈소스를 중단할 것이다. 결국 클로즈드소스가 승리할 것이다. 다만 2-3개 회사가 인간 GDP를 지배하는 것이 아니라 더 분산되기를 희망한다.

타임라인 관련

Q: 언제쯤 20%의 직업이 자동화될 것으로 예상하는가? A: 이번 10년 내는 아니다. 2020년대 말이나 2030년대 초 정도로 예상한다. 다른 사람들이 2027년 AGI 달성을 말하지만 나는 더 회의적이다.

Q: 기술 달성과 실제 배치 사이에는 얼마나 시간이 걸리는가? A: 기술이 달성되어도 실제 현장에 배치되기까지는 수년이 걸릴 것이다. 하지만 배치 자체는 생각보다 빠를 수 있다.