AI가 인류의 멸종을 초래할 것이라는 아이디어가 최근 힘을 얻고 있습니다. 다리오 아모데이와 같은 일부 AI 리더들은 그러한 사건의 상당한 확률을 추정합니다. 아모데이의 AI 개발 속도 조절에 대한 게시물은 저명한 인사들 사이에서 논의를 촉발했습니다. 그러나 저자는 많은 우려를 공유함에도 불구하고 전제에 동의하지 않습니다.저자는 "파멸"을 멸종이 아니라 봇넷과 같이 AI 시스템을 제어하기 어렵게 만드는 지속적인 성가심으로 정의합니다. 그들은 현재 AI 시스템이 짜증나지만 잠재적인 미래의 고급 에이전트와 달리 종료될 수 있음을 인정합니다. 저자는 AI 통제 무기와 같은 실존적 위협이 아니라 주요 AI 연구소 외부의 개인에게 미치는 영향에 대해 걱정합니다.AI 개발 "속도 조절"이라는 개념은 특히 소수의 미국 기업만이 이 경쟁을 주도하고 있다는 점을 고려할 때 문제가 있는 것으로 간주됩니다. 이 회사들은 공개 데이터와 리소스로부터 이익을 얻었으며 이제 자신들과 연결된 제3자 평가 시스템을 제안합니다. 저자는 특히 지정학적 동기를 고려할 때 이러한 기업만이 강력한 AI를 통제해야 한다는 아이디어를 비판합니다.저자는 오픈 웨이트 모델이 핵 확산과 유사하게 광범위한 접근성을 통해 본질적으로 AI 개발 속도를 늦출 것이라고 주장합니다. 대중이 AI 개발을 지지하지만 소수의 연구소로부터 그 혜택을 다시 구매하는 현재 상황은 결함 있는 경제적, 지정학적 모델로 간주됩니다. 오픈 소스 프로젝트는 AI 회사로 인해 어려움을 겪고 있지만, 중국 연구소는 역량을 확산하고 경쟁의 장을 평준화하는 데 중요하다고 여겨집니다.저자는 기존 법률이 무시되고 동의 없이 데이터가 사용되는 규제 실패를 지적합니다. AI 서비스에 대한 새로운 토큰 경제는 투명성이 부족한 마약 시장에 비유됩니다. 이상적으로는 AI 개발이 공공재에 혜택을 주어야 하며, 규정은 지식 증류에 대한 지원을 의무화해야 합니다.궁극적으로 저자는 대규모 연구소가 잃을 것이 더 많다고 믿기 때문에 AI 멸종 사건을 예상하지 않습니다. 대신, 주요 우려는 AI가 다양한 산업에 광범위한 피해를 입혀 더 비싸게 만들 수 있다는 것입니다. 소프트웨어 엔지니어링에서 분명하게 나타나는 혁신에 대한 이 새로운 "세금"은 다른 분야로도 확산될 것으로 예상됩니다.