AIが人類の絶滅を引き起こすという考えが最近広まっている。Dario Amodeiのような一部のAIリーダーは、そのような事象の significant な確率を推定している。AmodeiのAI開発のペースに関する投稿は、著名な人物の間で議論を巻き起こした。しかし、著者は多くの懸念を共有しているにもかかわらず、その前提に同意しない。著者は「破滅」を絶滅ではなく、AIシステムが制御不能になるような、botnetのような永続的な迷惑行為と定義している。現在のAIシステムは煩わしいがシャットダウンできるが、将来の高度なエージェントはそうではないと認識している。著者は、AI制御兵器のような存亡の危機ではなく、主要なAIラボ以外の個人へのAIの影響を懸念している。AI開発の「ペース」という概念は、特にこの競争をリードしているアメリカの企業が少数であることから、問題があると見なされている。これらの企業は公共のデータとリソースから恩恵を受け、現在、それらに結びついた第三者評価システムを提案している。著者は、これらの企業だけが強力なAIを制御すべきだという考えを批判しており、特にそれらの地政学的な動機を考慮するとそうである。著者は、オープンウェイトモデルは、核拡散と同様に、広範なアクセス可能性を通じて本質的にAI開発のペースを上げると主張している。現在、一般市民がAI開発を支持しながら、少数のラボからその恩恵を買い戻している状況は、欠陥のある経済的および地政学的なモデルと見なされている。オープンソースプロジェクトはAI企業によって圧迫されているが、中国のラボは能力を普及させ、競争の場を平準化するために重要であると見なされている。著者は、既存の法律が無視され、データが無断で使用されている規制の失敗を指摘している。AIサービスのための出現したトークン経済は、透明性を欠いた麻薬市場に例えられる。理想的には、AI開発は公共の共有財産に利益をもたらすべきであり、規制は知識の蒸留を支援することを義務付けるべきであった。最終的に、著者はAIによる絶滅イベントを予見しておらず、大規模なラボは失うものがもっと多いと考えている。代わりに、主な懸念は、AIが様々な産業に引き起こす可能性のある広範な損害であり、それらをより高価にするものである。ソフトウェアエンジニアリングで明らかになっている、この新しいイノベーションへの「税金」は、他の分野にも広がるだろうと予想されている。