20年前のPowerBook G4で動くジェネレーティブAIを開発したソフトウェアエンジニア

ソフトウェアエンジニアのAndrew Rossignolは、2005年の旧型PowerBook G4ラップトップ（1.5GHz PowerPC G4プロセッサー、1GB RAM）でジェネレーティブAIを成功的に実行した。旧式ハードウェアにもかかわらず、MetaのLLMモデルLlama 2の推論をラップトップで実現することに成功した。彼は、open-sourceのllama2.cプロジェクトを移植し、AltiVecというPowerPCベクトル拡張機能を使用してパフォーマンスを高速化した。このプロジェクトの技術的詳細とハードウェアの制限を克服する方法については、フルブログポストで提供されている。