20년 된 파워북 G4에서 생성형 AI를 구동하는 소프트웨어 엔지니어

소프트웨어 엔지니어인 앤드류 로시그놀(Andrew Rossignol)은 2005년형 PowerBook G4 랩탑에서 생성형 AI를 성공적으로 구동했다. 이 랩탑은 1.5GHz PowerPC G4 프로세서와 1GB의 RAM을 가지고 있다. 구식 하드웨어에도 불구하고, 그는 랩탑에서 메타의 LLM 모델인 Llama 2의 추론을 수행할 수 있었다. 이를 위해 그는 오픈소스 프로젝트인 llama2.c를 포팅하고 성능을 가속화하기 위해 PowerPC 벡터 확장인 AltiVec를 사용했다. 전체 블로그 게시물에는 프로젝트에 대한 자세한 기술 세부 사항과 하드웨어 제한을 어떻게 극복했는지에 대한 정보가 포함되어 있다.