Инженер-программист запускает генеративный ИИ на 20-летнем PowerBook G4

Эндрю Россиньоль, инженер-программист, успешно запустил генеративный ИИ на старом ноутбуке PowerBook G4 2005 года выпуска, оснащенном процессором PowerPC G4 с частотой 1,5 ГГц и 1 ГБ оперативной памяти. Несмотря на устаревшее оборудование, ему удалось добиться вывода модели Llama 2 от Meta на ноутбуке. Для этого он портировал проект llama2.c с открытым исходным кодом и использовал векторное расширение PowerPC под названием AltiVec для ускорения производительности. Полный пост в блоге предоставляет более подробную техническую информацию о проекте и том, как он преодолел ограничения оборудования.