Software-Ingenieur läuft generative KI auf 20 Jahre altem PowerBook G4

Andrew Rossignol, ein Software-Ingenieur, hat erfolgreich ein generatives KI-Modell auf einem alten PowerBook G4 Laptop von 2005 mit einem 1,5-GHz-PowerPC-G4-Prozessor und 1 GB RAM ausgeführt. Trotz der veralteten Hardware konnte er Inferenz mit Metas LLM-Modell Llama 2 auf dem Laptop durchführen. Um dies zu erreichen, portierte er das open-source-Projekt llama2.c und nutzte eine PowerPC-Vektor-Erweiterung namens AltiVec, um die Leistung zu beschleunigen. Der vollständige Blog-Beitrag bietet weitere technische Details zum Projekt und wie er die Hardware-Beschränkungen überwand.