처음부터 자신만의 LLM 런타임 구축 방법 노트

처음부터 자신만의 LLM 런타임 구축 방법

만약 LLM 추론 런타임을 직접 구축하고 싶었다면 — 자체 가중치를 패킹하고, 모든 장벽을 소유하며, 자체 CUDA 그래프를 캡처하는 것 — 이것이 H100에서 그 여정이 어떻게 보이는지 보여줍니다. annotated-llm-runtime이라는 작은 런타임에 대한 단계별 안내와, 대부분의 주석을 생성한 세 가지 버그에 대한 내용입니다.