Если вы когда-либо хотели самостоятельно создать среду выполнения для LLM, упаковать собственные веса, контролировать каждый этап, захватывать собственные графы CUDA — вот как выглядит этот путь на H100. Пошаговое описание небольшой среды выполнения под названием annotated-llm-runtime и трех ошибок, которые привели к большинству аннотаций.