Мы создали индивидуальный стек технологий для запуска больших языковых моделей на инфраструктуре Cloudflare. Этот пост исследует инженерные компромиссы и технические оптимизации, необходимые для того, чтобы сделать доступным высокопроизводительное вывод AI.