Два десятилетия мы фокусировались на перемещении данных к интеллекту. Теперь мы наблюдаем массовый сдвиг: мы должны переместить интеллект к данным. Этот переворот меняет всё. Ваша хост-платформа больше не просто шлюз API; это операционная система.Встреча, которая не была посвящена моделямВстреча, которая изменила мое представление об инфраструктуре ИИ, почти не имела отношения к моделям. Мы месяцами одержимо работали над качеством моделей. Затем, за несколько недель, повестка дня незаметно перестроилась. Мы говорили о подключении сторонних модулей. Мы обсуждали, что происходит, когда две версии одной и той же модели расходятся при повторном выполнении. Мы беспокоились о том, может ли инференс одного клиента "уморить" инференс соседа на общем ускорителе. Мы спорили о том, кто платит за миллисекунду.