Etsy, с его огромным количеством уникальных предложений, полагается на модели машинного обучения для понимания поисковых запросов пользователей и описаний товаров. Эти модели работают на основе данных в реальном времени, передаваемых через Kafka, что позволяет оперативно обновлять рекомендации для пользователей. Однако создание этих потоковых приложений было сложным и трудоемким ручным процессом для инженеров. Чтобы упростить это, Etsy разработала "Kafka Skills" — многоразовые руководства, которые помогают языковым моделям автоматизировать задачи.Эти Kafka Skills обеспечивают совместную работу между разработчиками и ИИ-агентами, используя команды на естественном языке для генерации кода, проверки конфигураций и локального запуска приложений. Агент берет на себя сложные этапы, такие как создание Java-классов, заполнение YAML-конфигураций и оркестрация локального тестирования, освобождая разработчиков от утомительной ручной работы. Были внедрены инструменты наблюдаемости для отслеживания использования этих Skills и выявления областей, требующих дополнительной поддержки.Первоначальное внедрение Kafka Skills было неожиданно низким, поскольку разработчики не знали об их существовании и продолжали использовать старые, ручные методы. Чтобы улучшить обнаруживаемость, Etsy добавила больше точек входа для Skills, позволяя им запускаться с помощью естественного языка разработчиков и специфического для команды жаргона. Были установлены ограничения для предотвращения создания ИИ-агентами небезопасных или неутвержденных Kafka-приложений, обеспечивая безопасность кода и соблюдение правил контроля доступа.В настоящее время Kafka Skills поддерживают семь критически важных рабочих процессов обработки данных, с акцентом на увеличение их использования путем повышения их доступности. В конечном итоге, эти Skills призваны оптимизировать процесс запуска новых функций машинного обучения, что приведет к улучшению пользовательского опыта как для покупателей, так и для продавцов на Etsy. Ускоряя разработку конвейеров данных, модели Etsy могут быстрее понимать намерения пользователей и контент объявлений.