Etsy는 방대한 고유 목록을 보유하고 있으며, 사용자 검색 및 항목 설명을 이해하기 위해 머신러닝 모델에 의존합니다. 이러한 모델은 Kafka를 통해 스트리밍되는 실시간 데이터로 구동되어 사용자 추천을 신속하게 업데이트합니다. 그러나 이러한 스트리밍 애플리케이션을 구축하는 것은 엔지니어에게 복잡하고 시간이 많이 소요되는 수동 프로세스였습니다. 이를 단순화하기 위해 Etsy는 언어 모델이 작업을 자동화하도록 안내하는 재사용 가능한 플레이북인 "Kafka Skills"를 개발했습니다.이러한 Kafka Skills는 개발자와 AI 에이전트 간의 협업 워크플로우를 가능하게 하며, 자연어 명령을 사용하여 코드를 생성하고, 구성을 유효성 검사하고, 애플리케이션을 로컬에서 실행합니다. 에이전트는 Java 클래스 생성, YAML 구성 채우기, 로컬 테스트 조정과 같은 복잡한 단계를 처리하여 개발자를 지루한 수동 작업에서 해방시킵니다. 이러한 Skills의 사용을 추적하고 추가 지원이 필요한 영역을 식별하기 위해 관찰 가능성 도구가 구현되었습니다.개발자들이 Kafka Skills의 존재를 인지하지 못하고 기존의 수동 방식을 계속 사용했기 때문에 초기 채택률은 놀랍도록 낮았습니다. 검색 가능성을 개선하기 위해 Etsy는 Skills에 더 많은 진입점을 추가하여 개발자의 자연어 및 코딩 팀별 전문 용어로 트리거할 수 있도록 했습니다. AI 에이전트가 안전하지 않거나 승인되지 않은 Kafka 애플리케이션을 생성하는 것을 방지하기 위해 가드레일이 마련되어 코드 보안 및 액세스 제어 준수를 보장했습니다.Kafka Skills는 현재 7가지 중요한 데이터 워크플로우를 지원하며, 검색 가능성을 높여 채택을 늘리는 데 중점을 두고 있습니다. 궁극적으로 이러한 Skills는 새로운 머신러닝 기능 출시 프로세스를 간소화하여 Etsy의 구매자와 판매자 모두에게 더 나은 사용자 경험을 제공하는 것을 목표로 합니다. 데이터 파이프라인 개발을 가속화함으로써 Etsy의 모델은 사용자 의도와 목록 콘텐츠를 더 빠르게 이해할 수 있습니다.