현대 추천 시스템은 대규모 및 분산 특성으로 인해 테스트 및 디버깅에 상당한 어려움을 겪고 있습니다. 기존의 "모델 우선(Model-First)" 접근 방식은 하드웨어 제한, 입력 데이터 종속성 및 느린 반복 피드백 루프를 초래합니다. ModuleLens는 "모듈 우선(Module-First)" 패러다임을 도입하여 엔지니어가 개별 모듈을 로컬에서 격리, 재구성 및 프로파일링할 수 있도록 합니다. 이는 개발자 워크플로우를 크게 가속화하고 자율 AI 에이전트 최적화를 촉진합니다.ModuleLens 아키텍처는 ModuleTracer, ModuleRepo 및 Consumption Layer로 구성됩니다. ModuleTracer는 PyTorch forward hook을 통해 텐서, 매개변수 및 초기화 인수를 포함한 필수 런타임 데이터를 비침습적으로 캡처합니다. 대규모 텐서를 효율적으로 처리하고 모듈 초기화를 인메모리에서 추적합니다.ModuleRepo는 추출된 모듈 상태를 Weights & Biases (WandB) Registry에 중앙 집중화하여 컬렉션 인덱싱 및 메타데이터와 바이너리 페이로드를 포함하는 버전화된 아티팩트로 구성합니다. Consumption Layer는 인간 엔지니어를 위한 대화형 Jupyter 확장 및 IPython CLI를 제공하고, LLM 에이전트를 위한 Agent Skills를 제공합니다.이를 통해 디버깅, 탐색 및 자율 모듈 분석 및 최적화가 가능합니다. ModuleLens는 병목 현상 식별을 위한 Training Analyzer, GPU 커널 생성 및 검증을 위한 KernelAgent, 인프라 비용 평가를 위한 Scaling Law ROI Tools를 포함한 다양한 내부 도구에 채택되었습니다.향후 계획에는 핵심 시스템 안정화, Triton/CUDA 커널 합성과 같은 고급 최적화를 위한 Agent Skills 강화, 자율 학습 및 서빙 최적화 활성화가 포함됩니다. ModuleLens는 인간 엔지니어링 속도를 높이고 모델 자동 연구 및 재귀적 자체 개선을 위한 실행 기반을 제공하는 것을 목표로 합니다.격리된 모듈 및 성능 신호에 대한 재현 가능한 액세스를 제공함으로써 ModuleLens는 에이전트가 실험하고, 구성 요소를 수정하고, 벤치마킹하고, 성공적인 변경 사항을 유지할 수 있도록 지원합니다. 이 프로젝트는 리더십, 설계 통찰력, 테스트, 채택 및 코드 개발에 대한 Product ML Infra, ATG, HomeFeed 및 Ads ranking 팀의 수많은 기여자를 인정합니다.