Современные рекомендательные системы сталкиваются со значительными трудностями при тестировании и отладке из-за их большого масштаба и распределенной природы. Традиционные подходы "сначала модель" приводят к аппаратным ограничениям, зависимости от входных данных и медленным циклам обратной связи при итерациях. ModuleLens представляет парадигму "сначала модуль", позволяющую инженерам локально изолировать, реконструировать и профилировать отдельные модули. Это значительно ускоряет рабочие процессы разработчиков и способствует автономной оптимизации ИИ-агентов.Архитектура ModuleLens состоит из ModuleTracer, ModuleRepo и слоя потребления. ModuleTracer неинтрузивно захватывает важные данные времени выполнения, включая тензоры, параметры и аргументы инициализации, с помощью хуков PyTorch. Он эффективно обрабатывает большие тензоры и отслеживает инициализацию модулей в памяти.ModuleRepo централизует извлеченные состояния модулей в реестре Weights & Biases (WandB), организуя их по индексам коллекций и версионированным артефактам, содержащим метаданные и бинарные полезные нагрузки. Слой потребления предлагает интерактивные расширения Jupyter и CLI IPython для инженеров-людей, а также Agent Skills для LLM-агентов.Это позволяет отлаживать, исследовать и автономно анализировать и оптимизировать модули. ModuleLens был внедрен для различных внутренних инструментов, включая Training Analyzer для выявления узких мест, KernelAgent для генерации и проверки GPU-ядер, а также Scaling Law ROI Tools для оценки затрат на инфраструктуру.Будущие планы включают стабилизацию основного ядра системы, улучшение Agent Skills для продвинутой оптимизации, такой как синтез ядер Triton/CUDA, и обеспечение автономной оптимизации обучения и обслуживания. ModuleLens призван повысить скорость работы инженеров и предоставить основу для выполнения для автоматических исследований моделей и рекурсивного самосовершенствования.Предоставляя воспроизводимый доступ к изолированным модулям и сигналам производительности, ModuleLens позволяет агентам экспериментировать, изменять компоненты, проводить бенчмаркинг и сохранять успешные изменения. Проект выражает благодарность многочисленным участникам из команд Product ML Infra, ATG, HomeFeed и Ads ranking за их лидерство, идеи по дизайну, тестирование, внедрение и разработку кода.