Агентная наука о данных с помо... Заметка

Агентная наука о данных с помощью Data Agent Kit

Задержки платежей побудили команду по соблюдению нормативных требований заподозрить мошенничество, что потребовало от специалиста по данным выявления транзакций для расследования. Этот процесс включает в себя загрузку и очистку необработанных журналов транзакций, обучение модели обнаружения мошенничества, оценку новых транзакций и автоматизацию рабочего процесса. Data Agent Kit в Antigravity IDE упрощает этот сквозной процесс.Набор предлагает инструменты MCP и навыки Markdown для подключения агентов к сервисам данных Google Cloud и предоставляет руководство по взаимодействию со стеком данных. Он также позволяет пользователям управлять Google Agentic Data Cloud непосредственно из своей IDE. Первоначально журналы транзакций загружаются в BigQuery с использованием Spark через сгенерированный агентом ноутбук.После загрузки данных создается проект dbt для очистки и обогащения данных BigQuery, включая обработку дубликатов и объединение со справочной информацией. Этот проект dbt также включает тест на уникальность транзакций. Далее генерируется обучающий ноутбук для создания модели обнаружения мошенничества Random Forest с использованием исторических данных с известными метками мошенничества.Затем обученная модель используется в ноутбуке для вывода результатов, чтобы оценить неразмеченные транзакции. Транзакции с вероятностью мошенничества, превышающей заданный порог, например 50%, отправляются в таблицу Spanner для проверки. Этот процесс создает краткий список транзакций для расследования командой по соблюдению нормативных требований.Наконец, Managed Service for Apache Airflow используется для автоматизации всего рабочего процесса, обеспечивая его ежедневное выполнение. Агент генерирует определение DAG Airflow и конфигурацию развертывания, оркестрируя этапы загрузки, преобразования и оценки данных. Этот автоматизированный конвейер непрерывно заполняет очередь проверки потенциально мошенническими транзакциями.
CdXz5zHNQW_pxgNhwMrDK.gif