Data Agent Kit를 활용한 에이전트 기반 데이터 과학
결제 지연으로 인해 컴플라이언스 팀이 사기를 의심하게 되었고, 데이터 과학자가 조사를 위한 거래를 식별해야 했습니다. 이 과정에는 원시 거래 로그를 수집 및 정리하고, 사기 탐지 모델을 훈련시키고, 새로운 거래에 점수를 매기고, 워크플로우를 자동화하는 작업이 포함됩니다. Antigravity IDE 내의 Data Agent Kit는 이 엔드투엔드 프로세스를 단순화합니다.이 키트는 MCP 도구와 Markdown 기술을 제공하여 에이전트를 Google Cloud 데이터 서비스에 연결하고 데이터 스택 상호 작용에 대한 지침을 제공합니다. 또한 사용자가 IDE에서 직접 Google의 Agentic Data Cloud를 관리할 수 있도록 합니다. 초기에는 에이전트 생성 노트북을 통해 Spark를 사용하여 거래 로그를 BigQuery로 로드합니다.데이터 로딩 후, 중복 처리 및 참조 정보와의 조인을 포함하여 BigQuery 데이터를 정리하고 풍부하게 만들기 위한 dbt 프로젝트가 생성됩니다. 이 dbt 프로젝트에는 거래에 대한 고유성 테스트도 포함됩니다. 다음으로, 알려진 사기 레이블이 있는 과거 데이터를 사용하여 Random Forest 사기 탐지 모델을 구축하기 위한 훈련 노트북이 생성됩니다.훈련된 모델은 다음으로 추론 노트북에서 레이블이 없는 거래에 점수를 매기는 데 사용됩니다. 50%와 같은 지정된 임계값을 초과하는 사기 확률이 있는 거래는 검토를 위해 Spanner 테이블로 전송됩니다. 이 과정은 컴플라이언스 팀이 조사할 거래의 짧은 목록을 생성합니다.마지막으로 Managed Service for Apache Airflow를 사용하여 전체 워크플로우를 자동화하여 매일 실행되도록 합니다. 에이전트는 데이터 로딩, 변환 및 점수 매기기 단계를 조정하는 Airflow DAG 정의 및 배포 구성을 생성합니다. 이 자동화된 파이프라인은 잠재적으로 사기성 거래로 검토 대기열을 지속적으로 채웁니다.