AI 코딩 에이전트가 예산을 초과하고 있습니다. Rep... 노트

AI 코딩 에이전트가 예산을 초과하고 있습니다. Replit, Kilo Code, Symbotic이 이를 어떻게 관리하고 있는지 설명합니다.

Kilo Code에서 엔지니어들은 이제 코딩에 시간의 1%만 사용하고 나머지는 에이전트가 처리하며, 이는 시스템 안전, 모델 정리, 멀티 모델 아키텍처, 그리고 치솟는 토큰 비용 정당화에 대한 새로운 질문을 개발팀에 제기합니다. 테크 리드는 이를 에이전트 AI가 엔터프라이즈 워크플로우에 통합됨에 따른 자연스러운 진화로 보고 있습니다. 에이전트는 그린필드 개발에 뛰어나지만, 브라운필드 작업과 강력한 제품 결정을 내리는 데는 인간의 참여가 중요합니다. Replit은 에이전트를 사용하여 풀 리퀘스트를 검토하고 위험 점수를 할당하며 저위험 풀 리퀘스트는 자체 병합하여 "인간 루프 내" 접근 방식을 강조합니다. 그들은 클라우드 VM에서 보안 에이전트 무리를 사용하여 엔드투엔드 작업을 실행하며, 이는 한때 인간 엔지니어들을 좌절시켰던 복잡한 버그를 해결하기도 했습니다. Kilo Code가 500개 이상의 모델을 제공하여 기업이 비용과 프로젝트 단계에 따라 모델을 전환할 수 있도록 함에 따라 멀티 모델 지원이 필수적이 되고 있습니다. Replit 또한 비용과 기능을 최적화하기 위해 사용자를 대신하여 모델을 선택합니다. 통제 불능의 AI 비용 관리는 우려 사항이며, 기업들은 계획에는 비싼 모델을 사용하고 실행에는 저렴한 모델을 사용하는 등의 전략을 구현하고 있습니다. Symbotic은 직원당 월별 비용 상한선을 설정하고, 도구를 사용하여 사용량을 추적하고 등급을 조정합니다. Replit은 엔지니어링 외부에서 상당한 AI 지출이 발생한다는 것을 발견했으며, 대부분의 작업이 최첨단 모델을 필요로 하지 않기 때문에 가시성, 모델 라우팅 및 합리적인 기본값의 필요성을 강조합니다. 궁극적으로 초점은 ROI에 맞춰져 있으며, 지출뿐만 아니라 풀 리퀘스트당 비용과 같은 지표로 가치를 측정합니다.