AI의 숨겨진 저장 비용: 추론이 남기는 흔적 노트

AI의 숨겨진 저장 비용: 추론이 남기는 흔적

대부분의 임원에게 AI 비용을 상상해 보라고 하면, 그들은 아마도 GPU—기가와트의 전력을 소비하는 가속기 랙—과 실리콘 대기 명단을 떠올릴 것입니다. 하지만 그 그림에는 빠진 것이 있습니다: 데이터 저장 비용. 모델이 응답한 후 데이터는 어떻게 될까요? 매일 수십억 개의 프롬프트, 이미지, 동영상에서 생성되는 백엔드 데이터의 상당 부분은…
CdXz5zHNQW_jWV6rxEQic.png