더 큰 AI 모델에서 더 작고 빠른 모델로의 변화

AI 모델의 경우, 크기가 항상 더 좋은 것은 아닙니다. 더 큰 모델은 더 강력하고, 더 많은 자원을 필요로 하며, 향상된 추론, 요약, 심지어 코드 생성 능력까지 제공합니다. 하지만 생성형 AI 모델의 크기와 확장성에는 한계가 있습니다. 더 큰 모델은 본질적으로 대화에서 자주 반대되는, 열린 문제에 가장 적합하도록 설계되었습니다. 그러나 CRM 시스템과 같은 AI 기반 제품이 AI 모델을 사용하는 경우, 제품이 해결하려는 문제는 실제로 매우 고정되고 구조화되어 있습니다. 이는 AI 모델이 문제 정의와 해결 단계 자체를 스스로 제시해야 하는 원래의 대화 형식에서 크게 벗어났습니다.