효과적인 AI 애플리케이션을 만드는 것은 단순히 좋은 프롬프트를 만드는 것 이상이 필요합니다; 적절한 맥락을 제공하는 것이 매우 중요합니다. 이로 인해 AI가 실제로 얼마나 많은 맥락을 처리할 수 있는지에 대한 의문이 제기되는데, 개발자들은 종종 AI 어시스턴트가 대화 초반에 공유된 정보를 잊어버리는 경험을 합니다. 이 현상은 현대 AI 시스템의 핵심 요소인 컨텍스트 윈도우 개념 때문입니다. 컨텍스트 창을 이해하기 전에, AI 모델이 처리하는 기본 텍스트 단위인 토큰 개념을 이해하는 것이 필수적입니다.토큰은 단어와 동등하지 않습니다; 이들은 인간의 언어와 AI 모델 간의 번역기 역할을 하는 토큰라이저가 생성하는 작은 텍스트 조각들입니다. 텍스트를 토큰으로 나누는 방식은 다양하며, 같은 수의 문자나 단어가 코드, JSON, URL 등 콘텐츠의 복잡성에 따라 토큰 수가 달라질 수 있습니다. 개발자들은 토큰이 비용, 지연 시간, 응답 품질, 확장성에 큰 영향을 미치기 때문에 신경 써야 합니다.모든 AI 요청은 시스템 지시사항, 사용자 프롬프트, 대화 기록, 검색 데이터 등 토큰을 소비합니다. AI와 상호작용할 때, 애플리케이션은 간단한 프롬프트조차도 대량의 토큰 묶음을 보내는 경우가 많습니다. 새로운 AI 요청은 보통 새로 시작되어, 일관성을 유지하기 위해 관련 대화 기록을 다시 보내야 합니다. 컨텍스트 윈도우는 AI 모델이 단일 응답에 대해 한 번에 고려할 수 있는 최대 토큰 수를 나타냅니다. 화이트보드와 마찬가지로, 맥락 창 내 정보는 접근 가능하지만 공간은 한정되어 있습니다.현대 AI 애플리케이션은 시스템에 보내기 전에 풍부한 맥락을 구축하는데, 종종 시스템 지시, 대화 기록, 검색 지식, 업로드된 파일 등을 포함해 사용자의 프롬프트는 전체 입력의 작은 부분에 불과합니다. 더 큰 컨텍스트 창이 자동으로 더 나은 AI 성능을 보장하지는 않습니다; 관련 정보를 포함하고 잡음을 배제하여 맥락을 최적화하는 것이 더 중요합니다. "Lost in the Middle" 문제는 매우 큰 맥락 깊숙이 묻혀 있는 정보가 덜 주목받을 수 있음을 강조합니다.중요한 점은, 맥락은 기억이 아니라는 것이다; 컨텍스트는 현재 요청에 사용할 수 있는 정보이고, 메모리는 애플리케이션이 의도적으로 저장하고 미래 대화에 재도입하는 데이터입니다. 이러한 차이점을 이해하는 것이 AI를 효과적으로 구축하고 상호작용하는 데 핵심입니다.