TOON vs JSON: 현실 점검 — 토큰을 절약할 때와 그렇지 않을 때

TOON (토큰 지향 객체 표기법)은 JSON의 토큰 절약 대안으로 제시되지만, 실제 이점은 마케팅에서 과장되는 경우가 많습니다. 주장되는 50% 절감 효과는 일반적으로 TOON을 보기 좋게 정렬된 JSON과 비교한 것이지, 실제 LLM(대규모 언어 모델) 애플리케이션에서 사용되는 축소된 JSON과 비교한 것이 아닙니다. 축소된 JSON과 비교했을 때, TOON은 특히 크고 균일한 객체 배열에 대해 최대 35%의 상당한 절감 효과를 제공합니다. 그러나 TOON은 공백과 반복적인 키 선언에 의존하기 때문에 구성 객체 및 깊이 중첩된 구조의 경우 실제로 토큰 사용량을 10-20% 증가시킬 수 있습니다. TOON의 효율성은 균일한 배열에 대해 필드 이름을 한 번 선언한 다음 값을 나열하는 방식에서 비롯되며, 이는 CSV 행과 유사합니다. 비표 형식 데이터의 경우, YAML과 유사한 들여쓰기가 공백과 반복된 키가 여전히 토큰을 소비하기 때문에 축소된 JSON보다 더 장황해집니다. 순수하게 표 형식 데이터의 경우, 계층 구조가 없는 경우 일반 CSV가 가장 토큰 효율적인 형식이며, TOON보다 약 30% 더 뛰어납니다. YAML은 일반적으로 토큰 사용 측면에서 가장 비효율적인 형식입니다. 개발자는 일반적인 주장에 의존하기보다는 특정 데이터 페이로드로 실제 토큰 절감 효과를 측정해야 합니다. LLM 훈련 데이터 편향, 표준화 부족, 디버깅 복잡성, 혼합 데이터 구조에 대한 페널티와 같은 요소도 중요한 고려 사항입니다. TOON은 크고 균일한 배열과 같은 특정 사용 사례에 유용한 도구이지만, 축소된 JSON은 중첩된 객체, 구성 및 혼합 데이터 구조에 가장 적합한 선택입니다. 데이터 특성에 따라 지능적으로 형식을 선택하는 것이 핵심이며, 균일한 배열에는 TOON, 평면 테이블에는 CSV, 기타 시나리오에는 축소된 JSON을 사용하는 것이 좋습니다.