TOON против JSON: Проверка реальности — Когда это экономит токены, а когда нет

TOON (Token-Oriented Object Notation) представлен как альтернатива JSON, экономящая токены, но его фактические преимущества часто преувеличены в маркетинге. Заявленная экономия в 50% обычно сравнивает TOON с красиво отформатированным JSON, а не с минифицированным JSON, используемым в реальных приложениях LLM. По сравнению с минифицированным JSON, TOON предлагает значительную экономию, до 35%, особенно для больших, однородных массивов объектов. Однако TOON может фактически увеличить использование токенов на 10-20% для объектов конфигурации и глубоко вложенных структур из-за его зависимости от пробелов и повторных объявлений ключей. Эффективность TOON обусловлена объявлением имен полей один раз для однородных массивов, а затем перечислением значений, что похоже на строки CSV. Для нетабличных данных его отступы, похожие на YAML, становятся более многословными, чем минифицированный JSON, потому что пробелы и повторяющиеся ключи по-прежнему потребляют токены. Обычный CSV является наиболее эффективным форматом для чисто табличных данных без какой-либо иерархии, превосходя TOON примерно на 30%. YAML, как правило, является наименее эффективным форматом для использования токенов. Разработчики должны измерять фактическую экономию токенов с учетом своих конкретных полезных данных, а не полагаться на общие заявления. Такие факторы, как предвзятость данных обучения LLM, отсутствие стандартизации, сложность отладки и штрафы за смешанные структуры данных, являются важными соображениями. TOON — ценный инструмент для конкретных случаев использования, таких как большие однородные массивы, но минифицированный JSON остается лучшим выбором для вложенных объектов, конфигураций и смешанных структур данных. Разумный выбор формата на основе характеристик данных является ключевым моментом: TOON для однородных массивов, CSV для плоских таблиц и минифицированный JSON для других сценариев.