Базовая единица валюты в современных LLM является токеном; захватывающие новые модели имеют длинные контекстные окна из миллионов токенов. API-цены для крупных провайдеров определяются по токенам. Мы даже видим изобретение новых, производных единиц, например TPM (токены в минуту).Но что такое токены?Это OpenAI …