현대 LLM의 기본 통화 단위는 토큰입니다. 흥미로운 새로운 모델은 수백만 토큰의 긴 문맥 창을 가지고 있습니다. 대형 공급업체의 API 가격은 토큰당입니다. TPM (분당 토큰)와 같은 새로운 파생 단위의 발명까지도 보고 있습니다.하지만 토큰은 무엇입니까?이 OpenAI …