Ранее в этом году я написал пост о реализации токенизации BPE на Go, что сделало возможным воспроизведение токенизатора OpenAI.Сегодня я хочу упомянуть новый проект, над которым я недавно работал: go-sentencepiece - чистая реализация токенизатора SentencePiece на Go, используемую в моделях Google AI, таких как …