Plus tôt cette année, j'ai écrit un article sur la mise en œuvre de la tokenisation BPE en Go, ce qui a rendu possible la reproduction du tokenizer d'OpenAI.Aujourd'hui, je veux mentionner un nouveau projet sur lequel j'ai travaillé récemment: go-sentencepiece - une implémentation pure en Go du tokenizer SentencePiece utilisé pour les modèles de Google AI comme …