今年の初めに、GoでBPEトークン化を実装する方法に関する投稿を書きました。 これで、OpenAIのトークナイザーを再現することが可能になりました。最近、ハックしている新しいプロジェクトについて話そうと思います。 go-sentencepiece - Google AIのモデル、例えば…のようなSentencePieceトークナイザーの純粋なGo実装です。