올해 초에 나는 Go에서 BPE 토큰화를 구현하는 글을 썼고, 이는 OpenAI의 토크나이저를 재현하는 것이 가능하게 했다.오늘 나는 최근에 작업하고 있는 새로운 프로젝트에 대해 언급하고 싶다: go-sentencepiece - Google AI의 모델과 같은 SentencePiece 토크나이저의 순수한 Go 구현입니다.