小飞侠 - tokenize 的评论
type: channel
link: http://www.kexue.love/index.php/archives/174/
description: 一、 背景与基础在使用GPT BERT模型输入词语常常会先进行tokenize ，tokenize具体目标与粒度是什么呢？tokenize也有许多类别及优缺点，这篇文章总结一下各个方法及实际案例...