3月25日，全国科学技术名词审定委员会发布公告，将人工智能领域Token的中文名定为“词元”。
在语言模型中，Token是文本经过切分或字节级编码后得到的最小离散单元。在“词元”这一定名中，“词”点明其在语言场景下（试读）...
登录
