“Token”是大模型处理信息的最小信息单元,具有智能时代可计量、可定价、可交易的特征。其形式可以是单个字符,也可以是多个字符组成的序列。例如,英文场景下的Token可能是完整单词(如“Apple”)或单词的一部分(如“ing”);中文场景下的Token可能是一个字或词组;此外,标点符号、空格等非文字符号也可被抽象为Token。
围绕Token的调用、分发与结算,一套新的价值体系正在加速演进形成,并成为人工智能产业可能变现的重要路径。AI时代,Token经济,或者说“词元经济”正在崛起。
Token和当下热门的 OPC、AI 政策有啥关系?

当下热门的OPC、AI 创业、算力补贴,里面提到的训力券、模型券、语料券,全都是按词元消耗量来补贴和结算的。词元可以说是AI 世界的货币与计量单位。
责任声明:凡注明“来源:成都号”的文章均由成都号整理,未经许可不得以任何形式转载!如本网内容涉及版权、隐私等权利问题,请相关权利人及时在线反馈给成都号,本网承诺会及时处理。
微信扫一扫
分享到朋友圈
了解更多成都本地办事、民生热点,欢迎关注微信公众号
成都号
鸿海便民服务