你可能没听说过“词元”这个词青海泡沫板专用胶厂家,但你几乎定用过它,或许对它的英文名熟悉——Token。
奥力斯 pvc管道管件胶批发 联系人:王经理 手机:15226765735(微信同号) 地址:河北省任丘市北辛庄乡南代河工业区
今天上午,国务院新闻办公室举行新闻发布会,介绍九届数字建设峰会有关情况。国数据局局长刘烈宏透露,截至今年3月,我国日均Token调用量已过140万亿。他特意补充了句——“也就是词元的调用量”。
不少业内人士认为这是个标志时刻:Token这个AI域核心的技术术语终于有了官认可的中文名字青海泡沫板专用胶厂家。
140万亿是什么概念?Token又是什么?为什么它的调用量会被官当作个关键指标来发布?这些问题正悄悄揭开个属于普通人的新世界。
什么是词元(Token)?国数据局表示,词元是大模型处理信息的“小信息单元”,具备可计量、可定价、可交易的核心特征。
对于不常接触AI域的人来说,这段话还是有些抽象。可以这样理解:如果把大模型比作个大厨,把要处理的信息比作食材,那么词元就是大厨眼中“口能吃掉的小单位”。词元是AI理解和生成信息的小计量单位。你问AI个问题,它“吃”进去多少个词元,又“吐”出来多少个词元,就是它的工作量。
也可以把Token想象成AI世界里的“字”或“词”青海泡沫板专用胶厂家,是对文字、符号甚至图片的小段信息的切分结果。比如你跟AI说句话:“今天天气不错。”在AI内部,这句话会被拆成几个词元:“今”“天”“天气”“不”“错”“。”这些词元就是AI用来理解和生成内容的“小砖块”。AI不会直接读整句话,而是按词元为单位去计、匹配、生成。
此外,你可以把词元理解成AI的“积木”:不管是文字、语音、图片、,AI都会先把内容拆成个个“词元积木”,再用这些积木拼接、理、生成结果。词元就是人工智能理解和生成人类语言的“乐积木”或“原子”。当我们人类读书看报时,看到的是个个字、个个词。但AI的“大脑”是计机,它看不懂人类的文字,只能处理数字。因此,需要把人类的句话切碎成小块小块的“基本单元”,然后再喂给AI。这个“基本单元”就是词元“Token”。
几位和学者解释基本致,浙江大学校区隐形研究中心行政主任相渊指出,词元就是AI读文字、说话的小单位,相当于它的“语言小颗粒”。每次与AI对话或写段话,都在消耗词元。如果你用过AI帮你写周报、问菜谱、翻译英文邮件,每次对话的背后都有成千上万个词元在飞速流转。
在科技圈,Token度是个让翻译者头疼的词。浙江大学长三角智慧绿洲创新中心未来设计实验室执行主任、浙江大学人工智能学院教授柴春雷表示,它在不同场景下含义不同:在网络安全里叫“令”,在区块链里叫“代币”,到了大模型域,保温护角专用胶过去有人译作“标记”,也有人干脆不翻用英文。这次官选定的“词元”被不少语言学和计机学者认为翻得漂亮。“词元”既保留了语言的彩,又体现了作为“计逻辑单元”的严谨。
日均140万亿次的词元调用量,相当于全国每人每天平均调用了约10万个词元。而与AI对话次,通常消耗几百到几千个词元不等。这意味着AI已经嵌入了我们的日常生活,只是很多人还没意识到。
国数据局在发布会上的数据还让人联想到另组经典指标——用电量。回望工业时代,衡量个地区的发展水平往往看它的“用电量”;而在数字经济和人工智能时代,衡量个社会智能化程度的标尺很可能是“词元调用量”。
目前市面上大模型API的计费式已经在按词元计价。输入多少词元、输出多少词元,明码标价。未来,你可能会收到份Token账单,代表你本月动用了多少AI大脑来协助工作和生活。就像现在每个月交水费、电费样,未来我们或许也要为自己消耗的词元买单。随着AI越来越普及,词元会逐渐成为种刚需“能源”。日常用智能工具、AI服务,基本都离不开它。
杭州AI创业公司的技术负责人表示,未来的普通用户可能不需要知道“词元”这个词,但他们的每次智能交互,不管是语音助手、智能客服还是AI搜索,背后消耗的都是词元。它就像自来水管里的水,你拧开龙头就有,但不太会去想水厂的事。
从Token到词元,从个圈内术语到登上国新办发布会,不仅是个新词的出现,是个明确的信号:人工智能正在以前所未有的速度融入人的日常。国数据局指出,围绕词元的调用、分发与结,套新的价值体系正在加速演进形成,并成为人工智能产业商业化的重要路径。我国日均词元调用量的大幅增长表明,随着数据要素市场化配置改革的纵进,人工智能质量数据的供给体系正在形成,“数据供给—价值释放”的良循环初显。
140万亿只是个起点。在这个由“词元”构筑的数字新世界里,我们才刚刚启程。
相关词条:铁皮保温施工 隔热条设备 锚索 离心玻璃棉 万能胶生产厂家1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定,并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方,并积极配合修改。
3.凡用户访问本网页,均表示默认详情页的描述,不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》,以此来变相勒索商家索要赔偿的违法恶意行为。
