江苏电信“Token运营”初显成效
创始人
2026-02-04 07:32:41
0次
本报讯（记者 周春柏）在人工智能浪潮中，一个看不见却至关重要的计量单位正在幕后忙碌地工作——它就是Token。Token即通常所说的词元，是处理文本的最小数据单元。近期，江苏电信以“Token运营”为导向，基于数智中台构建Token运营体系，较好地解决了大模型故障定位慢、处置难、成本计算不清等痛点问题。截至目前，江苏电信内部大模型月调用量突破2000万次，每月消耗Token量超300亿。
基于AI的Token运营主要围绕消耗、优化、成本控制与价值转化展开，关键在于将Token消耗转化为实际的业务价值。江苏电信打造大模型精准流控体系，从故障发生后被动限流转向事前主动管控，纳管全省18个统一供给大模型，精准管控并发请求数、Token使用量，支持高、中、低优先级的差异化调度。流控系统上线后，DeepSeek等7个核心大模型累计拦截异常调用超百万次，有效避免模型阻塞，在当前算力条件下保障全省核心AI应用平稳运行。
江苏电信构建智能体自动化计费机制，从人工统计转向智能度量。以Token用量统计为基础，结合省内AI应用共享、独享算力等模式，构建动态成本测算机制，自动生成应用级Token使用量和成本分摊账单。据统计，江苏电信已完成135个AI应用接入和统计，后续将持续推动全量智能体覆盖和纳管。
此外，江苏电信升级大模型精细化运营能力，故障定位从模型级转向应用级。传统运维依托显存利用率、等待队列等模型层指标，仅能识别模型级异常，难以定位异常应用。引入Token明细数据后，优化告警处置与运维管控手段，实现应用级故障快速精准定位，时长由5分钟降至2分钟，效率提升了60％。
相关内容
热门资讯
武斌：标准化商业范式已翻篇 定...
观点地产网 8月13日下午，2026博鳌消费暨文商旅康养大会在海南蓝湾绿城威斯汀度假酒店召开。...
视频丨暑期过半文旅热度持续攀升...
“森林书苑”新体验 低头看书 抬眼观景在北京城市图书馆，一座由144根仿银杏树状立柱支撑起的“森林书...
正丹股份：投资者建议发可转债转...
投资者提问：建议贵司继续发行可转债，提升公司科技实力，从传统化工企业转型为科技型企业，进入人工智能、...
投资者提问：公司在稀土行业深耕...
投资者提问：公司在稀土行业深耕多年，稀土相关业务已占营收的70 ％以上，也终于迎来业绩转折点，后期将...
让青春动能成为发展增量，京东春...
来源:海外网乘着“青春经济”蓬勃兴起的东风，京东春晓计划将于9月推出“工厂新生代训练营”。训练营旨在...
深圳沙井马安山旧改调整新增宅地...
观点网讯：8月11日，深圳市规划和自然资源局宝安管理局发布通告，《宝安[沙井中心地区南片]法定图则1...
与腾讯云的“纸上合作”，让中鼎...
21世纪经济报道记者 石恩泽 8月13日，中鼎股份（000887.SZ）早盘再度封上涨停板，并将涨停...
挪威央行将政策利率维持在4.2...
当地时间8月12日，挪威央行货币政策与金融稳定委员会决定将政策利率维持在4.25%不变，符合市场预期...
神州高铁：投资者建议董事会股东...
投资者提问：董秘你好！前面发高息债还债利息和投资，然后投资几年的子公司现在又要转让，感觉上市公司发展...
安全应急装备产业发展“十五五”...
工业和信息化部、应急管理部近日联合印发《安全应急装备产业发展“十五五”规划》。规划提出，到2030年...