客户案例丨三千万级TPM快速扩容的背后
一天下午,数据宝的客户服务群里弹出一条消息:业务量要扩大,需要把TPM峰值额度提到三千万级,越快越好。
在Token(词元)服务市场,突发扩容是对平台能力的一次直接检验:它不看日常表现,只看这一刻能否承接。
发出这条需求的客户,刚与数据宝签约数周。
这是一支做搜索问答类智能体的团队。用户提问,AI实时作答,产品跑在主流开源大模型上,业务却一点也不"轻":流量随时可能爆发,响应慢一秒,用户就流失一批。
在遇到数据宝之前,他们经历过不少波折:可调用资源时常不足,渠道价格持续上涨,最突出的问题是稳定性——关键时刻一旦出现波动,损失的不仅是成本,还有用户与机会。
也正因此,在与数据宝接洽后,这支团队的回应十分迅速:第二天即完成商务对接,一周之内,合同落定。
签约快,不代表草率。签约前,他们把能问的都问了一遍:公司什么背景?资质齐不齐?业务量放大之后,Token调用能不能稳定承接?数据宝的回答很直接——国资背景,大数据资产交易合法经营资质、公安部信息系统安全等级保护备案证明(三级),以及已在贵州、重庆、海南、湖南、湖北、江苏、上海、福建、甘肃、北京10个省级单位取得的公共数据二级开发利用资质,一项项摆上台面。
客户的调用请求跑在数据宝全资子公司词元宝主运营的TopenRouter.com平台上。这支团队的开发排期安排得很紧,最担心的是TPM容量不足。
TPM(Tokens Per Minute),即每分钟允许处理的最大Token数量。三千万级TPM,意味着客户获得的是每分钟三千万个Token的峰值调用额度。
接到紧急的扩容需求后,数据宝第一时间完成了支援,没有排期等待,也没有反复协调。从那之后,这家客户每月在TopenRouter.com平台上的Token调用支出稳定在几十万元级别,运行至今保持稳定。
用量切过来之后,就再没有切走过。信任不是谈出来的,是在极限需求里长出来的。
三千万级 TPM 的突发需求,数据宝为什么接得住?
合规,是首要前提,让客户敢把业务需求交过来。数据宝是国资参股、政府监管扶持、市场化运作、具备大数据资产交易合法经营资质的大数据"国家队",也是国家级数据要素流通利用基础设施试点项目承担单位。公司坚持"原始数据不出库,数据产品交互零存储",以数据水印、隐私计算、同态加密等技术保障数据无痕安全交互。合规是底线,稳定是护城河。
资源,是日常保障。关键时刻拿得出的调用吞吐,不是接到需求才去凑的,而是长期整合、持续储备的结果。数据宝自研GPU统一调度平台,构建“算力一张网”,以智能调优和统一编排盘活算力资源;TopenRouter.com平台已集成90%以上主流大模型,日均Token调用量突破5000亿。能力不体现在宣传里,而体现在客户敢不敢把量切过来。
服务,是长期赋能。这个客户的服务群里,销售、技术、售后和管理层同群响应,响应不超时,问题不过夜。客户最常说的一句评价只有四个字:响应真快。
这家客户合作的词元业务,只是数据宝能力版图中的一块。
数据宝 2016 年成立于中国首个大数据综合试验区贵州省贵安新区,核心团队二十余年深耕数据要素运营。围绕“贵州新三宝”战略,数据宝与智算宝、词元宝三家公司协同,打造中国首个“数据+算力+Token”三合一API平台——数据宝提供数据API,智算宝提供算力API,词元宝提供Token API。
三者集成于一体,构建起“数据—算力—词元”全链路闭环,把分散的数据、算力、词元封装成标准化、可调用的服务。
如果说聚合与路由解决的是选型与成本问题,那么更独特的一层能力,是把长期治理积累的垂类行业数据集与通用模型深度融合,将高质量数据转化为高价值词元——这也是“数据原生”的含义:AI运行在公司治理过的垂类数据之上,而非通用语料之上。
三者被纳入同一套体系,统一调度、计量与结算。对客户而言,最直观的变化是:一个账户登录,月底一张账单。
目前,数据宝已开发1800余项标准化数据API产品,解决方案在泛互联网、金融科技、保险科技、交通物流等九大核心行业落地超300个应用场景,累计服务10000多家客户。
这样的故事,正在数据宝的更多客户身上发生、延续。合作之后,有客户主动把同行介绍过来,推荐的理由很朴素:用着放心。
口碑背后,是一个正在发生的市场转向。Token 服务一度被视为一门只比价格的生意,如今越来越多的客户开始认识到:单价比别人便宜一点,抵不过业务中断一次的损失。选择平台时,他们关注的问题正从“多少钱”转向“稳不稳”。
在这样的市场环境中,数据宝选择做长期主义者:把合规做在前头,把资源握在手里,把响应放进客户的服务群里。
价格会被反复比较,稳定性不会。当市场开始为“可靠”买单,长期主义者的价值,才刚刚开始被重估。
编辑:杨洁 一审:杨锐 二审:肖斌