涨配资招商银行申请大模型推理服务处理方法专利, 有效提高大模型推理服务的GPU资源利用率

国家知识产权局信息显示，招商银行股份有限公司申请一项名为“大模型推理服务处理方法、系统、存储介质及产品”的专利，公开号CN121542036A，申请日期为2025年11月。

专利摘要显示，本申请公开了一种大模型推理服务处理方法、系统、存储介质及产品，涉及大模型推理服务技术领域，该方法包括：代理进程转发外部服务请求给预填充实例；预填充实例进行推理服务的向量计算，将计算得到的向量存储至推理服务存储引擎；在预填充实例完成向量计算后，代理进程将外部服务请求转发给解码实例；解码实例调用推理服务存储引擎中存储的向量生成token，并通过代理进程将生成的token返回给外部请求方，本申请方案实现了大模型推理服务的阶段解耦，有效的提高了大模型推理服务的GPU资源利用率，并有效提高多节点运行的稳定性。

天眼查资料显示，招商银行股份有限公司，成立于1987年，位于深圳市，是一家以从事货币金融服务为主的企业。企业注册资本2521984.5601万人民币。通过天眼查大数据分析，招商银行股份有限公司共对外投资了15家企业，参与招投标项目5000次，财产线索方面有商标信息1330条，专利信息2318条，此外企业还拥有行政许可433个。

声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。

本文源自：市场资讯

盛康优配提示：文章来自网络，不代表本站观点。