2025年8月12日，华为在2025金融AI推理应用落地与发展论坛上发布AI推理创新技术UCM，这一技术以KV Cache为中心，融合多类型缓存加速算法工具，可降低对HBM技术依赖，实现高吞吐、低时延推理体验，降低推理成本。华为计划9月开源该技术，此发布正值AI产业关键转型节点，有望为产业链带来新机遇。
UCM技术发布详情
8月12日，华为于2025金融AI推理应用落地与发展论坛上，正式发布AI推理创新技术UCM（推理记忆数据管理器）。UCM是一款以KV Cache为中心的推理加速套件，融合多类型缓存加速算法工具，通过分级管理推理过程中产生的KV Cache记忆数据，扩大推理上下文窗口，实现高吞吐、低时延的推理体验。同时，华为与中国银联共同发布AI推理最新应用成果，完善中国AI推理生态关键部分。
UCM技术原理及优势
UCM通过优化KV Cache记忆数据管理，降低每Token的推理成本。KV Cache虽能优化计算效率，但生成文本越长，缓存数据量越大。UCM通过动态KV逐层卸载、位置编码扩展等组合技术，将超长序列的Cache分层卸载至外置专业存储，实现10倍级推理上下文窗口扩展。此外，UCM可根据记忆热度在HBM、DRAM、SSD等存储介质中实现按需流动，融合多种稀疏注意力算法实现存算深度协同，使长序列场景下TPS提升2至22倍。
UCM技术对行业的影响
该技术有望降低中国AI推理对HBM技术的依赖。当HBM不足时，AI推理体验会下降。而UCM的出现有望缓解这一瓶颈。目前，AI大模型训练对内存带宽需求增长，传统DDR内存无法满足，HBM成本占比高。随着AI产业从追求模型能力极限转向追求推理体验最优化，UCM提供更低推理成本，为产业链公司带来机遇。同时，随着信息技术应用创新产业国产化改造提速，UCM的核心价值凸显，其能提供更快推理响应、更长推理序列。
UCM技术开源计划
华为计划于2025年9月正式开源UCM，届时将在魔擎社区首发，后续逐步贡献给业界主流推理引擎社区，并共享给业内所有Share Everything存储厂商和生态伙伴。
以上文章由 AI 总结生成