◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。
随着AI模型加速演进，长提示词处理、多轮对话、自主智能体（AI Agent）等场景持续普及，推理过程中的上下文内存需求——尤其是键值缓存（KV Cache）——正在急剧增长。在许多实际部署中，长上下文工作负载所需的KV Cache已超出GPU及系统内存的容量上限，成为AI基础设施扩展的新瓶颈。
针对这一挑战，ScaleFlux与AIC联合推出硬件平台，专为大规模AI推理基础设施中的上下文内存存储（Context Memory Storage，CMX，前称ICMS）场景而设计，助力这一新兴架构加速规模化落地。
CMX通过在GPU内存之外引入专属高性能存储层，承载并响应大规模上下文数据请求，在不牺牲推理延迟的前提下，有效应对AI Agent工作负载对内存容量的挑战。
此次联合方案整合了三大核心组件：AIC F2032-G6 JBOF存储系统、ScaleFlux NVMe固态硬盘，以及NVIDIA最新数据中心网络技术——包括NVIDIA BlueField-4 DPU与ConnectX-9 SuperNIC。共同构成面向现代AI集群CMX层的专属硬件架构。
AIC F2032-G6 JBOF是一款高密度NVMe存储系统，集成BlueField-4 DPU和/或ConnectX-9 SuperNIC，在GPU服务器与共享CMX存储之间实现高吞吐、低延迟的数据传输，是CMX基础设施层的理想硬件底座。
搭载ScaleFlux NVMe固态硬盘后，整套系统的能力进一步增强。ScaleFlux SSD专为KV Cache工作负载而优化，可持续支撑高IOPS、低延迟的数据访问，同时提升存储效率与整体系统利用率。各组件协同发挥作用，将"首Token生成时间（Time to First Token，TTFT）"这一关键指标压缩至更低水平，GPU等待数据的空闲时间随之缩短。GPU利用率的提升，意味着每一笔AI基础设施投入都能转化为更高的实际回报。
"AI推理正在从无状态查询快速转向持久化的长上下文交互。我们推出的F2032-G6平台，结合BlueField-4与ConnectX-9网络技术，为大规模上下文内存存储提供了所需的高性能存储架构。"
—— Michael Liang，AIC首席执行官
"上下文内存正在成为AI基础设施中的新数据层。将ScaleFlux NVMe固态硬盘与AIC高密度JBOF平台及NVIDIA先进数据中心网络技术相结合，我们为下一代AI推理流水线提供了针对性的硬件解决方案。"
—— Hao Zhong，ScaleFlux首席执行官兼联合创始人
该联合平台帮助AI基础设施团队系统性地解决以下关键挑战：
• 随着上下文窗口不断扩大、AI会话持续累积，KV Cache容量需求持续攀升
• 将上下文数据从GPU HBM与系统DRAM高效卸载（Offload）至外部存储层
• 为大规模GPU集群稳定提供低延迟的上下文数据服务
• 灵活支撑AI Agent与多模态推理等工作负载的持续增长
随着各行业持续部署更复杂的AI服务，对可扩展CMX基础设施的需求预计将快速增长。AIC F2032-G6 JBOF与ScaleFlux NVMe SSD的组合，为AI数据流水线中这一新兴层级提供了灵活高效的硬件支撑。
AIC与ScaleFlux携手，助力AI基础设施建设者构建高性能CMX系统，在提升GPU利用率的同时，支持下一代长上下文AI应用的规模化落地。
ScaleFlux是一家无晶圆厂半导体公司，专注于企业级存储与内存技术创新，业务覆盖云计算、AI、企业及边缘计算等核心领域。公司通过软硬件协同的整体化创新路径，为数据密集型应用提供高性能、高效率、高安全性的存储解决方案，助力全球企业与数据中心将海量数据转化为可落地的商业价值。
官网：www.scaleflux.com
联系邮箱：info@scaleflux.com
AIC Inc. 是服务器与存储解决方案领域的全球知名厂商。凭借近30年在高密度存储服务器、存储服务器裸机及高性能计算领域的深厚积累，AIC已将业务延伸至AI存储和AI边缘设备，品牌产品在市场上获得广泛认可。公司具备完整的内部设计、制造和验证能力，产品可灵活定制，满足多样化的形态需求。AIC总部位于中国台湾，在美国、亚洲及欧洲设有办公室和运营机构。
官网：www.aicipc.com
联系邮箱：sales@aicipc.com
◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。
工作时间：8：00-18：00
电子邮件
扫码二维码
获取最新动态
