🚀 💡 一、V4 的核心变化：记忆存储计算分离加 100 万上下文长度 💡 记忆存储计算分离，是把约从昂贵的显卡显存中搬出来，放到系统内存与固态硬盘中 💡 10

• 序号：088
• 星球链接：打开网页
• 附件：图片 0，音频 0，文档 0
• 音频文件：无音频

图片

无图片

正文

🚀

💡 一、V4 的核心变化：记忆存储计算分离加 100 万上下文长度 💡 记忆存储计算分离，是把约从昂贵的显卡显存中搬出来，放到系统内存与固态硬盘中 💡 100 万超长上下文，会让键值缓存、记忆表急剧膨胀，显存不足时需要用内存补充 💡 核心逻辑一句话总结：从转向 💡 二、为什么这必须使用 CXL 💡 要让显卡像访问自身显存一样低延迟、高带宽地访问远端内存与固态硬盘，传统高速串行总线无法满足需求 💡 CXL 能够提供，显卡可直接访问主机内存池，无需数据拷贝与中转 💡 CXL 支持内存扩展，单服务器可挂载太字节级别的第五代双倍数据率内存，成本远低于高带宽显存 💡 CXL 可连接存储设备，低频冷数据存放在 CXL 固态硬盘中，可按需调入内存 💡 三、实际效果（已被测算） 💡 CXL 一体机可将参数容量从 6710 亿扩展到 12000 亿，推理性能提升 💡 CXL 近数据处理可使推理吞吐量提升，且不损失精度

总体总结

主题正文 总结：从转向 💡 二、为什么这必须使用 CXL 💡 要让显卡像访问自身显存一样低延迟、高带宽地访问远端内存与固态硬盘，传统高速串行总线无法满足需求 💡 CXL 能够提供，显卡可直接访问主机内存池，无需数据拷贝与中转 💡 CXL 支持内存扩展，单服务器可挂载太字节级别的第五代双倍数据率内存，成本远低于高带宽显存 💡 CXL 可连接存储设备，低频冷数据存放在 CXL 固态硬盘中，可按需调入内存 💡 三、实际效果（已被测算） 💡 CXL 一体机可将参数容量从 6710 亿扩展到 12000 亿，推理性能提升 💡 CXL 近数据处理可使推理吞吐量提升，且不损失精度