先知研报 正好周五DS发布了基于国产卡的4.0版本，相比3.2版本实现了90%的算力和显存节约，硬件不足只能在有限的空间里挖潜，经过前几次的故事来看，以后Ai吹
- 序号：233
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
先知研报 正好周五DS发布了基于国产卡的4.0版本，相比3.2版本实现了90%的算力和显存节约，硬件不足只能在有限的空间里挖潜，经过前几次的故事来看，以后Ai吹软件层面压缩什么，提升什么效率，硬件就买什么。表面上是不需要了，实则是需求太大，才会推动你提升使用效率，没人会闲着优化无关紧要的东西，还有国内这么喜欢节约，就是硬件跟不上，只能在效率上下功夫。现在的KV压缩等一系列从逻辑上是提升了内存和算力的效率这点没错，但是因为现在hbm的容量和带宽是远小于卡的算力的，他实际上在解放hbm对一些重复任务的处理，相当于变相增大了内存的带宽和容量来释放GPU真实的算力，你要减配的话软件优化就等于白做了。如果你硬件减配，结果就好比你一块电池本来能跑300km，功率100km/h，你把能量密度提上来，本来能跑600km了，功率提到能跑120km/h，要是减少硬件配置就又变成原来300km的续航了。本身国产算力就不足，只能采取这种挤牙膏压榨的方法提升系统效率，还会有人嫌弃自己电脑的处理能力强或者手机电池相同体积电量大的吗？我想不会有人这么傻的，现在当然期望硬件越强越好。就像当时要不要算力和铜光之争一样，技术的点不用过于深度研究，很多人很喜欢从一个孤立的点去看，中间会有很多噪音，但是大方向依然一致，大方向精确，小方向模糊理解就ok。但是回答了基本面的问题，要注意算力租赁自我们提示翻倍之后，该是看图跟踪趋势的时候，低位多看逻辑变化，高位多看趋势量价。
总体总结
主题正文
- 先知研报 正好周五DS发布了基于国产卡的4.0版本，相比3.2版本实现了90%的算力和显存节约，硬件不足只能在有限的空间里挖潜，经过前几次的故事来看，以后Ai吹软件层面压缩什么，提升什么效率，硬件就买什么。
- 表面上是不需要了，实则是需求太大，才会推动你提升使用效率，没人会闲着优化无关紧要的东西，还有国内这么喜欢节约，就是硬件跟不上，只能在效率上下功夫。
- 现在的KV压缩等一系列从逻辑上是提升了内存和算力的效率这点没错，但是因为现在hbm的容量和带宽是远小于卡的算力的，他实际上在解放hbm对一些重复任务的处理，相当于变相增大了内存的带宽和容量来释放GPU真实的算力，你要减配的话软件优化就等于白做了。
- 如果你硬件减配，结果就好比你一块电池本来能跑300km，功率100km/h，你把能量密度提上来，本来能跑600km了，功率提到能跑120km/h，要是减少硬件配置就又变成原来300km的续航了。
- 本身国产算力就不足，只能采取这种挤牙膏压榨的方法提升系统效率，还会有人嫌弃自己电脑的处理能力强或者手机电池相同体积电量大的吗？
- 我想不会有人这么傻的，现在当然期望硬件越强越好。
- 就像当时要不要算力和铜光之争一样，技术的点不用过于深度研究，很多人很喜欢从一个孤立的点去看，中间会有很多噪音，但是大方向依然一致，大方向精确，小方向模糊理解就ok。
- 但是回答了基本面的问题，要注意算力租赁自我们提示翻倍之后，该是看图跟踪趋势的时候，低位多看逻辑变化，高位多看趋势量价。