看到都在刷Fable 5.1开...

图片

无图片

正文

看到都在刷Fable 5.1开始反蒸馏,对国内模型有什么影响?0902

Anthropic昨天发Fable 5.1,都在刷8项跑分第一,IPO估值2万亿。

还有在扒反蒸馏机制,说要卡国内大模型脖子。

反蒸馏堵的只是一种改历史上下文、再把思维链重放一遍的手段,而且只对新注册API账户生效。正常调用照样返回思维链。

其实国内头部很早就走纯RL的路,不靠抄作业。这个对A股公司影响很小,别费劲去找票了。

真正看的是价格表。输入10美元、输出50美元,一分没动。只砍了缓存读取,从1美元降到0.25美元,砍掉75%。

什么意思?

跑代码审查、遍历整个代码库这类agent任务,光重新翻旧资料就要吃掉一半以上的token,深有体会...

这块砍掉75%,整体使用成本最多降45%,前沿模型第一次把agent的账算平了。

AI应用不是不好用,是用不起。一个任务几十块钱成本,谁敢放量。现在成本掉一半,能跑通的场景一下子多了。

海外降,国内也会跟,调用量涨得会比价格降得快,典型的降价换量。

现在关注推理端,不看训练端。训练算力是资本开支,有天花板;推理算力跟着调用量走,量起来才是持续的。

国内推理芯片和应用侧的商业模型,今年下半年才真正进验证窗口。

详情页仍未获取到全文。原始列表正文可能被截断。

总体总结

主题正文

  1. 看到都在刷Fable 5.1开始反蒸馏,对国内模型有什么影响?
  2. Anthropic昨天发Fable 5.1,都在刷8项跑分第一,IPO估值2万亿。
  3. 反蒸馏堵的只是一种改历史上下文、再把思维链重放一遍的手段,而且只对新注册API账户生效。
  4. 这个对A股公司影响很小,别费劲去找票了。
  5. 跑代码审查、遍历整个代码库这类agent任务,光重新翻旧资料就要吃掉一半以上的token,深有体会...
  6. 这块砍掉75%,整体使用成本最多降45%,前沿模型第一次把agent的账算平了。
  7. 海外降,国内也会跟,调用量涨得会比价格降得快,典型的降价换量。
  8. 现在关注推理端,不看训练端。