【天风海外】Harvey (美国头部法律AI)架构更新:企业垂直领域里开源模型怎么实现领域知识与周级别持续学习? 事件:今日Harvey(美国头部法律 AI 公
- 序号:074
- 星球链接:打开网页
- 附件:图片 0,音频 0,文档 0
- 音频文件:无音频
图片
无图片
正文
【天风海外】Harvey (美国头部法律AI)架构更新:企业垂直领域里开源模型怎么实现领域知识与周级别持续学习?
事件:今日Harvey(美国头部法律 AI 公司,ARR 5亿美元)联合 Fireworks、Engram、Baseten、英伟达等发布 Tenet,专门为长时程法律任务训练的 AI agent 系统,用 150 张英伟达 B300 GPU 训练GSPO+rank-64 LoRA两个月。
我们认为:系统采用"两层模型架构": 通用能力层:基于中国开源模型 Kimi K3 ,与Fireworks合作强化学习训练泛化法律推理能力,一次训练卖给所有客户。LAB Contracts:SOTA 第一,超过所有闭源。且成本低于原版K3,负责通用长时程 legal agent、任务编排、work product 起草。
M&A Diligence 子 agent:GLM 5.2,负责dataroom 递归检索。 Fire Knowledge子Agent:由 Engram 用小型稠密模型 Qwen3.8-27B 为每家律所独立训练"参数化长期记忆",律所知识通过"预习学习"阶段直接写入模型权重。我们认为Qwen3.8-27B 是稠密小模型,per-firm study 训练或可以压到几张 GPU × 几天,Engram可weekly study update,单次查询成本 $0.13 vs $1.32(便宜 10 倍),intelligence-per-token 3×。100M tokens 律所知识 → 1M tokens 结构化笔记
谁受益谁受损?1、大参数量模型仍是任务规划必须,大小模型分层架构(我们认为后续SSI或采用onpolicydistillation也是小在线学习模型与大教师模型)下不同架构算力卡均充分利用2、开源模型与强化微调生态受益 3、Engram实现Context大幅压缩,我们认为KvCache相关需求明显受此路线压制。
刘欣/李泽宇
总体总结
主题正文
- 【天风海外】Harvey (美国头部法律AI)架构更新:企业垂直领域里开源模型怎么实现领域知识与周级别持续学习?
- 事件:今日Harvey(美国头部法律 AI 公司,ARR 5亿美元)联合 Fireworks、Engram、Baseten、英伟达等发布 Tenet,专门为长时程法律任务训练的 AI agent 系统,用 150 张英伟达 B300 GPU 训练GSPO+rank-64 LoRA两个月。
- 通用能力层:基于中国开源模型 Kimi K3 ,与Fireworks合作强化学习训练泛化法律推理能力,一次训练卖给所有客户。
- 且成本低于原版K3,负责通用长时程 legal agent、任务编排、work product 起草。
- M&A Diligence 子 agent:GLM 5.2,负责dataroom 递归检索。
- Fire Knowledge子Agent:由 Engram 用小型稠密模型 Qwen3.8-27B 为每家律所独立训练"参数化长期记忆",律所知识通过"预习学习"阶段直接写入模型权重。
- 我们认为Qwen3.8-27B 是稠密小模型,per-firm study 训练或可以压到几张 GPU × 几天,Engram可weekly study update,单次查询成本 $0.13 vs $1.32(便宜 10 倍),intelligence-per-token 3×。
- 1、大参数量模型仍是任务规划必须,大小模型分层架构(我们认为后续SSI或采用onpolicydistillation也是小在线学习模型与大教师模型)下不同架构算力卡均充分利用2、开源模型与强化微调生态受益 3、Engram实现Context大幅压缩,我们认为KvCache相关需求明显受此路线压制。