量子位 · 行业解读·· 4 天前AI 评分47
DHSA 实现不动基座权重的推理时偏好对齐:256-16384 个控制参数达到 DPO 水准
偏好对齐也能在推理时完成!256-16384个控制参数达到DPO水准
AI 导读
成都大学、北卡罗来纳州立大学、复旦大学、澳大利亚凯斯林大学和澳门大学团队提出直接隐状态对齐(DHSA),在冻结基座权重的情况下于推理时完成偏好对齐。研究先用残差竞争图(RCM)量化组件对偏好的支持或抵消作用,再用因果激活状态转移(CAST)在组件写回残差流前施加局部调整。
来源:量子位 · 行业解读 · mp.weixin.qq.com