Berkeley AI Research·· 2026-03-13AI 评分48
SPEX 与 ProxySPEX:大规模识别 LLM 的关键交互
Identifying Interactions at Scale for LLMs
AI 导读
SPEX 与 ProxySPEX 算法以极少的消融次数,大规模识别驱动 LLM 行为的关键特征、数据与模型组件交互。SPEX 利用稀疏性与低度性将搜索转化为可解的稀疏恢复问题,在输入扩展到数千特征时仍保持高 faithfulness;ProxySPEX 进一步利用层级结构,以约 10 倍更少的消融达到同等性能。
来源:Berkeley AI Research · bair.berkeley.edu