跳到正文
Berkeley AI Research·AI 评分42

Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法以规模化识别 LLM 关键交互

Identifying Interactions at Scale for LLMs

AI 导读

Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法,利用稀疏性和层级结构特性,通过少量消融实验规模化识别大语言模型(LLM)的关键特征、数据及组件交互。SPEX 在数千个特征的长上下文中保持高忠实度,优于 LIME 等边际方法;ProxySPEX 进一步将计算成本降低约 10 倍。该框架为提升模型可解释性与安全性提供了高效工具。

来源:Berkeley AI Research · bair.berkeley.edu