字节论文揭示 DeepSeek 分块 KV Cache 压缩的周期性相位盲区
字节团队论文发现,DeepSeek V4 系列因分块 KV Cache 压缩产生相位敏感性,同一问题仅多加几个空格,答案质量就天差地别。在 128K Token 的大海捞针测试中,DeepSeek-V4-Flash-Base 不同位置的准确率最大差距达 40.2%;DeepSeek-V4.1-Flash 把压缩步长砍半后差距降至 6.1%,但仍未消除。
字节团队论文发现,DeepSeek V4 系列因分块 KV Cache 压缩产生相位敏感性,同一问题仅多加几个空格,答案质量就天差地别。在 128K Token 的大海捞针测试中,DeepSeek-V4-Flash-Base 不同位置的准确率最大差距达 40.2%;DeepSeek-V4.1-Flash 把压缩步长砍半后差距降至 6.1%,但仍未消除。
字节 OpenViking 团队用三篇论文拆解 Agent 上下文管理的三个环节:VikingMem(VLDB 收录)管记忆、TrieHI(ICDE 收录)管目录化存储、VikingRAG 管按需检索。
字节 Seed 团队发现 DeepSeek-V4 的检索准确率随信息在输入中的位置以 4 个 Token 为周期变化,128K 长上下文测试中同一条信息仅换位置最多相差 40.2 个百分点。
推荐理由:原文揭示了分块 KV Cache 压缩会带来与压缩步长同周期的检索弱点,并给出按相位分别评测的方法。
复旦大学可信具身智能研究院、Bytedance International Live Content AI 团队与上海创智学院联合发布 Live Assistant,面向真实直播场景提出基于内容理解的三方反馈范式,将直播建模为异构、长时、多方互动的持续状态决策。
字节跳动安全研究团队与香港城市大学联合提出的 TWIST 被 ACM CCS 2026 接收,通过密钥将输入 Token 与模型计算映射到同一变换坐标空间,使云端在混淆态下完成标准推理。