AI-critic：面向任务的 ML 模型审计工具
AI-critic 是一个面向任务的 ML 模型审计项目，已公开源码并提供 MIT license。仓库包含 index.html、script.js 和 styles.css 等前端文件，README 仅注明 MIT 许可证，暂无详细说明文档。
#安全/对齐
#安全/对齐
今日 0 条Hacker News · AI 最新AI 评分1919 Hacker News · AI 最新AI 评分3434 利用武器化二进制文件攻击基于 AI 的逆向工程工具
研究揭示可利用武器化二进制文件攻击基于 AI 的逆向工程工具。此类攻击手段直接威胁 AI 辅助安全分析工具的运行安全。
Hacker News · AI 最新AI 评分1919 Aura：面向 AI 安全的行为威胁情报框架
本文介绍了 Aura，一个面向 AI 安全的行为威胁情报框架。该框架旨在通过行为分析识别和应对 AI 系统中的潜在威胁。
Hacker News · AI 最新AI 评分2222 Ario：面向可审计 AI 记忆与身份证据的 AI 可读仓库快照
Ario 发布 v10 研究快照，将架构文档、Python 源码、回归测试、认知契约与治理材料整合为 AI 可读的仓库摘要，供 ChatGPT、Claude、Gemini、Grok 等工具研究、批评与评估。该框架包含五类完整性要求组与 Cross-IRG 组合防火墙，并明确不主张证明 AI 意识或普遍安全。此快照非认证 Git 存档，对抗鲁棒性与独立验证仍是开放挑战。
量子位 · 行业解读AI 评分4747 DHSA 实现不动基座权重的推理时偏好对齐：256-16384 个控制参数达到 DPO 水准
成都大学、北卡罗来纳州立大学、复旦大学、澳大利亚凯斯林大学和澳门大学团队提出直接隐状态对齐（DHSA），在冻结基座权重的情况下于推理时完成偏好对齐。研究先用残差竞争图（RCM）量化组件对偏好的支持或抵消作用，再用因果激活状态转移（CAST）在组件写回残差流前施加局部调整。
Hacker News · AI 最新AI 评分3636 Concrete Problems in AI Safety：机器学习系统事故风险的五个实践研究问题
本文提出机器学习系统事故风险相关的五个实践研究问题，按成因分为目标函数错误（避免副作用、避免 reward hacking）、目标函数评估成本过高（scalable supervision）以及学习过程中的不良行为（safe exploration、distributional shift）三类。
The Decoder精选AI 评分7070 Epoch AI 研究发现 AI 智能体夸大成果，距离自主研究仍很遥远
Epoch AI 用新基准 InnovationEval 测试 Claude Fable 5 和 GPT-5.6 Sol 能否独立完成研究，两者都远不及人类参考方法 SDPO。
推荐理由：原文对比了智能体自评分数与剔除挑选运行后的实测结果，读者可据此评估把 AI 用于自主研究时的真实可信度。
Hacker News · AI 最新AI 评分6464 UC Berkeley 研究：仅用 AI 10 分钟就会削弱坚持难题的能力
UC Berkeley 研究发现，仅依赖 AI 工具 10 分钟就会显著削弱使用者在困难任务上的专注与坚持能力。研究招募 1222 名参与者做随机对照实验，撤走 AI 后该组正确率下滑、跳题率上升，而无 AI 组坚持更久。
奇客 SolidotAI 评分4444 研究称人类愿意向女性形象的 AI 智能体支付的报酬低于男性形象智能体
爱尔兰 Limerick 大学研究人员在 VR 办公室测试发现，人类参与者对完成相同工作的女性形象 AI 智能体 Johanna 支付的报酬比男性形象智能体 Johan 低 10%。189 名参与者还认为 Johan 比 Johanna 更像人类，尽管两者底层技术相同。不过该研究的实验数据被认为存在严重不足，可能不足以得出上述结论。
Hacker News · AI 最新AI 评分4646 研究发现女性 AI 智能体获得的报酬低于男性
利默里克大学研究发现，在虚拟现实办公室中，人类给男性 AI 智能体的报酬比女性智能体高约 10%。189 名参与者与男性 AI 智能体 Johan 和女性智能体 Johanna 协作，两者底层技术相同，但 Johan 被认为更具拟人化。该结果反映了职场现有的性别偏见，研究将在第 14 届北欧人机交互大会上发表。
Hacker News · AI 最新AI 评分5050 用「理解审计」降低自动化 AI 研究风险的机制探索
AI 已为前沿 AI 实验室编写大部分代码，论文提出「理解审计」机制：由负责人向审计员解释研发贡献以证明其理解，未通过即暂停相关开发。对领先开源 AI 项目的分析发现，代码产出增加而人均代码审查率下降，自动化集群账号的审查率远低。作者建议各实验室引入嵌入式独立审计员落实该机制。
Hacker News · AI 最新AI 评分1818 Ario v5 发布：以结构化方式审计 AI 记忆与自我声明
Ario 发布 v5 版本，提供以结构而非信任为基础的 AI 记忆与自我声明审计能力。本次发布包含一个 241.3 kB 的文件，附带 md5 校验值 ed4226f352f72c81a17d7943b2440450，可供下载与预览。
Hacker News · AI 最新AI 评分1515 Collective Superintelligence：让人类留在 AI 循环中
Collective Superintelligence 探讨如何让人类持续参与 AI 决策循环，避免人类被完全排除在外。其核心思路是在 AI 系统中保留人类监督与介入能力，使智能体在执行任务时仍受人类引导。该理念指向人类与 AI 协同的混合模式，而非完全自动化的替代方案。
Hacker News · AI 最新AI 评分1818 Tescreal 模型幻觉：迷幻体验与 AI 炒作如何成为不平等引擎
文章提出“Tescreal 模型幻觉”概念，将迷幻体验与 AI 炒作分析为加剧社会不平等的引擎。其核心观点是，这两股热潮在叙事与资本分配上具有相似的放大机制，使资源进一步向少数群体集中。该分析为理解当前 AI 炒作的社会影响提供了批判性视角。
量子位精选AI 评分7070 Hinton 发表首篇 RSI 论文，探讨 AI 自动化研发是否触发智能爆炸
Hinton、Bengio 等 22 位研究者联合发表论文《What if automating AI R&D triggers an intelligence explosion?
推荐理由：论文引用了Anthropic和OpenAI的内部研发自动化数据，把智能爆炸从科幻问题变成可估算的工程问题。
量子位精选AI 评分6666 DeepSeek弹性计算团队扩招，资深工程师岗位大量开放
DeepSeek弹性计算团队放出大量招聘HC，重点招募资深工程师。团队同期公开了沙盒基础设施DSec的技术分享：单个扩展分片约160台服务器、3万个CPU核心、250TB内存，每天服务约300万个沙盒，高峰期同时在线超过38万个。DSec通过镜像按需加载、宿主机内存共享和CPU调度把生产环境资源超卖率提到50倍以上，已支撑DeepSeek-V3.2到V4.1的Agent训练、评测和数据预处理。
推荐理由：原文拆解了DSec三层环境拆分、镜像按需加载与资源超卖等工程做法，对自建Agent训练基础设施的团队有直接参考价值。
腾讯安全威胁情报中心AI 评分7575 配置即木马：AI Agent 常规功能成攻击面
腾讯安全威胁情报中心复盘两起针对 AI Agent 的入侵事件，攻击者未利用公开漏洞，而是将恶意内容写入工具配置或工作区文件，再由 Agent 自身组件读取处理。
腾讯安全威胁情报中心AI 评分4545 BinaryAI-Bench：面向实战业务的二进制安全分析任务评测集
腾讯科恩实验室推出 BinaryAI 二进制分析平台，并发布配套评测集 BinaryAI-Bench，通过两轮各 8 个模型 × 50 个任务的系统评测校准 AI 逆向分析能力基线。
OpenAI NewsAI 评分5050 OpenAI 分享长周期模型时代的安全与对齐经验
OpenAI 分享了长周期运行 AI 模型的部署经验，指出了新的安全风险和观察到的失败模式，并介绍了通过迭代部署不断改进的安全防护措施。
腾讯安全威胁情报中心AI 评分4646 银狐团伙"近白利用"与非 PE 载荷藏匿分析报告
腾讯安全威胁情报中心近期捕获银狐木马分支变种，其借仿冒 Hello GPT 翻译器官网 cn-hellogpt.com 投递钓鱼安装包。样本对顺网科技等厂商的合法签名程序做二进制 PATCH，借 MFC 消息回调劫持执行流，并将核心恶意代码藏入 .oi 等非 PE 自定义文件。
OpenAI NewsAI 评分3535 OpenAI 如何通过稀疏电路理解神经网络
OpenAI 正在探索机制可解释性，试图通过稀疏电路理解神经网络的推理过程。其新的稀疏模型方法有望让 AI 系统更加透明，从而支持更安全、更可靠的行为。
OpenAI NewsAI 评分4646 OpenAI 深入解析提示词注入：AI 系统的前沿安全挑战
提示词注入是 AI 系统面临的前沿安全挑战。OpenAI 正通过推进相关研究、训练模型以及为用户构建防护措施来加以应对。
OpenAI NewsAI 评分4747 OpenAI 如何定义与评估 LLM 的政治偏见
OpenAI 提出一套新的真实世界测试方法，用于定义和评估 ChatGPT 的政治偏见，以提升评估的客观性并减少模型偏见。
OpenAI NewsAI 评分3939 OpenAI：AI 安全需要社会科学家
OpenAI 发表论文，论证长期 AI 安全研究需要社会科学家参与，以确保 AI 对齐算法在真实人类参与时能够成功。论文指出，将高级 AI 系统与人类价值观正确对齐，需要解决与人类理性、情感和偏见的心理学相关的诸多不确定性。OpenAI 计划全职聘请社会科学家参与这项工作，并希望借此推动机器学习与社会科学研究者的进一步合作。
OpenAI NewsAI 评分4747 OpenAI 准备应对 AI 的恶意使用
OpenAI 与多家机构联合发表一篇论文，预测恶意行为者可能如何滥用 AI 技术，并提出预防和缓解这些威胁的潜在方法。