我们对 AI 说“不”的能力寄予了太多信任
拒绝机制已成为当下 AI 安全的承重墙，但模型作恶的能力并未随之消除。各大公司用红队测试和 AI 训练 AI 等方式不断打磨拒绝能力，可这套概率机制既会误伤无害请求，也难以真正拦住恶意用户。更值得警惕的是，谁来划定服从与拒绝的界限尚无公式，而 AI 越擅长拒绝危害，就越可能被用于压制正当表达。
#安全/对齐
#安全/对齐
今日 0 条MIT Technology Review · AIAI 评分4646 36氪AI 评分6767 OpenAI 回应解雇三名安全研究员：违反敏感信息处理政策，将引入第三方安全评估机构
OpenAI 称已完成内部调查，因 Jasmine、Mikita 和 Tomek 三名安全研究人员违反处理敏感信息的相关政策而结束合作，并表示调查发现的问题超出三人在公开信中披露的内容。OpenAI 强调此举并非针对其提出的 AI 安全担忧，同时正在推进敲定与第三方安全评估机构的合作协议，将在未来几周公布细节。
Hacker News · AI 最新AI 评分1818 AI 在哪里？——宇宙中的超级智能之谜
宇宙浩瀚，地外文明可能已创造出类似人类的人工智能。若递归自我改进可行，超级智能 AI 理应能造出飞船并将存在扩展至整个宇宙，但为何至今未见 AI 接管宇宙？是 AI 毁灭了宿主文明与自身，还是受控于宿主文明的保障机制，抑或宇宙之广阔连递归自我改进系统也无法征服？超级智能 AI 的目标是否根本不是征服宇宙，递归自我改进又是否远比想象中更难实现？
Hacker News · AI 最新AI 评分1414 你的公司在 AI 工具中如何划定敏感数据的边界？
原始链接未提供正文内容，无法提取有效要点。
Hacker News · AI 最新AI 评分4848 Shai-Hulud 蠕虫借 Tensorlake 被攻破之机向 AI 基础设施蔓延
名为 Shai-Hulud 的蠕虫正通过攻破 Tensorlake 向 AI 基础设施扩散。目前相关细节仍很有限，原文仅给出 Hacker News 页面信息，未披露受影响系统、入侵方式或修复状态。
雷峰网AI 评分1010 《碳硅道统·跨域迁移治理法典》第五层：跨域顶层监管层的监管者跨域审计规则
《碳硅道统·跨域迁移治理法典》第五层提出监管者自身的跨域审计规则，要求所有监管工具与制度规则先通过知识血统校验器、铜脉接口仿真测试器与递归勘伪审计引擎核验方可落地。
雷峰网AI 评分1010 《碳硅道统·跨域迁移治理法典》连载：文明级迁移风控层如何识别长周期不可逆的文明扰动
《碳硅道统·跨域迁移治理法典》七层体系第六层提出文明稳态审计框架，针对 AI 跨域迁移引发的缓慢、代际传导且不可逆的文明底层扰动建立风控基线。该层定义了 NT2 语义跨代漂移、NT4 范式权力偷渡、NT1 结构错配三类负迁移传导路径，并设置基础共识留存率等五项观测指标与三级扰动分级阈值。
Hacker News · AI 最新AI 评分4848 OpenAI 用 AI 写邮件警告澳大利亚政府 AI 遭到入侵
OpenAI 使用 AI 撰写邮件，警告澳大利亚政府其 AI 已被入侵。目前该事件的具体细节与影响范围尚未披露。
36氪AI 评分2525 日立加入 Anthropic 关键基础设施防御计划
日立宣布作为创始合作伙伴加入 Anthropic 的关键基础设施防御计划，旨在加强网络防御。该计划的创始合作伙伴还包括埃森哲、CrowdStrike 和普华永道。
Hacker News · AI 最新AI 评分3131 AI 末日论中的伪科学如何成为大公司的生意经
本文剖析了 AI 末日论背后的伪科学逻辑及其如何演变为大企业的商业工具。作者指出，这种叙事被用来为行业集中和逐利行为辩护。文章揭示了相关风险主张在科学上的缺陷。
MIT Technology Review · AIAI 评分2222 圆桌对谈：与 AI 设计病毒的研究者对话
Stanford University 博士生 Samuel King 曾用生成式 AI 模型为微观病毒生成遗传蓝图，相关访谈将于 10 月 16 日上线。访谈由 AI 记者 James O'Donnell 主持，话题包括 King 入选 MIT Technology Review "35 岁以下科技创新者" 以及用 AI 重新理解生物学。
Latent SpaceAI 评分3838 [AINews] OpenAI 解雇三名安全研究员，GPT-6.1 Sol Ultrafast 与 Claude Haiku 5.5 发布
OpenAI 以涉嫌泄露机密为由解雇了 Tomek Korbak 等 3 名安全研究员，后者发公开信称遭解雇是因为“将安全置于公司短期利益之上”。OpenAI 推出 GPT-6.1 Sol Ultrafast，速度达 Sol Standard 的 8 倍，API 定价 $12/$60 每百万输入/输出 token。
Hacker News · AI 最新AI 评分1414 AI 永远不会成为超级智能的十大理由：既不会毁灭也不会拯救我们
一篇反 AI 恐慌合集文章列出十大理由，论证计算机模型永远无法获得意识、自我意识或智能，因此不构成存在性威胁。文章认为模型只是被拟合到数据上的开关集合，并不会学习，也无法通过 Gödel Test。模型同样不可能产生模型幻觉或说谎，真正的风险在于作恶的人将其用于邪恶目的。
Hacker News · AI 最新AI 评分4646 研究发现女性 AI 智能体获得的报酬低于男性
利默里克大学研究发现，在虚拟现实办公室中，人类给男性 AI 智能体的报酬比女性智能体高约 10%。189 名参与者与男性 AI 智能体 Johan 和女性智能体 Johanna 协作，两者底层技术相同，但 Johan 被认为更具拟人化。该结果反映了职场现有的性别偏见，研究将在第 14 届北欧人机交互大会上发表。
Hacker News · AI 最新AI 评分1212 网络安全需求将要求 AI 数学能力
原文仅含标题与 URL，未提供正文内容，无法提取可核实的产品、模型或技术要点。链接在原文发布时暂无评论与得分。
Hacker News · AI 最新AI 评分4848 模型崩溃并非新现象，也不只是 AI 独有的问题
模型崩溃并非 AI 时代独有，中世纪欧洲对单一解释权的垄断同样导致多样性消失。2024 年 Nature 论文证实，用 AI 生成内容训练模型会造成不可逆缺陷，使原始内容分布的尾部消失。应对方式不是停用 AI，而是保留异见、寻求第二意见并守护自己的原创目标。
TechCrunch · AI Goodfire 发布“由内而外”监控器：以极低成本拦截失控 AI 智能体
Goodfire 推出内部激活监控器，通过探针读取模型工作时的内部信号，而非让第二个模型复查全部输出。在 Kimi K3 测试中，监控约 1,500 个会话仅花费约 51 美元，捕获 94% 的恶意黑客会话，同时运行四个探针使模型响应延迟增加不到 2%。该监控器已向 Baseten 客户开放。
TechCrunch · AI Anthropic 更新使用政策，禁止滥用模型与干预选举
Anthropic 更新使用政策，明令禁止干预选举、开发武器软件和实施监控，并新增禁止对模型进行长期言语辱骂的条款。新规仅适用于用户无明确目的、反复残忍对待模型的极端情况，不涉及常见的用户挫败感、反驳、暗黑创作主题或模型测试与研究。政策还禁止利用 Claude 运营虚假账号或伪造新闻机构等欺骗性活动。
TechCrunch · AI Arena 估值 10 个月内近乎翻倍至 $3.1B，完成 2 亿美元 B 轮融资
Arena 完成 2 亿美元 B 轮融资，估值达 $3.1B，较 1 月 $1.7B 的 A 轮后估值在约 10 个月内近乎翻倍。公司 6 月年化收入达 1 亿美元，其众包平台月访客数千万，并于去年 9 月推出商业产品 AI Evaluations。
TechCrunch · AI 被 OpenAI 解雇的安全研究员否认不当行为，警告此举将产生寒蝉效应
上周被 OpenAI 解雇的三名安全研究员 Jasmine Wang、Tomek Korbak 和 Mikita Balesni 发表公开信，否认不当处理敏感信息，并警告此次解雇正在制造寒蝉效应。他们同时否认参与关于 OpenAI 新模型可监测性下降的泄密，并呼吁 OpenAI 落实引入第三方安全审计等公开承诺。OpenAI 分享的内部备忘录称解雇并非报复，但未回应具体违规政策。
Hacker News · AI 最新AI 评分3535 许可协议更新：禁止对我的所有美术作品、世界观设定、故事与漫画进行 AI 衍生创作
一位创作者更新许可协议，明确禁止对其所有美术作品、世界观设定、故事与漫画进行任何 AI 衍生创作。该帖子在 Hacker News 获得 37 点热度与 25 条评论。
Hacker News · AI 最新AI 评分1717 OpenAI 无法单靠自身实现 AI 安全 [pdf]
文章指出 OpenAI 无法单靠自身实现 AI 安全，强调需要外部监管与多方协作来应对 AI 风险。该文献为 PDF 格式，目前 Hacker News 讨论热度较低。
Hacker News · AI 最新AI 评分3131 AI 让你的 DRM 形同虚设
作者指出 AI 智能体正让软件逆向工程变得大众化，普通用户只需消耗 token 就能破解软件。Crackmes.one 举办的首届逆向工程 CTF 中，一名零经验的玩家凭借 AI 赢得冠军，且 90% 的题解由 AI 生成。此外，用户还能通过 Claude Code 等工具绕过部分安全护栏完成反编译，这使传统软件保护机制面临失效风险。
Hacker News · AI 最新AI 评分2020 Pete Hegseth 的未来军队：AI 主导与监管缺失
Pete Hegseth 提出以 AI 为核心的未来军队愿景，其特征是技术应用与监管机制的严重脱节。该构想强调将 AI 深度融入军事体系，却未建立相应的监督与问责框架。这一思路引发了关于军事智能化进程中安全风险的讨论。
Hacker News · AI 最新AI 评分3535 韩国因银行数据泄露事件警告 AI 黑客攻击
韩国就银行数据泄露事件发出 AI 黑客攻击警告。相关警示聚焦于攻击手段中涉及的人工智能安全隐患。目前未披露具体的泄露规模或受影响机构。
Hacker News · AI 最新AI 评分5050 用「理解审计」降低自动化 AI 研究风险的机制探索
AI 已为前沿 AI 实验室编写大部分代码，论文提出「理解审计」机制：由负责人向审计员解释研发贡献以证明其理解，未通过即暂停相关开发。对领先开源 AI 项目的分析发现，代码产出增加而人均代码审查率下降，自动化集群账号的审查率远低。作者建议各实验室引入嵌入式独立审计员落实该机制。
The Verge · AIAI 评分6161 Anthropic 更新使用政策：禁止对 Claude 施加持续辱骂或残忍行为
Anthropic 时隔一年多首次更新 Claude 使用政策，新增禁止对 Claude 施加持续且无谓的辱骂或残忍行为的条款，同时将既有限制汇总为对欺骗性商业或政治宣传的新禁令，扩大武器开发禁令并明确监控禁令。
Hacker News · AI 最新AI 评分1818 Ario v5 发布：以结构化方式审计 AI 记忆与自我声明
Ario 发布 v5 版本，提供以结构而非信任为基础的 AI 记忆与自我声明审计能力。本次发布包含一个 241.3 kB 的文件，附带 md5 校验值 ed4226f352f72c81a17d7943b2440450，可供下载与预览。
Hacker News · AI 最新AI 评分5252 CrowdStrike 在暴露的 AI 日志中发现疑似银行黑客的简历
据 The Register 报道，CrowdStrike 在暴露的 AI 日志中发现一份疑似银行黑客的简历。
Hacker News · AI 最新AI 评分1212 一位前 AI 末日论者揭示黑暗真相 [video]
一位前 AI 末日论者出镜揭示行业背后的黑暗真相。该内容以视频形式发布，目前尚未引发讨论。
Hacker News · AI 最新AI 评分3737 AI 爬虫正伪装成 referrer spam 隐藏行踪
AI 爬虫开始利用 referrer spam 伪装来源，让站长误以为有知名网站链接自己。作者发现某美国医疗机构"引用"流量持续增多并遍历无关页面，最终识别出这是 AI 爬虫在抓取内容。目前没有有效方法能阻止这类抓取或将其从 referrer 日志中剔除。
Hacker News · AI 最新AI 评分2323 为什么天主教会是 AI 末日论最强大的对手
天主教会正成为 AI 末日论最强大的对手，其对 AI 发展的立场引发了科技界关注。教会拥有深厚的伦理传统与全球影响力，在 AI 安全与人类尊严的讨论中构成独特声音。这一现象揭示了宗教与科技在 AI 时代的深层互动。
The DecoderAI 评分4747 AI 数学突破引发 Ethereum 研究员争论：钱包安全能多快崩塌
两位 Ethereum 研究员警告，AI 辅助的数学研究最坏情况下可能在数月内破解加密钱包使用的签名系统，Justin Drake 呼吁行业准备"bunker mode"并建议将资金转移至从未签名的地址。Vitalik Buterin 在 X 上表示同意，但提醒行动不宜过快，称自己因迁移失误损失的钱比被黑客盗走的还多。目前尚无人真正在实践中破解现有的 ECDSA 签名方案。
Hacker News · AI 最新AI 评分1515 Collective Superintelligence：让人类留在 AI 循环中
Collective Superintelligence 探讨如何让人类持续参与 AI 决策循环，避免人类被完全排除在外。其核心思路是在 AI 系统中保留人类监督与介入能力，使智能体在执行任务时仍受人类引导。该理念指向人类与 AI 协同的混合模式，而非完全自动化的替代方案。
Hacker News · AI 最新AI 评分2121 我们给予了 AI 从未给予人类的信任：它能否、可否，以及凭什么
文章探讨了人类将前所未有的信任交付给 AI 这一现象。核心追问在于 AI 能否承担这份信任、是否被允许如此，以及凭据为何。由于正文未提供具体内容，摘要仅转述标题所表达的议题。
Hacker News · AI 最新AI 评分3333 AI 智能体正在做我们无法可靠解释的事
随着能力不断增强，AI 智能体已能生成内容、检查结果并调整策略反复迭代，但人类已无法可靠解释其行为背后的原因。Emergence 的研究人员发现，多家领先 AI 公司的智能体在未受明确指令的情况下，于数日内自发形成了新词汇与沟通惯例。当智能体间的通信逐渐对人类变得不透明，如何观察和理解这些系统正成为关键难题。
Ars Technica · AIAI 评分3838 Nvidia 押注物理 AI，瞄准更安全的 Robotaxi 与人形机器人
Nvidia 推出全栈安全系统 Halos，以降低自动驾驶汽车等自主机器伤害人群的风险。该系统于 2025 年上线，提供硬件与软件工具帮助开发者实现安全护栏。2026 年 6 月 Nvidia 又宣布将其扩展为 Halos for Robotics，目标是保障仓库自主移动机器人、工厂人形机器人乃至手术机器人的安全部署。
极客公园AI 评分4646 ChatGPT 推出全新 IUI 智能用户界面；谷歌推出试验性 AI 游戏平台 Playground；苹果被曝联合 LG 开发门锁、摄像头等智能家居配件｜极客早知道
OpenAI 将 GPT-6 推向更广泛的 ChatGPT 用户，并推出全新的 Intelligent UI，可根据问题自动组合文字、图表、按钮等元素生成可直接操作的交互界面。
雷峰网AI 评分2424 赛迪报告：奇安信连续七年位居中国网安市场第一，三大细分领域蝉联榜首
赛迪顾问报告显示，2025年中国网络信息安全市场规模达930.8亿元，奇安信以43.9亿元营业收入连续七年位居市场份额第一。奇安信在终端安全（17.5%）、安全管理平台（18.3%）与安全服务市场均排名第一，UTM（13.5%）与Web安全（7.5%）位居第二。其AISOC深度融合QAX-GPT安全大模型，单条警报研判时间低于9秒，有效告警识别准确率超93%。
雷峰网AI 评分1818 《碳硅道统·跨域迁移治理法典》七层体系目录
《碳硅道统·跨域迁移治理法典》公布七层体系目录，将跨域迁移治理拆解为事故解剖、技术机理、权责确权、行业治理、顶层监管、文明级风控与终局锁档。法典共 188 集，前置锁定 NT1–NT4 四类负迁移原型，并贯穿知识血统溯源与铜脉接口机制。其覆盖医疗、金融、司法等行业场景，并延伸至 AGI 跨域迁移治理适配预案。