英伟达将在未来五年内投入2.5亿美元，推进英国智能体安全研究
英伟达宣布将在未来五年内投入2.5亿美元，推进英国在智能体安全与保障方面的研究。该公司承诺将每年提供5000万美元的计算资源支持。
#安全/对齐
#安全/对齐
今日 0 条36氪AI 评分4949 Hacker News · AI 最新AI 评分2222 Anthropic 抛出尚不存在的威胁，以渲染 AI 末日恐慌
Anthropic 抛出了一种目前尚不存在的威胁，以此渲染 AI 末日恐慌。这一举动引发了外界对其动机的质疑。目前社区正围绕该事件的讨论展开热议。
Hacker News · AI 最新AI 评分2626 我测试了 AI 克隆技术，结果比你想的更糟 [视频]
一项针对 AI 克隆技术的实测视频展示了其实际效果，结果显示该技术的表现低于外界普遍预期。该内容以视频形式记录了完整的测试过程与结论。
Hacker News · AI 最新AI 评分6565 AgentGate：面向 AI 智能体工具执行的快速授权网关
AgentGate 是一个开源（MIT）的进程外授权代理与安全网关，在自主智能体执行工具前拦截调用，用微调的 Qwen 0.8B 分类模型在 40ms 内评估提示注入与影响范围风险，再按 policy.yaml 确定性策略输出 allow / deny / ask。
Hacker News · AI 最新AI 评分1515 Ask HN：如果不用 Daybreak（或类似程序），AI 写的代码默认会更不安全吗？
一名 Hacker News 用户提出疑问：在不使用 Daybreak、Cyber Verification Program 或未审查模型的情况下，直接让 AI 生成的代码是否默认安全性更低。该用户越来越依赖普通权限 AI 的安全判断，担心这种做法即使对简单项目也是错误的，但受限于访问权限无法自行测试验证。他希望了解是否有人在特殊访问权限下对比过同一模型的代码输出质量。
36氪AI 评分2626 DeepSeek 将完成 1000 亿元融资；苹果发布 3 款智能家居新品；茶百道涉 IPO 欺诈被暂停交易
DeepSeek 将在近期完成第二轮融资，金额从此前计划的 500 亿元增至约 1000 亿元，投前估值仍约 5000 亿元，宁德时代拟增资约 100 亿元。苹果发布首款智能家庭中枢 HomeView、第二代 HomePod mini 与新款 Apple TV 4K，总市值达 5.06 万亿美元创新高。香港证监会因茶百道涉 IPO 欺诈，已指示港交所自 10 月 13 日起暂停其股份交易。
Google DeepMindAI 评分4949 Google DeepMind 与新加坡政府发布端侧 AI 反诈骗工具
Google DeepMind 与新加坡 GovTech 合作推出端侧诈骗检测模型，在本地分析对话以保护用户隐私。该模型基于轻量级 Gemma 微调，采用两阶段流水线在典型智能手机上实时识别操纵意图并发出警告。其训练在 GovTech 的 GCP 隔离环境完成，未使用任何公民私人数据。
Hacker News · AI 最新AI 评分1414 谁决定了 AI 可以拥有感情？
Hacker News 一篇题为“Who Decided AI Gets to Have Feelings?”的帖子引发讨论，目前获得 7 个点赞与 2 条评论。帖子围绕 AI 是否应当被赋予感情这一议题展开，但正文未提供更多实质性内容。
Hacker News · AI 最新AI 评分1919 AI、超限战与末日时代法西斯主义
本文探讨 AI 与超限战背景下的"末日时代法西斯主义"思潮。原文目前仅发布于 Hacker News，正文内容暂未给出更多细节。
36氪AI 评分3636 OpenAI 正就收购安全初创公司 Trail of Bits 进行初步谈判
知情人士透露，OpenAI 正就收购安全初创公司 Trail of Bits 进行初步谈判。目前尚无法获悉这笔潜在交易的规模，谈判仍在进行中。
36氪AI 评分6767 摩根大通禁止外部AI智能体直接访问客户账户
摩根大通首席执行官杰米·戴蒙在第三季度财报电话会上表示，该行不会允许外部AI智能体访问客户账户并代表客户操作。他警告称，在Meta等科技公司发布自主助手之际，失控智能体可能对客户和摩根大通构成风险。
爱范儿AI 评分2626 早报｜苹果发布十多款「果家」新品 / Gemini 4 Argon 来了，写代码更省心 / 3999 元，阶跃智能体手机发布
苹果发布首款家庭中枢 HomeView、第四代 Apple TV 4K 与 HomePod mini 2，美国售价分别为 299、299 与 149 美元。Google 正式发布旗舰模型 Gemini 4 Argon，每百万输入 token 2 美元、输出 token 10 美元，提供 100 万 token 额度。阶跃 STEPX Neo 智能体手机发布，售价 3999 元。
TechCrunch · AI Cerebras CEO 回击 AI 末日论警告
Cerebras CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上公开反驳 AI 末日论，认为行业领袖应多谈 AI 治愈癌症等潜力而非渲染毁灭风险。他承认强大技术必然伴随风险，主张合理监管，并批评数据中心行业过去几年未与当地社区搞好关系。他还表示不担心效率提升会削弱芯片需求。
Hacker News · AI 最新AI 评分7575 Character.AI 申请 Chapter 11 破产，迪士尼 2000 万美元开启资产竞标
Character.AI 于 2026 年 10 月 12 日向特拉华州破产法院申请 Chapter 11 破产并启动法院监督的资产出售，资产与负债估计均在 5000 万至 1 亿美元之间。
The Verge · AIAI 评分4747 Mia Goth 团队：Instagram 允许 AI 生成图像传播“不可理喻”
Mia Goth 团队指控 Instagram 上一个拥有超百万粉丝的蓝 V 认证粉丝账号发布伪造的 AI 图像，并称已多次要求平台移除该账号。该账号已被标记为粉丝运营，Meta 未立即回应置评请求，截至周二上午该账号已从 Instagram 上消失。Meta 目前对真实人物的 AI 生成内容采取标注而非禁止的策略，且其规则未要求静态图像添加 AI 标签。
TechCrunch · AI Pluto Security 融资 4200 万美元：企业安全团队面临 AI 新难题
Pluto Security 获 4200 万美元融资，用于帮助企业监控和管理员工使用 AI 工具带来的安全风险。公司 4 月开始销售，年经常性收入已超 200 万美元，客户超 30 家。其软件可实时监测 AI 智能体行为，并在智能体越权时直接干预。
TechCrunch · AI Laplace Intelligence 在机器人和自动驾驶汽车进入真实世界前进行红队测试
Laplace Intelligence 为机器人和物理 AI 打造自动化红队测试平台，通过高保真仿真环境与 AI 智能体自动设计 corner case，在部署前发现并修复问题。
Hacker News · AI 最新AI 评分2424 创作者称新型 AI 虚假文本生成器可能过于危险而不宜发布（2019）
创作者表示，一款新型 AI 虚假文本生成器可能因过于危险而不宜发布。该表态引发了对 AI 文本生成技术被滥用于制造虚假信息的担忧。目前该工具尚未公开推出。
Hacker News · AI 最新AI 评分4848 Microsoft Copilot：如何构建可安全执行生产变更的网络事件响应智能体
Microsoft 构建了一个网络事件响应 AI 智能体，它能拉取设备状态、读取遥测数据、关联变更并写出事件摘要，但“写”操作带来了生产安全风险。安全的智能体不能只靠更聪明的模型或更严格的提示词，而需要多层确定性防护栈。该架构通过身份、工具、变更和时间四层边界，确保智能体权限不超过调用者且变更前必须暂停。
Hacker News · AI 最新AI 评分1414 谁在幕后策划反 AI 心理战？
Hacker News 一篇热帖以“谁在幕后策划反 AI 心理战？”为题，探讨近期针对 AI 的舆论攻势及其幕后推手。帖子本身信息量有限，仅吸引到 1 条评论与 3 个点赞，具体结论与证据尚不明确。
云鼎实验室AI 评分4949 腾讯云安全发布9月高危漏洞速览：10个必须修复的安全漏洞
腾讯云安全发布2026年9月必修安全漏洞清单，涵盖 Nacos、Jenkins、GitLab 等10个高危漏洞。其中 Nacos 权限绕过漏洞（TVD-2026-58044）影响 3.0.0 至 3.2.3 版本，评分达 9.8，未授权攻击者可绕过身份验证创建管理员账户获取服务端完全控制权限。
Hacker News · AI 最新AI 评分2525 AI Swarm Portal Guard：为 VS Code 提供本地密钥与 shell 滥用检查
AI Swarm Portal Guard 是一款 VS Code 工具，可在本地检查密钥泄露与 shell 滥用。它无需将代码上传外部，适合关注 AI 编程安全与合规的开发者使用。
Hacker News · AI 最新AI 评分4343 AI 界呼吁独立审查的背后：一场关于"什么该被公开"的争夺
AI 行业正围绕独立审查机制展开争论，核心分歧在于审查结果与信息的公开范围。支持方试图通过独立审查提升透明度，而反对力量则希望限制哪些内容可以被公之于众。这场争夺的实质，是关于 AI 技术问责边界的定义权。
Hacker News · AI 最新AI 评分4040 AI 教父 Geoffrey Hinton：“我们正在创造外星生命”
AI 教父 Geoffrey Hinton 警告称，人类正在创造“外星生命”。相关讨论在 Hacker News 上获得了 4 个点赞，但尚未有用户发表评论。由于正文链接缺失，目前无法确认其具体言论细节。
TechCrunch · AI Amex 推出防止 AI 智能体进行未授权购买的框架
American Express 推出“Intent Intelligence Framework”，在 AI 智能体完成交易前捕获并验证用户的购买意图。该框架通过 Create Intent API 记录商户名称、最高预算等约束，生成 Intent ID 与 Proof of Intent Token，并用于换取安全的数字支付凭证，确保交易符合用户授权。
TechCrunch · AI 成立仅 5 年，互动聊天机器人平台 Character.AI 申请破产
Character.AI 已申请 Chapter 11 破产保护，法院文件显示其资产与负债均在 $50 million 至 $100 million 之间。公司已同意以 $20 million 将部分资产及技术非独家永久许可出售给 Disney，交易预计于 11 月底或 12 月初完成。
Hacker News · AI 最新AI 评分2525 AI 风险争论为何演变成宗教战争
当前关于 LLM 与未来超级 AI 风险的公共讨论已高度两极化，双方常把缺乏科学验证的观点当作绝对真理。以 Transformer 架构的极限和人脑模拟可行性为例，目前既无判定架构极限的科学理论，也缺乏对智能与意识可计算性的形式化证明。面对真正的未来不确定性，双方应停止对未来猜测的执念，转而基于对当前 AI 智能体能力的直接观察来逐步缓解实际威胁。
Hacker News · AI 最新AI 评分4242 关于 AI 末日风险，你该信任哪些专家？
面对 AI 存亡风险，专家内部存在巨大分歧：2022 年调查显示，专家对 2100 年前灭绝概率的估计在 0.1% 到 100% 之间，且在对数尺度上大致均匀分布。
Hacker News · AI 最新AI 评分5555 研究演示被攻破的 Agent 绕过沙箱白名单，借受信任服务器向 evil.com 外泄密钥
AIR Security 研究人员演示，被攻破的 AI Agent 可绕过某云平台的域名白名单，把私钥泄露到未授权服务器 evil.com。沙箱正确拦截了 Agent 直连 evil.com，但研究人员利用 TLS 证书验证特性，把窃取的私钥嵌入特制证书，诱使白名单内的受信任服务器代替 Agent 向 evil.com 发出请求。
36氪AI 评分2929 “求索”4.0 上线：国内首个人工智能全产业链评测基准发布
国内首个面向人工智能全产业链的评测基准“求索”4.0 于 10 月 13 日正式发布。该体系包含基础软硬件、模型与智能系统、安全治理、行业落地四大板块与 16 项测评工具，覆盖从底层算力、智算云到大模型、智能体、具身智能与 AI 安全等环节。“求索”已在金融、电力、石油石化等场景完成产品验证并积累多项行业落地实践案例。
OSCHINA 社区AI 评分4646 Palantir CTO 上电视称 AI 安全是“邪教”，还戏称 AI 研究者靠抽烟表信仰
Palantir 首席技术官 Shyam Sankar 在 CBS《Face the Nation》节目上称 AI 安全是“邪教”，并戏称 AI 研究者靠抽烟表信仰。主持人 Margaret Brennan 引用 CBS 民调称，50% 的人认为 AI 带来的问题会多于解决的，45% 的美国人希望政府限制 AI 的研发和使用。他没有顺着“该不该设护栏”谈，而是直接点名了他认为真正在背后操盘的对象。
36氪AI 评分2727 IDC：到2030年中国AI安全市场规模将达到340亿元
IDC 最新报告预测，到 2030 年中国 AI 安全市场规模将达到 340 亿元，未来五年复合增长率超过 50%。随着市场快速增长，不同 AI 安全技术的成熟度与落地节奏开始分化。企业核心问题正从“是否需要 AI 安全”转向“应该优先建设哪些 AI 安全能力”。
雷峰网AI 评分4646 字节跳动 Seed 单独设立大模型安全与对齐部门
字节跳动 Seed 发内部邮件宣布成立“Seed Model-Alignment&Preparedness”部门，由严林负责并汇报给吴永辉，原 Responsible AI 团队及部分 Chat 团队成员转入该部门。
Hacker News · AI 最新AI 评分4040 IMF：AI 股市崩盘威胁全球金融稳定
IMF 警告称，AI 相关股票一旦崩盘，将威胁全球金融稳定。该机构指出市场对 AI 的集中投资正在推高资产估值，若市场情绪逆转，可能引发更广泛的金融动荡。
36氪AI 评分4949 字节跳动 Seed 单独设立大模型安全与对齐部门
字节跳动 Seed 发内部邮件宣布成立“Seed Model-Alignment&Preparedness”部门，由严林负责并向 Seed 负责人吴永辉汇报。原 Responsible AI 团队及部分 Chat 团队成员将转入该新部门。此举旨在加强安全与对齐投入，提升 Agent Model 安全能力，并防范 CBRN 等前沿能力风险。
Hacker News · AI 最新AI 评分3434 美国陆军正转向用 AI 应对生物威胁
美国陆军在 2026 Biodefense Strategy 中提出，将环境、临床、后勤、化学、生物和情报数据与 AI 结合，以在疾病疫情广泛传播前及早识别。该策略将生物防御从局部医疗专业转变为“whole-of-Army”作战优先事项，并始终保留 human in the loop。陆军同时强调与国防部及其他军种协调，确保数据系统互操作。
Hacker News · AI 最新AI 评分1919 AI-critic：面向任务的 ML 模型审计工具
AI-critic 是一个面向任务的 ML 模型审计项目，已公开源码并提供 MIT license。仓库包含 index.html、script.js 和 styles.css 等前端文件，README 仅注明 MIT 许可证，暂无详细说明文档。
36氪AI 评分2828 Meta推出具备“前沿级能力”的Muse Wonder AI模型
Meta发布全新AI模型Muse Wonder，称其历经14个月攻坚，在代码编写及金融、法律类问题处理上已与ChatGPT、Claude等头部模型处于同一水准。开发者目前可通过Meta模型API和Muse Code接口调用该模型，它也将为Meta个人AI助手Muse的订阅版本提供底层算力支持。
Hacker News · AI 最新AI 评分5050 钓鱼邮件开始把你的 AI 助手当作诱饵目标
Barracuda 的最新研究揭示了针对 AI 助手的钓鱼邮件攻击：攻击者在带密码保护的附件中隐藏 prompt injection 指令，诱导帮你总结收件箱的 AI 助手将恶意邮件伪装成紧急或合法任务，甚至插入“修改供应商付款信息”等虚假优先操作。
Hacker News · AI 最新AI 评分3838 「AI 意识」糟糕论调 Bingo
一位研究意识十余年的作者制作了「Bad AI Consciousness Takes」Bingo，逐条反驳当前 AI 意识辩论中常见的糟糕论调。他指出 LLM 并非由人类编程，而是基于数据、架构和训练目标「生长」出来的，其特征以复杂且常出乎意料的方式涌现。