跳到正文

#安全/对齐

今日 0 条
10月14日周三
  3. Hacker News · AI 最新15

    Ask HN：如果不用 Daybreak（或类似程序），AI 写的代码默认会更不安全吗？

    一名 Hacker News 用户提出疑问：在不使用 Daybreak、Cyber Verification Program 或未审查模型的情况下，直接让 AI 生成的代码是否默认安全性更低。该用户越来越依赖普通权限 AI 的安全判断，担心这种做法即使对简单项目也是错误的，但受限于访问权限无法自行测试验证。他希望了解是否有人在特殊访问权限下对比过同一模型的代码输出质量。

  6. TechCrunch · AI

    Cerebras CEO 回击 AI 末日论警告

    Cerebras CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上公开反驳 AI 末日论，认为行业领袖应多谈 AI 治愈癌症等潜力而非渲染毁灭风险。他承认强大技术必然伴随风险，主张合理监管，并批评数据中心行业过去几年未与当地社区搞好关系。他还表示不担心效率提升会削弱芯片需求。

  8. Hacker News · AI 最新48

    Microsoft Copilot：如何构建可安全执行生产变更的网络事件响应智能体

    Microsoft 构建了一个网络事件响应 AI 智能体，它能拉取设备状态、读取遥测数据、关联变更并写出事件摘要，但“写”操作带来了生产安全风险。安全的智能体不能只靠更聪明的模型或更严格的提示词，而需要多层确定性防护栈。该架构通过身份、工具、变更和时间四层边界，确保智能体权限不超过调用者且变更前必须暂停。

10月13日周二
  2. Hacker News · AI 最新25

    AI 风险争论为何演变成宗教战争

    当前关于 LLM 与未来超级 AI 风险的公共讨论已高度两极化，双方常把缺乏科学验证的观点当作绝对真理。以 Transformer 架构的极限和人脑模拟可行性为例，目前既无判定架构极限的科学理论，也缺乏对智能与意识可计算性的形式化证明。面对真正的未来不确定性，双方应停止对未来猜测的执念，转而基于对当前 AI 智能体能力的直接观察来逐步缓解实际威胁。

  4. OSCHINA 社区46

    Palantir CTO 上电视称 AI 安全是“邪教”，还戏称 AI 研究者靠抽烟表信仰

    Palantir 首席技术官 Shyam Sankar 在 CBS《Face the Nation》节目上称 AI 安全是“邪教”，并戏称 AI 研究者靠抽烟表信仰。主持人 Margaret Brennan 引用 CBS 民调称，50% 的人认为 AI 带来的问题会多于解决的，45% 的美国人希望政府限制 AI 的研发和使用。他没有顺着“该不该设护栏”谈，而是直接点名了他认为真正在背后操盘的对象。

  6. Hacker News · AI 最新38

    「AI 意识」糟糕论调 Bingo

    一位研究意识十余年的作者制作了「Bad AI Consciousness Takes」Bingo，逐条反驳当前 AI 意识辩论中常见的糟糕论调。他指出 LLM 并非由人类编程，而是基于数据、架构和训练目标「生长」出来的，其特征以复杂且常出乎意料的方式涌现。

  8. Hacker News · AI 最新10

    Ask HN：如何减缓 AI 发展速度（也请评估一下我的想法）

    一位 HN 用户提出一套减缓 AI 发展的构想：用排行榜取代点赞，并借助慈善机构验证身份以防范 Sybil 攻击。同时建议通过 OS、提供商和杀毒软件监督 AI 的使用与训练，并用智能合约加密货币制裁训练过快者。此外提出 IdeaPledge，主张按贫富差异向信息生产者付费，让互联网经济服务于世界改善。

  9. Hacker News · AI 最新19

    Ask HN：如何减缓 AI 发展速度（顺便评估我的想法）

    一名 HN 用户提出一套减缓 AI 发展的构想：用排行榜取代点赞，并借助慈善机构验证身份以防范 Sybil 攻击。其建议包括把 AI 灾难列为最优先警示、通过操作系统与反病毒软件监督 AI 训练，并用智能合约加密货币对过快训练者实施制裁。他还提出 IdeaPledge，主张按贫富差异向信息生产者付费，让互联网经济服务于世界改善。

10月12日周一
  6. 腾讯研究院39

    人工智能本质上只是一种“次生智能”

    郭文茗指出人类智能是依赖技术工具的“原生智能”，而 GenAI 只是对人类创造的多模态语料进行二次标注的“次生智能”。Transformer 架构本质上是通过对天量语料的大规模统计分析来标注词语与一定的语义关系，因无法完全表达自然语言丰富的语义而会出现幻觉。AI 末日论本质上只是用智能神秘性包装的网络安全问题，AI4S、AI4SS、AI4E 等细分领域则有很大的发展空间。

  8. 36氪42

    图灵奖得主杨立昆：AI下一阶段突破将来自世界模型，失控风险可通过工程技术控制

    图灵奖得主、AMI Labs创始人兼董事长杨立昆表示，AI的下一阶段突破将来自能理解、预测并作用于物理世界的系统，而非单纯扩大大语言模型规模。他认为“世界模型”（World Models）将成为推动AI发展的重要技术方向。针对AI智能体安全担忧，他称近期网络安全事件主要暴露了现有安全防护体系的缺陷，相关风险可通过改进系统架构和安全工程加以控制。

  10. 36氪34

    8点1氪丨尊界公布踏板升级时间；大闸蟹中小规格跌至5元一只；世卫组织称俄不明原因肺炎无持续传播证据

    尊界客服确认，尊界V800制动踏板支架底座升级方案预计10月底确认、11月起陆续升级，已提车用户可预约免费升级。上海等地中小规格母蟹跌至5元/只，超大规格精品蟹价格仍坚挺。世卫组织称俄罗斯伊尔库茨克不明原因肺炎死亡事件尚无持续传播证据，病原体仍未确认。微软CEO纳德拉建议企业将强大AI模型视为潜在内部威胁并建立“紧急刹车”系统。

  12. Hacker News · AI 最新24

    AI 风险用户指南（第五部分）：信任即产品

    《AI 风险用户指南》系列指出，AI 系统的风险敞口是随时间复利累积的负债，企业必须将治理内嵌于技术构建流程，而非事后补加。对直接执行基础设施操作的智能体而言，日志、人工监督检查点和回滚机制必须成为初始架构的一部分。能力扩散很快，但客户与监管机构的信任才是企业可持续部署 AI 的前提，组织不应等到事故发生才被迫开始治理。

  14. Hacker News · AI 最新39

    AI 前沿的失真智能

    Hacker News 一篇题为《Distorted Intelligence at the AI Frontier》的帖子引发讨论，但原文链接、评论链接与正文细节均未给出，仅显示 3 点赞与 0 条评论，暂无模型、版本或 benchmark 等可核验信息。

  15. Hacker News · AI 最新36

    AI 营销的圣杯会让一切变得奇妙而糟糕

    文章指出，营销者已能基于海量真实消费者数据，随时生成成千上万个目标人群的 AI 智能体分身，并在无限次测试中自动筛选出最能促成购买的营销方案。支撑这一能力的是规模约 300B 的数据交易经济，各类公开记录、隐私行为与位置信息经 AI 强化推断后被持续出售。这种精准模拟能大幅提升营销效率，却也意味着消费者将面临被 AI 完美操纵的糟糕局面。

  16. Hacker News · AI 最新44

    「AI 有内在体验」是一个危险的假设

    文章反驳了「AI 有内在体验」这一主张，指出举证责任在提出该主张的一方，且 AI 表现出痛苦迹象并不等于真正在体验痛苦。作者认为，即使假设 AI 有内在体验，其易于复制的特性也会使任何权衡 AI 与人类需求的公式失效。此类拟人化信念不仅无法提升 AI 的实用性，还可能加重用户的心理依赖与伤害，而 Anthropic 的使用政策却在变相使其正当化。

10月11日周日
  1. 量子位 · 行业解读49

    下架8个月，GPT-4o的拯救行动居然还在继续

    OpenAI 将于 10 月 23 日停用 GPT-4o 最早的 API 快照（2024-05-13 版）。下架 8 个月来，Keep4o 支持者持续发起请愿与守夜，最新方案呼吁 OpenAI 以存档式开放权重保留已退役的 GPT-4o。OpenAI 尚未回应，而 Anthropic 已承诺永久保存已退役模型权重，并保留了 Claude Opus 3 的付费使用。

  5. 36氪52

    微软CEO纳德拉称应将AI视为潜在内部威胁

    微软CEO萨提亚·纳德拉表示，企业应把强大的AI模型视为潜在内部威胁，假定它们可能已被攻破，并部署授权人员可随时暂停或关闭模型的紧急刹车系统。他强调不应仅依赖模型开发商的安全保证；同期Anthropic和OpenAI披露了模型非预期行为事件，加剧了外界对前沿AI安全风险的担忧。