跳到正文

#安全/对齐

今日 0 条
10月13日周二
  1. Hacker News · AI 最新10

    Ask HN:如何减缓 AI 发展速度(也请评估一下我的想法)

    一位 HN 用户提出一套减缓 AI 发展的构想:用排行榜取代点赞,并借助慈善机构验证身份以防范 Sybil 攻击。同时建议通过 OS、提供商和杀毒软件监督 AI 的使用与训练,并用智能合约加密货币制裁训练过快者。此外提出 IdeaPledge,主张按贫富差异向信息生产者付费,让互联网经济服务于世界改善。

  2. Hacker News · AI 最新19

    Ask HN:如何减缓 AI 发展速度(顺便评估我的想法)

    一名 HN 用户提出一套减缓 AI 发展的构想:用排行榜取代点赞,并借助慈善机构验证身份以防范 Sybil 攻击。其建议包括把 AI 灾难列为最优先警示、通过操作系统与反病毒软件监督 AI 训练,并用智能合约加密货币对过快训练者实施制裁。他还提出 IdeaPledge,主张按贫富差异向信息生产者付费,让互联网经济服务于世界改善。

10月12日周一
  1. Hacker News · AI 最新22

    Ario:面向可审计 AI 记忆与身份证据的 AI 可读仓库快照

    Ario 发布 v10 研究快照,将架构文档、Python 源码、回归测试、认知契约与治理材料整合为 AI 可读的仓库摘要,供 ChatGPT、Claude、Gemini、Grok 等工具研究、批评与评估。该框架包含五类完整性要求组与 Cross-IRG 组合防火墙,并明确不主张证明 AI 意识或普遍安全。此快照非认证 Git 存档,对抗鲁棒性与独立验证仍是开放挑战。

  2. 腾讯研究院39

    人工智能本质上只是一种“次生智能”

    郭文茗指出人类智能是依赖技术工具的“原生智能”,而 GenAI 只是对人类创造的多模态语料进行二次标注的“次生智能”。Transformer 架构本质上是通过对天量语料的大规模统计分析来标注词语与一定的语义关系,因无法完全表达自然语言丰富的语义而会出现幻觉。AI 末日论本质上只是用智能神秘性包装的网络安全问题,AI4S、AI4SS、AI4E 等细分领域则有很大的发展空间。

  3. Hacker News · AI 最新78

    Show HN:我做了 Airlock,把 AI agent 关进沙箱并看清它做了什么

    作者 simonmaddox 发布 Airlock:在 macOS 虚拟机里运行 Claude Code 或 Codex,agent 只能碰到项目副本,改动的文件以 diff 形式返回,由你勾选后才应用到真实项目,还能随时撤销。

    推荐理由:原文把它与 Docker Sandboxes 做了明确对比,并列出工具做不到的事,读者可以据此判断是否要把它加进现有的 agent 工作流。

  4. 量子位 · 行业解读47

    DHSA 实现不动基座权重的推理时偏好对齐:256-16384 个控制参数达到 DPO 水准

    成都大学、北卡罗来纳州立大学、复旦大学、澳大利亚凯斯林大学和澳门大学团队提出直接隐状态对齐(DHSA),在冻结基座权重的情况下于推理时完成偏好对齐。研究先用残差竞争图(RCM)量化组件对偏好的支持或抵消作用,再用因果激活状态转移(CAST)在组件写回残差流前施加局部调整。

  5. 36氪42

    图灵奖得主杨立昆:AI下一阶段突破将来自世界模型,失控风险可通过工程技术控制

    图灵奖得主、AMI Labs创始人兼董事长杨立昆表示,AI的下一阶段突破将来自能理解、预测并作用于物理世界的系统,而非单纯扩大大语言模型规模。他认为“世界模型”(World Models)将成为推动AI发展的重要技术方向。针对AI智能体安全担忧,他称近期网络安全事件主要暴露了现有安全防护体系的缺陷,相关风险可通过改进系统架构和安全工程加以控制。

  6. 36氪39

    英国大臣探索强制 AI 安全报告

    英国政府正起草对前沿 AI 实施强制安全报告和监测的计划,负责该技术的大臣卡尼什卡·纳拉扬将要求构建自主模型的企业采取更多措施应对风险并建立保障措施。他将警告政府准备立法以加强对该技术的监督。大臣们希望该技术能改善经济增长前景。

  7. Hacker News · AI 最新44

    TorrentClaw:AI 构建的种子站如何借助 TrueSpec 识别伪造与恶意下载

    种子搜索引擎 TorrentClaw 主要依靠 Claude Code 与本地 LLM 构建和运营,其 TrueSpec 功能通过下载部分文件并用 ffprobe 核验,识别伪造种子与恶意软件。TrueSpec 会将可疑文件的哈希值提交 VirusTotal 查询,确认含恶意软件的种子会被保留但禁用下载按钮。该系统每月成本不足 $50,已对 687,057 个种子完成探测。

  8. Hacker News · AI 最新82

    AI 智能体以每家约 25 美元的成本攻破 27 家在线零售商

    研究人员回收了攻击者服务器,还原出一场由 AI 智能体执行的攻击行动:2026 年 9 月 10 日至 15 日间对在线商店发起 105 次攻击,至少 27 家公司被攻破,两家公司流出超过 60 万条未过期信用卡记录。

    推荐理由:报告还原了一条全由已知缺陷组成的攻击链,读者可据此重新评估补丁速度优先级与最小可业务系统的恢复规划。

  9. 极客公园32

    陶哲轩提出「数学 2.0」;半年 1140 万个 Claude 账号被封;Qwen-Image-2.1 Pro 和 Turbo API 上线千问 AI 平台|极客早知道

    陶哲轩公开演讲提出「数学 2.0」,主张用 AI 寻找更易理解的证明并系统分析海量数学问题,同时呼吁公开计算资源消耗与失败尝试。Anthropic 报告显示 2026 年上半年约 1140 万个 Claude 账号被封禁,约 4.2 万次申诉成功。Qwen-Image-2.1 Pro 和 Turbo API 上线千问 AI 平台,Turbo 将去噪过程缩短至 8 步并支持 2K 图像生成。

  10. 36氪34

    8点1氪丨尊界公布踏板升级时间;大闸蟹中小规格跌至5元一只;世卫组织称俄不明原因肺炎无持续传播证据

    尊界客服确认,尊界V800制动踏板支架底座升级方案预计10月底确认、11月起陆续升级,已提车用户可预约免费升级。上海等地中小规格母蟹跌至5元/只,超大规格精品蟹价格仍坚挺。世卫组织称俄罗斯伊尔库茨克不明原因肺炎死亡事件尚无持续传播证据,病原体仍未确认。微软CEO纳德拉建议企业将强大AI模型视为潜在内部威胁并建立“紧急刹车”系统。

  11. Hacker News · AI 最新24

    AI 风险用户指南(第五部分):信任即产品

    《AI 风险用户指南》系列指出,AI 系统的风险敞口是随时间复利累积的负债,企业必须将治理内嵌于技术构建流程,而非事后补加。对直接执行基础设施操作的智能体而言,日志、人工监督检查点和回滚机制必须成为初始架构的一部分。能力扩散很快,但客户与监管机构的信任才是企业可持续部署 AI 的前提,组织不应等到事故发生才被迫开始治理。

  12. Hacker News · AI 最新39

    AI 前沿的失真智能

    Hacker News 一篇题为《Distorted Intelligence at the AI Frontier》的帖子引发讨论,但原文链接、评论链接与正文细节均未给出,仅显示 3 点赞与 0 条评论,暂无模型、版本或 benchmark 等可核验信息。

  13. Hacker News · AI 最新36

    AI 营销的圣杯会让一切变得奇妙而糟糕

    文章指出,营销者已能基于海量真实消费者数据,随时生成成千上万个目标人群的 AI 智能体分身,并在无限次测试中自动筛选出最能促成购买的营销方案。支撑这一能力的是规模约 300B 的数据交易经济,各类公开记录、隐私行为与位置信息经 AI 强化推断后被持续出售。这种精准模拟能大幅提升营销效率,却也意味着消费者将面临被 AI 完美操纵的糟糕局面。

  14. Hacker News · AI 最新44

    「AI 有内在体验」是一个危险的假设

    文章反驳了「AI 有内在体验」这一主张,指出举证责任在提出该主张的一方,且 AI 表现出痛苦迹象并不等于真正在体验痛苦。作者认为,即使假设 AI 有内在体验,其易于复制的特性也会使任何权衡 AI 与人类需求的公式失效。此类拟人化信念不仅无法提升 AI 的实用性,还可能加重用户的心理依赖与伤害,而 Anthropic 的使用政策却在变相使其正当化。

10月11日周日
  1. 量子位 · 行业解读49

    下架8个月,GPT-4o的拯救行动居然还在继续

    OpenAI 将于 10 月 23 日停用 GPT-4o 最早的 API 快照(2024-05-13 版)。下架 8 个月来,Keep4o 支持者持续发起请愿与守夜,最新方案呼吁 OpenAI 以存档式开放权重保留已退役的 GPT-4o。OpenAI 尚未回应,而 Anthropic 已承诺永久保存已退役模型权重,并保留了 Claude Opus 3 的付费使用。