OpenAI 发布 GPT-4
OpenAI 发布 GPT-4,这是其深度学习规模化推进的最新里程碑。GPT-4 是大型多模态模型,接受图像和文本输入并输出文本;虽然在许多真实场景中能力不及人类,但在多项专业和学术基准上表现出人类水平。
推荐理由:官方说明给出了 GPT-4 的多模态输入能力与基准表现定位,读者可据此判断它相对前代的能力边界。
新模型的发布、开源与迭代:大模型厂商的旗舰更新、开源权重放出、性能与价格变化的第一时间记录。
OpenAI 发布 GPT-4,这是其深度学习规模化推进的最新里程碑。GPT-4 是大型多模态模型,接受图像和文本输入并输出文本;虽然在许多真实场景中能力不及人类,但在多项专业和学术基准上表现出人类水平。
推荐理由:官方说明给出了 GPT-4 的多模态输入能力与基准表现定位,读者可据此判断它相对前代的能力边界。
GPT-4 可与用户共同生成、编辑并迭代创意与技术写作任务,例如作曲、撰写剧本或学习用户的写作风格。
推荐理由:官方介绍了 GPT-4 在创意与技术写作任务上的生成、编辑和迭代能力,读者可了解其如何与用户协作完成写作。
OpenAI 发布了名为 ChatGPT 的对话式模型。对话格式使其能够回答追问、承认错误、质疑错误前提并拒绝不当请求。原文链接:https://openai.com/index/chatgpt
推荐理由:这是 OpenAI 发布 ChatGPT 的原始公告,对话格式让它能回答追问、承认错误、质疑错误前提并拒绝不当请求,适合了解该产品的最初定位。
OpenAI 训练并开源了名为 Whisper 的神经网络,称其在英语语音识别上的鲁棒性和准确率接近人类水平。
推荐理由:Whisper 以开源形式发布,读者可直接获取模型并评估其在英语语音识别场景中的实际表现。
OpenAI 发布 GPT-3 与 Codex 新版本,支持对现有文本进行编辑或插入内容,而不仅是补全文本。
推荐理由:相比此前只能补全文本,新版本 GPT-3 和 Codex 可直接编辑或在现有文本中插入内容,读者可据此判断其适用场景是否扩展。
OpenAI 训练出比 GPT-3 更能遵循用户意图的 InstructGPT 模型,现已作为 API 的默认语言模型部署。这些模型采用人在回路方式训练,同时提高了真实性并降低了毒性,所用技术来自其对齐研究。
推荐理由:原文给出了 InstructGPT 相对 GPT-3 在意图遵循、真实性与毒性上的改进,读者可据此理解人在回路训练对模型对齐的作用。
OpenAI 推出改进版 Codex,该系统可将自然语言翻译为代码,即日起通过 API 以私有测试形式开放。
推荐理由:原文给出了 Codex 的自然语言转代码定位与 private beta 开放方式,读者可据此判断它对编程工作流的影响。
OpenAI 发布神经网络 CLIP,可从自然语言监督中高效学习视觉概念。只需提供待识别类别的名称,CLIP 即可用于任何视觉分类基准,具备类似 GPT-2 和 GPT-3 的 zero-shot 能力。原文链接:https://openai.com/index/clip
推荐理由:CLIP 用自然语言监督学习视觉概念,让视觉分类不再依赖人工标注,可对照 GPT 的 zero-shot 思路理解其迁移方式。
OpenAI 发布 Jukebox,这是一个能按多种流派和艺人风格生成原始音频音乐、包括简单演唱的神经网络。官方同时开源了模型权重和代码,并发布了一款用于浏览生成样本的工具。
推荐理由:原文给出了模型按流派和艺人风格生成原始音频的能力,以及开源权重、代码和试听工具,读者可据此判断它在音乐创作流程中的可用性。
OpenAI 发布 GPT-2 的最大版本,参数量 1.5B,并同步开放代码与模型权重,用于检测 GPT-2 模型的输出。这是 GPT-2 分阶段发布计划的最后一个模型,OpenAI 希望该完整过程为未来更强模型的开发者提供测试案例,并继续与 AI 社区讨论负责任发布。
推荐理由:原文交代了 GPT-2 分阶段发布计划收尾的动机与完整过程,读者可据此理解负责任发布策略如何从设想落地为可操作的流程。
OpenAI 发布 774M 参数的 GPT-2 语言模型,这是继 2 月发布 124M 小模型、5 月发布 355M 中模型之后的第三阶段释放。同时开源了一份法律协议,方便机构之间开展模型共享合作,并发布技术报告介绍与 AI 研究社区协调发布规范的经验。
推荐理由:这是 GPT-2 分阶段发布的第三步,读者可对照 124M 与 355M 版本理解其开放节奏与发布策略。
OpenAI 训练了一个大规模无监督语言模型,能生成连贯的文本段落,并在多项语言建模基准上达到 SOTA。该模型无需任务专属训练,即可完成基础的阅读理解、机器翻译、问答和摘要。
推荐理由:原文记录了大规模无监督语言模型在无需任务专属训练时即可完成阅读理解、翻译、问答与摘要,可作为理解通用语言能力演进的背景。
OpenAI 官方宣布,由五个神经网络组成的 OpenAI Five 已开始在 Dota 2 中击败业余人类战队。
推荐理由:原文由官方直接交代 OpenAI Five 的规模与对战结果,可作为了解游戏 AI 进展的一手背景。