OpenAI 用人类偏好微调 GPT-2 语言模型

OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，成功匹配外部人类标注员的偏好，但这些偏好并不总是与作者自己的偏好一致。摘要任务需要 60k 个人类标注，而各种风格的续写任务只需 5k 个；由于标注员偏好整句照抄输入，模型也学会了照抄。其动机是把安全技术推进到“机器与人类对话”这一通用任务上。