Concrete Problems in AI Safety：机器学习系统事故风险的五个实践研究问题

本文提出机器学习系统事故风险相关的五个实践研究问题，按成因分为目标函数错误（避免副作用、避免 reward hacking）、目标函数评估成本过高（scalable supervision）以及学习过程中的不良行为（safe exploration、distributional shift）三类。