用 Sparse Transformer 进行生成式建模

OpenAI 提出 Sparse Transformer，一种在预测文本、图像或声音序列下一内容上创下新纪录的深度神经网络。它通过注意力机制的算法改进，可从比以往长 30 倍的序列中提取模式。