OpenAI 发布面向块稀疏权重网络的 GPU kernel

OpenAI 发布了针对块稀疏权重网络的高度优化 GPU kernel，根据所选稀疏度，速度可比 cuBLAS 或 cuSPARSE 快多个数量级。这些 kernel 已用于文本情感分析以及文本和图像生成建模，并取得 SOTA 结果。