OpenAI 通过无监督预训练与 Transformer 提升语言理解能力

OpenAI 推出一种可扩展且任务通用的语言理解系统并对外发布，在多项多样化语言任务中取得了 SOTA 成绩。该方法结合了 Transformer 架构与无监督预训练，展示了监督学习与无监督预训练结合的有效性，为未来在更大规模数据集上的研究提供了参考。