OpenAI 研究揭示深度学习中的双重下降现象

OpenAI 研究表明 CNN、ResNet 和 Transformer 架构中普遍存在双重下降现象，模型性能随着模型尺寸、数据量或训练时间的增加，会呈现先提升、后恶化、再重新提升的变化趋势。该效应通常可通过精细的正则化手段来避免。团队指出这一现象虽然普遍存在，但底层机制尚未完全明确，仍是重要的研究方向。