PyTorch 训练显存可视化与占用估算指南

教程详解了如何使用 PyTorch 内置快照工具可视化 GPU 显存，并系统拆解了大语言模型训练全流程中的显存变化机制。显存峰值取决于模型参数、优化器状态以及激活值与优化器中间变量的最大值，文中还基于参数量拟合出了激活值的近似线性估算公式。