个人技术分享

  • 保存和加载模型、优化器、随机数生成器和 GradScaler
    • 使用 save_state() 将上述所有内容保存到一个文件夹位置
    • 使用 load_state() 加载之前通过 save_state() 保存的状态
  • 通过使用 register_for_checkpointing(),可以注册自定义对象以便自动从前两个函数中存储或加载
    • 只要对象具有 state_dictload_state_dict 功能即可
    • 这可以包括诸如学习率调度器之类的对象。