个人技术分享

Pytorch: 解决因pytorch版本不同 导致训练ckpt加载失败

在torch1.6版本及其以后，torch.save函数使用了一种新的文件格式。torch.load任然保持着对旧版本的兼容，如果高版本环境下想要保存低版本兼容的模型文件格式，可以使用_use_new_zipfile_serialization=False参数设定。大家都会遇到在工程项目实施阶段，如果训练的模型文件在不同的torch版本环境下部署时，会报错~。转载自SSDesign的知乎文章。

加载完整pytorch .pt模型可能出现的问题

现在我们兴致勃勃的昭告天下，我们产生了最牛逼的模型，然后想要在别的地方使用它。在加载完整模型的时候，很可能出错，特别是当我们对模型里面数据流经的途径进行了更改的时候。如果我们不对Net（）进行更改，那么没问题，但是当我们更改了Net()的数据流时，就很有可能发生问题。我们在保留训练好的模型model时，可以保留model的参数，也可以直接将完整model全部保留下来。那么现在再load .pth使用时就会出问题，所以要注意，一定要保证数据流的形式没问题，要不然直接加载使用也会出问题。

深度学习之基于Pytorch+PyQt5+ResNet手写数字识别

一、项目目标该项目的核心目标是开发一个能够准确识别手写数字的系统。通过使用Pytorch深度学习框架和ResNet神经网络架构，系统可以学习从手写数字图像中提取特征并进行分类，实现对手写数字的自动识别。二、项目组成深度学习模型：项目采用Pytorch深度学习框架构建基于ResNet的神经网络模型。ResNet（残差网络）是一种先进的神经网络架构，通过引入残差连接解决了深度神经网络在训练过程中可能出现的梯度消失或梯度爆炸问题，使得网络可以更加深入地学习数据的特征。

pytorch文本分类（四）模型框架（模型训练与验证）

本文是在原本闯关训练的基础上总结得来，加入了自己的理解以及疑问解答（by GPT4）选定了模型框架后，需要对神经网络模型进行训练，主要有3个步骤：接下来详细介绍这3个步骤。构建模型结构，主要有神经网络结构设计、激活函数的选择、模型权重如何初始化、网络层是否批标准化、正则化策略的设定。由于在关卡四中介绍了神经网络结构设计和激活函数的选择，这里不过多介绍，下面简单介绍下权重初始化，批标准化和正则化策略。权重初始化权重参数初始化可以加速模型收敛速度，影响模型结果。常用的初始化方法有：批标准化batch n

每日Attention学习4——Spatial Attention Module

我们设计了空间注意力模块 (SAM)，以有效地完善特征（见图 3）。我们首先沿通道轴使用平均和最大运算，分别生成两个不同的单通道空间图$S_{avg}$和$S_{max}$。然后，我们将它们连接起来，通过3×3卷积和sigmoid函数计算出空间注意力图。空间注意力图$M_{sa}$可以通过元素级相乘从空间维度对特征重新加权。最后，细化后的特征被送入3×3卷积层，将通道压缩至64。

pytorch中的数据集处理部分data_transforms = { ‘train‘: transforms.Compose([...])...

在PyTorch的深度学习框架中，是一个非常常用的工具，它用于将多个数据转换（或称为“变换”）组合成一个单一的转换流程。这通常用于预处理输入数据，比如图像，以符合模型的训练要求。当你看到这样的代码时，这通常是在一个字典中定义数据预处理流程，其中'train'是键，表示这是用于训练数据的预处理流程。例如，以下是一个常见的图像预处理流程，它使用了在这个例子中，ToTensor()当你使用这样的预处理流程时，你可以确保你的模型在训练时接收到经过适当预处理的数据。