个人技术分享

PS：注意这里的描述“非叶子节点的梯度会被释放掉”。这其实暗含了非叶子节点必须是要参与梯度计算的，也就是requires_grad=True，同时也意味着requires_grad=False的节点一定是叶子节点，因为这样的tensor压根不参与求导，也没梯度，自然不需要“释放掉梯度”。这就成为了判别叶子节点和非叶子节点的第一个标准，见下。叶子节点是用户创建的节点，不依赖其它节点；它们表现出来的区别在于反向传播结束之后，非叶子节点的梯度会被释放掉，只保留叶子节点的梯度，这样就节省了内存。

个人用深度学习pytorch代码模板

LSTM长短时记忆网络：推导与实现（pytorch实现）

最近要做多通道的实验，所以重新将处理图像的基础模型回顾一下，什么是卷积？卷积本质是是一种特殊的全连接层。

本文主要介绍如何使用pytorch搭建卷积神经网络

【代码】pip install pytorch-quantization error。

idea工具配置

本文详细介绍了如何从零开始实现softmax回归，这是一种广泛用于多类别分类任务的机器学习算法。首先，文章解释了softmax函数的原理及其在分类问题中的应用。接着，通过Python代码逐步展示了如何实现softmax回归，包括数据预处理、模型定义、损失函数计算和梯度下降优化等步骤。最后，文章对实现过程中的关键点进行了总结，并讨论了常见问题及其解决方法。本文通过实际代码演示，帮助读者深入理解softmax回归的基本原理和实现方法，为学习深度学习打下坚实基础。

本文介绍了神经网络的基本原理，并给出了一个非常简易的实例。神经网络可以通过对训练集样本的学习，建立一个从输入值模拟到输出值的过程，即实现对输出-输出关系的函数模拟。神经网络的本质是通过对激活函数的撕拉抓打扯拽（裁剪、翻转、拉伸、拼接），构建出在训练集上拟合良好的从输入值到输出值的函数关系，至于神经网络的参数（即 具体是如何撕拉抓打扯拽的）是通过反向传播，对损失函数的优化进行实现的。

创建随机输入数据 (batch_size, seq_length, input_dim)

应该使用 nvcc -V 这个对应的cuda版本，这样就会兼容。这时候两个cuda版本时不一样，该使用哪个？

补充：这里的transform根据不同的数据集选择不同的值。补充：可以在外面再套一层迭代次数。以MNIST数据集为例。

torch.hstack() 是 PyTorch 中的一个函数，用于沿着水平方向（列维度）堆叠张量来创建一个新的张量。torch.column_stack() 是 PyTorch 中的一个函数，用于按列堆叠张量来创建一个新的张量。torch.masked_select() 是 PyTorch 中的一个函数，用于根据给定的掩码从输入张量中选择元素并返回一个新的张量。torch.index_select() 是 PyTorch 中的一个函数，用于按索引从输入张量中选择元素并返回一个新的张量。

这里建议python的版本为3.8，pytorch的版本为1.8.1，当我们输入python回车显示的python版本如果不是3.8版本则需要在anaconda中新建个python3.8的环境，新建的虚拟环境，和当前显示的环境并不会冲突，可以切换使用。尽量选择最新的日期的anaconda进行安装，我这里是windows电脑，因此选择了windos-x86_64.exe，大家根据自己的电脑系统来选择相应的anaconda安装包。activate python38进入到我们安装好的环境中。

Pytorch1.9.0环境安装过程

在 PyTorch 中，张量是构建神经网络模型的基本元素。了解张量的属性和行为对于深入理解模型的运行机制至关重要。本文将介绍 PyTorch 中的两种重要张量类型：叶子张量和非叶子张量，并探讨它们在反向传播过程中的行为差异。

这里建议python的版本为3.8，pytorch的版本为1.8.1，当我们输入python回车显示的python版本如果不是3.8版本则需要在anaconda中新建个python3.8的环境，新建的虚拟环境，和当前显示的环境并不会冲突，可以切换使用。尽量选择最新的日期的anaconda进行安装，我这里是windows电脑，因此选择了windos-x86_64.exe，大家根据自己的电脑系统来选择相应的anaconda安装包。activate python38进入到我们安装好的环境中。

先说原因：预训练模型在coco上预训练，而coco本身类别是80，所以它的主干网络送到其他的三个头（分类头、mask回归头、bbox头的参数种类对不上），我这个是个1个类别，加上背景。然后把继承的配置文件的训练策略改成一样的然后就可以了，有大佬对训练了解的深一些的可以在评论区讲解一下这个框架中的学习率sheduler策略有什么差别：在1x、2x、3x直接，我还在配置文件中看到一个20e.解决方案：把load_from中的权重下载下来，resize然后重新保存，即可。这里保存的是各个层的参数。

绝大部分参考https://blog.csdn.net/qq_41336087/article/details/129661850。非orin可以参考https://blog.csdn.net/JineD/article/details/131201121。参考https://blog.csdn.net/qq_44235661/article/details/134105151。参考：https://www.cnblogs.com/xingboy/p/15770950.html。//注意最后 /var…

都是常用的激活函数，