个人技术分享

AI大模型部署-环境

环境

cuda与pytorch
pytorch需要和cuda版本匹配,否则在

import torch
torch.cuda.is_avvailable()

测试中会返回false,意味着torch和cuda不匹配无法正常调用gpu去进行训练和推理

怎么根据自己的cuda和想要的torch版本进行安装

pytorch官网下载链接
在上面的链接中根据自己的cuda版本和想要的torch版本进行搜索如果有的话就点击下载然后通过

pip install 刚才下载的文件路径(绝对路径)

就可以了
如果还需要对应的torchvision和torchaudio也是同样的方式