Python深度学习环境配置(Pytorch、CUDA、cuDNN)
它是一种为GPU编程提供高性能和易用性的软件环境。同时,可以把conda理解为手机上的应用商店,各种的包类似于各种的APP,当我们需要用到其他的开源库、包的时候,可以通过Anaconda进行下载,不同应用商店的下载安装速度会有所差异,并且会维护软件,同样的,conda也会维护包和库。最近因为各种各样的原因,电脑重装了三次,有关于python和深度学习的环境也反反复复的重新安装了多次,期间找了很多的
全流程导览
一、前言
二、基本介绍
2.1全过程软件基本介绍
2.1.1 Pytorch
2.1.2 Anaconda
2.1.3 Pycharm
2.1.4 显卡GPU及其相关概念
2.1.5 CUDA和cuDNN
2.2 各部分相互间的联系和安装逻辑关系
三、Anaconda安装
3.1安装Anaconda
3.2配置环境变量
3.3检验是否安装成功
四、Pycharm安装
五、Anaconda和Pycharm的基本使用
5.1Anaconda的基本使用
5.1.1Anaconda的一些基本指令
5.1.2有关下载源的一些指令和说明
5.1.3 如何自定义Anaconda新建的虚拟环境位置(移到C盘以外)
5.2Pycharm的基本使用(搭配Anaconda)
5.2.1 新建项目
5.2.2 切换解释器(环境)
六、安装前的信息确认
6.1 检查显卡驱动
6.1.1如何检查
6.1.2 如何安装显卡驱动
6.2 确定CUDA型号
6.2.1 首先根据自己的显卡型号确定显卡算力
6.2.2 根据算力,匹配合适的CUDA版本
6.3 确定torch的版本
6.4 确定对应的python版本
七、Pytorch_GPU版本的安装
八、CUDA的安装
九、cuDNN的安装
十、检验环境是否配置成功
附录
参考文献
一、前言
最近因为各种各样的原因,电脑重装了三次,有关于python和深度学习的环境也反反复复的重新安装了多次,期间找了很多的资料,也看了很多文章,各位大佬基本把环境配置的各个环节都论述的十分清楚了,但是有关各个环节的讲解还是比较分散。
因此,我想总结一台电脑从零开始配置到调用Pytorch使用GPU进行深度学习计算的全过程环境搭建,于是便有了写这篇文章的想法。因为是第一次在CSDN上写长篇,还有许多不足,大家在阅读本文的过程中如有发现任何错误,欢迎指出,也欢迎大家多提建议,我们一起共同进步!
本文总结了大量文章及视频的相关内容,博采众长,并加入了些许自己的理解,所有的引用均已在对应板块注明,如有侵权,请联系我删除。
文章大致结构如下:
首先是前言介绍了文章背景和形式,以及文章的主要内容。
第二章介绍了相关软件和相互之间的逻辑关系。
接下来的第三、四、五章,讲解了Anaconda和Pycharm的配置,以及他们的一些基本使用,完成这三步后,即完成了Python的配置工作,可以开始使用Python进行项目开发。
第六章进行了安装前的信息确认,确定了CUDA、Pytorch以及Python三者之间的版本关系。
第七章介绍了如何在虚拟环境中配置Pytorch,完成后可以调用CPU进行深度学习的计算。
第八、九章介绍了CUDA和cuDNN的环境配置,完成后,python即可调用GPU对深度学习的计算进行加速。
第十章介绍了如何检验环境是否配置成功。
二、基本介绍
2.1全过程软件基本介绍
本部分内容总结自以下文章,并加入了一些自己的理解:
链接:Pytorch深度学习环境配置(GPU版本)
链接:pytorch 的一些介绍以及常用工具包展示
链接:CUDA、cuDNN以及Pytorch介绍
2.1.1 Pytorch
Pytorch是torch的python版本,是由Facebook开源的神经网络框架,专门针对 GPU 加速的深度神经网络(DNN)编程。Torch 是一个经典的对多维矩阵数据进行操作的张量(tensor )库,在机器学习和其他数学密集型应用有广泛应用;
Pytorch的计算图是动态的,可以根据计算需要实时改变计算图;
由于Torch语言采用 Lua,导致在国内一直很小众,并逐渐被支持 Python 的 Tensorflow 抢走用户。作为经典机器学习库 Torch 的端口,PyTorch 为 Python 语言使用者提供了舒适的写代码选择。
官网链接:Pytorch官网链接
2.1.2 Anaconda
在配置深度学习环境的时候,并不是从python官网下载python然后使用pip命令安装,更多的是使用Anaconda这个软件。
Anaconda是一个环境管理软件,可以帮助我们创建虚拟环境,管理虚拟环境。
同时,可以把conda理解为手机上的应用商店,各种的包类似于各种的APP,当我们需要用到其他的开源库、包的时候,可以通过Anaconda进行下载,不同应用商店的下载安装速度会有所差异,并且会维护软件,同样的,conda也会维护包和库。
安装Anaconda会默认安装很多东西,包括python的环境、conda命令,conda命令可以安装其他的库(conda install 包名)和pip差不多,因此不需要再单独下载python,直接安装Anaconda即可,详细的操作步骤见后文。
虚拟环境:由于不同的项目可能会使用不同的环境,(例如A项目要用Pytorch1.10版本而B项目要使用1.4版本),Anaconda可以创建多个虚拟环境来独立维护不同项目需要用到的包,使两个项目环境互不干扰。
Anaconda界面:
2.1.3 Pycharm
Pycharm和IDEA一样都是IDE,我们在上面配置好一个Anaconda的虚拟环境了之后,这时创建新的Pycharm项目选择解释器的时候就可以选择已经配置好的环境而不用再创建一个虚拟环境了,通常我们创建项目都选择的是之前配置好的环境。
并且,Pycharm还可以很方便的切换环境,只需要添加、更换解释器即可。
Pycharm初始界面:
2.1.4 显卡GPU及其相关概念
显卡(GPU):主要用于在屏幕上显示图像,用于与视频、图像处理相关的任务。
显卡,可以分为独立显卡和核显(嵌入在CPU中)
驱动:用于让计算机识别特定的硬件
深度学习显卡:一般用英伟达品牌的显卡,NVIDIA
CUDA:英伟达厂商创建了一个CUDA平台,让我们可以操作英伟达匹配的显卡,Pytorch的库会调用CUDA的库去给显卡发送指令和数据来进行深度学习的训练
它们之间的关系如下图:我们的计算机安装驱动之后会识别到该显卡,英伟达显卡的驱动会自带一个Cuda driver version(Cuda驱动版本)是跟驱动绑定的,我们还会装一个软件层面的Cuda runtime version,其中运行版本要小于等于驱动版本,Pytorch想要利用显卡就必须要装Cuda runtime version,Cuda runtime version就会操作显卡来完成深度学习的任务。
2.1.5 CUDA和cuDNN
CUDA(Compute Unified Device Architecture)是由NVIDIA开发的并行计算平台和编程模型,用于利用NVIDIA GPU(Graphics Processing Unit)进行通用目的计算(GPGPU)。它是一种为GPU编程提供高性能和易用性的软件环境。
CUDA的主要目标是将GPU作为计算加速设备,用于执行并行计算任务,特别是科学计算和深度学习等领域。它通过提供一套编程接口(API)和工具集,使开发者能够利用GPU的大规模并行计算能力,以加速计算密集型任务。
cuDNN(CUDA Deep Neural Network)是由NVIDIA开发的深度神经网络(DNN)加速库,专门用于在CUDA平台上进行深度学习任务的加速。
cuDNN提供了高度优化的DNN(深度神经网络)基础操作和算法实现,如卷积、池化、归一化、激活函数等,以及自动求导和张量操作等。它利用了NVIDIA GPU的并行计算能力和高度可编程的架构,提供了高性能的DNN计算和训练加速。
通过使用cuDNN,深度学习框架(如TensorFlow、PyTorch等)可以利用其提供的GPU加速功能,加快训练和推理的速度。cuDNN库实现了高效的卷积计算和其他操作,优化了计算过程和内存使用,以最大化GPU的利用率和性能。
2.2 各部分相互间的联系和安装逻辑关系
(1)首先在我们计算机上安装Anaconda,使用Anaconda创建虚拟环境.
(2)配置虚拟环境,安装各种需要用到的包,例如Numpy、matplotlib等,包括Pytorch的安装。(也可以在第3步之后进行)
(3)环境配置完成以后安装Pycharm创建一个项目,在创建项目时Pycharm会要求选择配置的解释器,这时就可以引用我们之前Anaconda中配置好的环境。
(4)接下来我们在项目中编写代码,代码运行时就会调用我们配置好的解释器来运行代码,解释器将代码翻译成指令传送给CPU去执行(且只能交给CPU运行)。
(5)安装和配置CUDA以及cuDNN。
(6)完成配置后,当在我们编写的代码中有调用cuda的库来想让GPU完成我们的运算时,CPU执行指令时会将数据传送给GPU去执行。
(7)完成。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)