系列文章目录
从零点一开始机器学习之晦涩难懂的各种概念
从零点一开始机器学习之Win10 64位下安装Cuda+Cudnn
从零点一开始机器学习之GPU运算性能和CPU性能对比(GPU算力表)
从零点一开始机器学习之TF1.0版本HDF5转换为saved_model
从零点一开始机器学习之HDF5模型发布到tensorflow/serving
Python中tensorflow Import使用错误集合
初学机器学习,各种剪不断理还乱,给了代码都跑步起来的各种环境各种版本对应,一抹多,不兼容,网上的资料断层,版本不同,环境不同,真的直逼放弃!!!!就好比大学去考四六级,abc都认识,混在一起就都不认识了,但是偶尔又来几个简单的单词给你的希望,再让你绝望,无限循环。
在经历了 win7(gt730), win server2008, win server2016,Python3.8,Python3.6,Cuda,Cdnn一堆问题后,最终解决方案是升级配置,从新来一波。
预计 新系统win10 显卡gtx1050 Python版本3.7
-
为什么需要gpu计算,cpu不是才是计算的核心吗?
首先我们需要理解什么是并行计算?并行计算是一种将特定计算分解成可以同时进行的独立的较小计算的计算方式。然后重新组合或同步计算结果,形成原来较大计算的结果。更大的任务可以分解成的任务数量取决于特定硬件上包含的内核数量。核心是在给定处理器中实际执行计算的单元,CPU通常有4个、8个或16个核心,而GPU可能有数千个。还有其他重要的技术规范,但是这个描述是用来驱动总体思想的。机器学习中的过程需要很多的小的并行计算(卷积为例),(此处涉及的原理在CPU和GPU的设计区别)有了这些工作知识,我们可以得出结论,并行计算是使用GPU完成的,我们还可以得出结论,最适合使用GPU解决的任务是可以并行完成的任务。如果计算可以并行完成,我们可以使用并行编程方法和GPU加速计算。
移步获取详细的解释
https://deeplizard.com/learn/video/6stDhEA0wFQ
移步查看直观对比
https://blog.csdn.net/l1158513573/article/details/122121634
-
什么是CUDA
CUDA(Compute Unified Device Architecture),是显卡厂商NVIDIA推出的运算平台。 CUDA™是一种由NVIDIA推出的通用并行计算架构,该架构使GPU能够解决复杂的计算问题。 它包含了CUDA指令集架构(ISA)以及GPU内部的并行计算引擎。 开发人员可以使用C语言来为CUDA™架构编写程序,所编写出的程序可以在支持CUDA™的处理器上以超高性能运行。CUDA3.0已经开始支持C++和FORTRAN。
通俗的将就是用显卡进行计算需要的一个程序框架,不同版本的显卡驱动支持的CUDA版本也不一样。 -
接下来我们正式干他一扳手!
-
有了前面无数次的尝试,我们先升级显卡驱动,因为后面需要的Cuda可能需要指定版本的以上的显卡驱动
打开NVIDIA官网
https://www.nvidia.cn/geforce/drivers/
下载自己对于显卡的最新驱动,点击搜索
直接下载安装(默认就好),部分版本有针对cuda计算的补丁,可以自行选择升级。
-
接下来安装cuda,查看当前支持的cuda版本
-
去官网查询cuda要求的驱动版本
https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html
,cuda11.5太新了?官网对应的版本还没有改?又进去了一次,更新了!!!
-
去cuda下载地址看看
https://developer.nvidia.com/cuda-toolkit-archive
11.5太新了,怕也有很多坑,下载一个低一点的版本先试试看。选个2020的最后一个版本cuda-11.2.0,选择合适的系统和环境
点击直接安装完成。尴尬了,报错You already have a newer version of the NVDA Frameview SDK staled. 版本过时!卸载掉NVDA Frameview SDK再试一下.成功!不过也不知道后面还会不会有稀奇古怪的错误出来,后悔升级显卡驱动了!真的是天天踩坑,坑坑不一样! -
添加路径到配置系统环境变量(CUDA12.0版本自动添加path,不需要这一步拉)
CUDA_SDK_PATH = C:\ProgramData\NVIDIA Corporation\CUDA Samples\v11.2
CUDA_LIB_PATH = %CUDA_PATH%\lib\x64
CUDA_BIN_PATH = %CUDA_PATH%\bin
CUDA_SDK_BIN_PATH = %CUDA_SDK_PATH%\bin\win64
CUDA_SDK_LIB_PATH = %CUDA_SDK_PATH%\common\lib\x64
-
输入nvcc -V查看是否安装成功
-
下载cudnn,
https://developer.nvidia.com/rdp/cudnn-archive
下载cudnn需要注册,如果不能显示验证码需要tizi你懂的。 -
下载完成解压
-
把cuda\bin\下文件全部复制到C:\Program Files\NVIDIA GPU Computing
Toolkit\CUDA\v11.2\bin 目录下. -
把cuda\include下文件全部复制到C:\Program Files\NVIDIA GPU Computing
Toolkit\CUDA\v11.2\include 目录下. -
把cuda\lib\x64下文件全部复制到C:\Program Files\NVIDIA GPU Computing
Toolkit\CUDA\v11.2\lib\x64 目录下.
基础环境成功 -
安装Python3.7后 ,接下来就是tensorflow了!
-
先看看对应的版本
https://tensorflow.google.cn/install/source#gpu
选一个支持11.2的,pip 安装
pip install tensorflow==2.5.1
- 安装万TensorFlow后,就需要安装opencv-python,opencv-python和TensorFlow也有对应关系,具体对应文档没有找到,那就先安装最新的试试看
pip install opencv-python
- 到此基本环境就ok了,运行也没有稀奇古怪的错误。一回想也不复杂,只是开始太心急,电脑配置也不到位,收工!
-
打工人是不可能收工的 转下一篇
Python中tensorflow Import使用错误集合
继续踩坑!!
博客review计划
由于以前很多时候是为了记录一下笔记,有的是为了活动啊之类的,导致很多博客环境不全,代码不全,排版混乱,专栏分类不清楚,所以在开始写新的博客直接,开启review计划。
review:20230521