目录
前言
最近换了一台新电脑,老版本出了很多问题,各种错误,版本不匹配的问题,走了很多弯路,经过几天的试错,这里有详细的环境教程供大家深入学习参考!
[En]
Recently changed a new computer, the old version of a lot of problems, a variety of errors, version mismatch problems, take a lot of detours, after a few days of trial and error, here a detailed environment for in-depth learning tutorials for your reference!
1. 环境介绍
windows10系统
显卡是PTX 3030,GPU算力7.5, 版本472.56(建议大家把驱动更新到最高版本)
cuda11.3.1+cudnn8.2.1,tensorflow2.7.0+Keras2.7.0,torch-1.11.0+cu113。
给出我安装成功的两个版本供大家参考
python3.8.0+CUDA11.6.0+cuDNN8.3.2+tensorflow2.7.0+Keras2.7.0
python3.8.0+CUDA11.3.1+cuDNN8.2.1+tensorflow2.7.0+Keras2.7.0
2. 显卡及算计要求
首先,检查一下是否安装了Nvidia显卡的驱动,搜索 Nvidia控制面板 或 Nvidia Control Panel可以看到当前已经安装的显卡驱动及版本。
有版本显示便是可行的,我的驱动程序没有更新,建议大家可以将驱动更新到最高,这样才支持更高的cuda版本。在上面【帮助】里面选择系统信息,选择【组件】,可以看到适合你电脑配置的最高cuda版本,我这里的cuda版本是11.4,但是我安装的是11.3版本。
NVIDIA官方 CUDA与显卡驱动版本对应表查询
在官网可以查询显卡驱动版本与对应的cuda版本,这也是为什么希望大家可以把显卡驱动更新到最高版本,显卡算力和显卡驱动版本共同决定你能下载的CUDA版本区间。
; cuda配置
确定好要安装的版本,下面可以开始下载安装我们需要的GPU环境。
1. 下载及安装
cuda官网网址:https://developer.nvidia.com/cuda-toolkit-archive
点击上面的网址,直接进入到CUDA版本界面,选择你所需要的cuda版本,我这里选择11.3版本
我是windows10系统,version版本选择10,local下载到本地,可以复制链接到迅雷快速下载,我这里是在官网下载的(网速够)
双击下面的CUDA应用程序,开始安装。
加载到安装界面,点击ok,按步骤往下走就可以
第一次,建议您选择“自定义安装”。如果您已经安装了多次,您可以选择简化安装。
[En]
For the first time, it is recommended that you choose "Custom installation". If you have installed it many times, you can choose simplified installation.
勾选CUDA,NVIDIA GeForce Experience 是显卡驱动程序,如果你已经更新了显卡驱动版本,就不用勾选
在CUDA不用勾选Visual Studio Integration, 是VS的集成,选了也没有用。
然后一直点击下一步,就安装成功了。
这里只勾选CUDA,在CUDA不用勾选VS,选了也没有用。
然后一直点击下一步,就安装成功了。
; 2. 搭建环境及测试
安装成功之后,需要把相应的配置文件添加到环境变量中,在设置-关于-中找到高级系统设置,点击环境变量
检查环境变量中的【系统变量】是否有下面的配置路径,如果没有,需要找到你的cuda安装路径,
这是我的安装路径 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3
,点击【新建】,添加相应的变量名(手动添加)和变量值(就是你的CUDA的安装路径)。
添加成功后,可以在命令行窗口测试是否安装成功,输入nvcc -Version,如果出现下面的情况,表示安装成功。
cudnn配置
下面根据cuda的版本选择相应的cuDNN版本,不然后面会因为版本不匹配问题报错
cuda11.3.1+cudnn8.2.1
1. 下载
这里提供一种跳过注册登录cuDNN Archive的方法( 由于注册过程中验证码的问题,无法正常注册)
cuDNN官网地址:https://developer.nvidia.com/rdp/cudnn-archive,这里直接进入到版本选择界面
选择相对于的版本,我这里是windows系统
选择你想要的cudnn,点击鼠标右键,选择【复制链接】,将链接在迅雷中打开,可以直接进行下载,跳过由于无法注册导致的无法下载的问题
下载本地后,解压缩该文件
; 2. 配置环境及测试
打开上面的cuDNN文件,将下面的三个配置文件分别放置到你开始安装的cuda相应的文件路径路径下:
这是我的安装路径 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3
将bin,include,lib复制到对应的cuda配置文件下
再添加系统变量,在【高级系统设置】-【环境变量】-【系统变量】下,点击【path】
点击【新建】,将相应的文件路径添加到path环境中,这里需要添加四条路径值
分别是cuda下的bin,lib,include,libnvvp
配置成功后点击确定
下面测试是否安装成功
在cuda文件路径下找到extra,再找到demo_suite
在当前路径下键入【cmd】,打开命令窗口,先输入deviceQuery
输出结果如下:
再键入【bandwidthTest】
如果出现pass表示安装成功。
pytorch配置
找到官网地址:https://pytorch.org/get-started/locally/
点击进入,选择以下要求:
我这里是在windows系统,python环境下安装的11.3版本,如果你的cuda高于11.3,也可以选择11.3cuda版本,复制上面的链接,打开命令窗口行,输入下面的链接地址安装pyTorch
pip3 install torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu113
安装成功后,可以测试是否安装成功,输入下面代码:
import torch
from torch import nn
import torchvision
如果不报错,即安装成功!
在pycharm上面测试GPU环境配置是否成功
print(torch.__version__)
print(torch.version.cuda)
print(torch.backends.cudnn.version)
print(torch.cuda.get_device_name(0))
print(torch.cuda.is_available())
运行结果显示:
1.11.0+cu113
11.3
8213
NVIDIA GeForce RTX 3070 Laptop GPU
True
最后一行输出为True,则表明GPU环境正常。
Original: https://blog.csdn.net/zzjcymbq/article/details/125040993
Author: 勋章DhR
Title: 【超详细】windows10系统下深度学习环境搭建CUDA11.3+cuDNN,以及tensorflow,Keras,pyTorch对应版本
相关阅读
Title: Pandas常用累计、同比、环比等统计方法实践案例
统计表中常常以本年累计、上年同期(累计)、当期(例如当月)完成、上月完成为统计数据,并进行同比、环比分析。如下月报统计表所示样例,本文将使用Python Pandas工具进行统计。
其中:
- (本年)累计:是指本年1月到截止月份的合计数
- (上年)同期(累计):是指去年1月到与本年累计所对应截止月份的合计数
- 同比(增长率)=(本期数-同期数)/同期数*100%
- 环比(增长率)=(本期数-上期数)/上期数*100%
注:这里的本期是指本月完成或当月完成,上期数是指上月完成。
示例数据:
注:为了演示方便,本案例数据源仅使用2年,且每年5个月的数据。
; 1. (本年)累计
在统计分析的发展中,按年和按月积累一些统计数据是相当常见的。对于数据,就是按规则逐行累计数据。
[En]
In the development of statistical analysis, it is quite common to accumulate some statistical data on an annual and monthly basis. For data, it is to accumulate data row by row according to the rules.
Pandas中的cumsum()函数可以实现按某时间维度累计需求。
import pandas as pd
df = pd.read_csv('data2021.csv')
cum_columns_name = ['cum_churncount','cum_newcount']
df[cum_columns_name] = df[['years','churncount','newcount']].groupby(['years']).cumsum()
注:其中分组'years'是指年度时间维度累计。
计算结果如下:
2. (上年)同期累计
对于(上年)同期累计,将直接取上一年度累计值的同月份数据。pandas DataFrame.shift()函数可以把数据移动指定的行数。
接续上列,读取同期数据。首先是把'yearmonth'上移五行,如上图所示得到新的DataFrame,通过'yearmonth'进行两表数据关联(左关联:左侧为原表,右侧为移动后的新表),实现去同期数据效果。
cum_columns_dict = {'cum_churncount':'cum_same_period_churncount',
'cum_newcount':'cum_same_period_newcount'}
df_cum_same_period = df[['cum_churncount','cum_newcount','yearmonth']].copy()
df_cum_same_period = df_cum_same_period.rename(columns=cum_columns_dict)
df_cum_same_period.loc[:,'yearmonth'] = df_cum_same_period['yearmonth'].shift(-5)
df = pd.merge(left=df,right=df_cum_same_period,on='yearmonth',how='left')
3. 上月(完成)
取上月的数据,使用pandas DataFrame.shift()函数把数据移动指定的行数。
接续上列,读取上期数据。(与取同期原理一样,略)
last_mnoth_columns_dict = {'churncount':'last_month_churncount',
'newcount':'last_month_newcount'}
df_last_month = df[['churncount','newcount','yearmonth']].copy()
df_last_month = df_last_month.rename(columns=last_mnoth_columns_dict)
df_last_month.loc[:,'yearmonth'] = df_last_month['yearmonth'].shift(-1)
df = pd.merge(left=df,right=df_last_month,on='yearmonth',how='left')
4. 同比(增长率)
计算同比涉及到除法,需要剔除除数为零的数据。
df.fillna(0,inplace=True)
df.loc[df['cum_same_period_churncount']!=0,'cum_churncount_rat'] = (df['cum_churncount']-df['cum_same_period_churncount'])/df['cum_same_period_churncount']
df.loc[df['cum_same_period_newcount']!=0,'cum_newcount_rat'] = (df['cum_newcount']-df['cum_same_period_newcount'])/df['cum_same_period_newcount']
df[['yearmonth','cum_churncount','cum_newcount','cum_same_period_churncount','cum_same_period_newcount','cum_churncount_rat','cum_newcount_rat']]
5. 环比(增长率)
df.loc[df['last_month_churncount']!=0,'churncount_rat'] = (df['churncount']-df['last_month_churncount'])/df['last_month_churncount']
df.loc[df['last_month_newcount']!=0,'newcount_rat'] = (df['newcount']-df['last_month_newcount'])/df['last_month_newcount']
df[['yearmonth','churncount','newcount','last_month_churncount','last_month_newcount','churncount_rat','newcount_rat']]
6. 总结
pandas做统计计算功能方法比较多,这里总结用到的技术有累计cumsum()函数、移动数据shift()函数、表合并关联merge()函数,以及通过loc条件修改数据。
Original: https://blog.csdn.net/xiaoyw/article/details/122979421
Author: 肖永威
Title: Pandas常用累计、同比、环比等统计方法实践案例

win10+python3.7如何配置搭建tensorflow

CSV文件处理形成数据集

针对pytorch中的CRF不存在属性

WSL2+TF

三、自然语言处理研究内容

COCO数据集格式、mask两种存储格式、官方包API详解

语音测试用例

Tensorflow 2.x(keras)源码详解之第五章:数据预处理

TTS英文版语音合成(免费),可以用于为paper的视频配音

利用Anaconda安装tensorflow-gpu 2.4.0 + cuda11.1 + cudnn 以及安装 pytorch 1.9.0 + cuda11.1

STM32F103基于片内flash的数据读取与音乐播放

重学深度学习系列—LeNet5实现手写数字识别(TensorFlow2-mnist数据集)

智能硬件语音控制的时频图分类挑战赛2.0(思路以及结果,目前top5)

tensorflow2.6.0+annconda4.10.1+cuda11.2+cudnn8.0+pycharm运行tensorflow-gpu版本·
