前言

Pandas的基础数据结构Series和DataFrame。若是还不清楚的可以再去看看我之前的博客详细介绍这两种数据结构的处理方法：
一文速学-数据分析之Pandas数据结构和基本操作代码
一文速学-Pandas实现数值替换、排序、排名、插入和区间切片
一些Pandas基础函数的使用方法：
DataFrame行列表查询操作详解+代码实战
一文速学-Pandas索引重塑实现长宽表数据转换
DataFrame多表合并拼接函数concat、merge参数详解+代码操作展示
Pandas中read_excel函数参数使用详解+实例代码
一文速学-Pandas索引设置操作各类方法详解+代码展示
有三个关于异常值中包含的空值和重复值的博客专门描述了如何处理它们：

[En]

There are three blogs about null and duplicate values contained in exception values that specifically describe how to deal with them:

一文速学-Pandas处理重复值操作各类方法详解+代码展示
一文速学-Pandas处理缺失值操作各类方法详解
一文速学-Pandas异常值检测及处理操作各类方法详解+代码展示

此篇博客基于Jupyter之上进行演示，本篇博客的愿景是希望我或者读者通过阅读这篇博客能够学会方法并能实际运用。希望读者看完能够提出错误或者看法，博主会长期维护博客做及时更新。纯分享，希望大家喜欢。

目录

前言

数据分组

第一步：分组

1)根据一列分组：

2)根据多列分组

3)组容量

4)遍历

5)多级索引

6）组合操作

第二步：聚合

1)多聚合

2）重命名

3)多列聚合

4)用户自定义函数

第三步：apply合并

参阅：

数据分组

数据分组操作可以理解分为三个步骤：

第一步为将指定的数据表，按照键的不同分为若干组。第二部为将这些分组进行计算操作，可以设定为自定义函数运算。第三步计算完成后，再进行合并操作，得到新的一张表格。这个操作很像大数据架构计算框架中的MapReduce，经过上述操作我们就能对一些排列杂乱无章的表操作，从而得到我们想要的数据。接着我们来进行实例操作：

第一步：分组

首先我们读出这次的实例表：

对于分组Pandas提供了groupby函数，该函数可以根据传入的列名进行自动分组，基本格式如下：

DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False, observed=False, **kwargs)

参数说明：

• by：指定分组的列索引

• axis：0为逐行处理1为逐列处理，默认为0.

• level：若为复合索引则可以调整索引层次

• as_index:聚合输出,返回对象组标签的索引。
• sort：排序
• group_keys：当调用到apply函数时，传入主键
• squeeze:降低维数的返回类型，若为True则仅返回一致的数据类型

若我们对人群类型进行分组处理：

df1.groupby("人群类型")

使用groupby函数后我们发现并没有返回一个DataFrame，而是得到了DataFrameGroupBy的一个数据类型。这个数据类型包含分组以后的若干数据，我们需要对这些分组数据进行汇总计算之后才会显示。

对于分完组后的DataFrameGroupBy来说，使用head()函数看前几列时，输出的是每组的前几列：

groupby1=df1.groupby("人群类型")
groupby1.head(1)

而first显示的则是每一个分组的第一个信息，可以理解为形成了一个类似字典的结构：

groupby1.first()

1)根据一列分组：

groupby1=df1.groupby("人群类型")
groupby1.get_group('新用户').head()

2)根据多列分组

我们用两个主键人群类型和人群数值来分组：

groupby2=df1.groupby(["人群类型","人群数值"])
groupby2.get_group(('一般用户',10)).head()

3)组容量

使用size函数可以看到每个DataFrameGroupBy中根据主键分类后的个数：

4)遍历

循环即可：

for name,group in grouped_single:
    print(name)
    display(group.head())

5)多级索引

通过给定level参数可以调整指向的索引为第几索引：

df2=df1.set_index(['人群类型','性别'])
df2.groupby(level=1).get_group('男').head()

6）组合操作

可以通过使用各种函数来调用gourpby函数：

df1.groupby(['人群类型'])['人群数值'].count()>=3

df1.groupby(['人群类型'])['人群数值'].mean()

第二步：聚合

其实对于聚合函数我们已经非常熟悉，常见的mean()，sum()，size()，count()等这类函数都是聚合函数，所谓聚合就是将大量数据进行处理后形成另一个代表性的标量。

在Pandas中提供了agg()方法专门用来聚合一些函数，其基础格式为：

DataFrame.agg（func，axis = 0，* args，** kwargs ）

参数说明：

• func：用于聚合数据的函数
• axis：0为逐行操作，1为逐列操作
• args:传递给func的为位置参数
• kwargs：传递给func的关键字参数

为了方便展示这里重新构建一个表：

data = {'name': ['user1', 'user2', 'user3', 'user4', 'user5'],
        'old': [21, 21, 21, 19, 26],
        'weight': [124, 124, 124,103,121],
       'sex':['女','男','男','男','男'],
       'species':['一般用户','新用户','一般用户','流失用户','一般用户']}
columns1=['name', 'old', 'weight','sex','species']
index1=['id1', 'id2', 'id3','id4','id5']
df2= pd.DataFrame(data,columns=columns1,index=index1)

1)多聚合

我们可以通过species进行分组后采用聚合函数，可以分别指定列开分析数据：

goupby3=df2.groupby(['species'])
goupby3['old'].agg(['min','mean','max'])

2）重命名

goupby3['old'].agg([('rename_min','min'),('rename_max','max')])

3)多列聚合

goupby3.agg({'old':['min','max'],'weight':['mean']})

4)用户自定义函数

agg函数中可嵌套lambda函数：

goupby3['old'].agg(lambda x:print(x.head()))

判断用户最大是否在18-20岁之间：

def f(s,low,high):
    return s.between(low,high).max()
goupby3['old'].agg(f,18,20)

第三步：apply合并

apply是应用的最广泛的函数，这得益于它的兼容性，我们可以使用apply进行合并分组生成更多我们想要的表格。

goupby3.apply(lambda x:x.max())

返回区间数：

goupby3['old'].apply(lambda x:x.max()-x.min()).head()

参阅：

数据分析之Pandas分组操作总结

Original: https://blog.csdn.net/master_hunter/article/details/124576184
Author: fanstuck
Title: 一文速学-Pandas数据分组操作方法详解+代码展示

相关阅读

Title: 在jupyter notebook中配置GPU

1. 打开Anaconda Prompt，查看虚拟环境中安装了那些kernel

jupyter kernelspec list

目前环境中有两个环境，一个是我们的base环境，另一个是我们新安装的tensorflowGPU版本。如果要删除新安装的GPU版本，直接按照上面的路径删除文件夹即可。接下来正式在jupyter notebook中配置GPU。

2.打开Anaconda Prompt，安装ipykernel

conda install ipykernel

3.接下来创建ipykernel文件

conda install -n 环境名称 ipykernel

我的GPU版本为tensorflow,所以执行以下命令即可：

conda install -n tensorflow ipykernel

4.进入我们的GPU环境（首先你要有这个环境）

activate 环境名称

我的GPU版本为tensorflow,所以执行以下命令即可：

conda activate tensorflow

出现tensoflow，则说明切换环境成功。

5.在tensorflow环境中导入kernel

python -m ipykernel install --user --name 环境名称

我的GPU版本为tensorflow,所以执行以下命令即可：

python -m ipykernel install --user --name tensorflow

此时，你可以按照上面的路径查看jupyter中是否存在tensorflow这个文件夹

接下来在桌面打开jupyter notebook，查看是否存在新安装的版本

在Anaconda Prompt中输入jupyter notebook

点击Desktop，再点击New，你就看见两个kernel

点击tensorflow，进入到这个GPU版本，输入以下代码检验是否可以运行

import tensorflow as tf
import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
a = tf.constant(1.)
b = tf.constant(2.)
print(a+b)
print('GPU:', tf.test.is_gpu_available())

出现红色标记说明安装成功！！！！！

Original: https://blog.csdn.net/TYJ00/article/details/124453197
Author: 菜鸟要爱学习
Title: 在jupyter notebook中配置GPU