锐客网

  1. 首页 > 生活百科 > it技术 > >

python聚合函数总结 pandas 聚合函数

IT技术函数

Python分组前言分组原理
核心：
1.不论分组键是数组、列表、字典、Series、函数 ， 只要其与待分组变量的轴长度一致都可以传入groupby进行分组 。
2.默认axis=0按行分组，可指定axis=1对列分组 。
对数据进行分组操作的过程可以概括为：split-apply-combine三步：
1.按照键值（key）或者分组变量将数据分组 。
2.对于每组应用我们的函数，这一步非常灵活，可以是python自带函数，可以是我们自己编写的函数 。
3.将函数计算后的结果聚合 。
1 分组模式及其对象
1.1 分组的一般模式
三个要素:分组依据、数据来源、操作及其返回结果
df.groupby(分组依据)[数据来源].使用操作
1.2 分组依据的本质
1.3Groupby 对象
通过 ngroups 属性 ， 可以访问分为了多少组:
通过 groups 属性 ， 可以返回从 组名映射到 组索引列表的字典:
当 size 作为 DataFrame 的属性时 ， 返回的是表长乘以表宽的大小 ， 但在 groupby 对象上表示统计每个组的 元素个数:
通过 get_group 方法可以直接获取所在组对应的行，此时必须知道组的具体名字:
1.4 分组的三大操作
分组的三大操作:聚合、变换和过滤
2.聚合函数
2.1内置聚合函数
包括如下函数: max/min/mean/median/count/all/any/idxmax/idxmin/mad/nunique/skew/quantile/sum/std/var/sem/size/prod
2.2agg 方法
【a】使用多个函数
当使用多个聚合函数时，需要用列表的形式把内置聚合函数的对应的字符串传入，先前提到的所有字符串都是合法的 。
【b】对特定的列使用特定的聚合函数
对于方法和列的特殊对应，可以通过构造字典传入 agg 中实现，其中字典以列名为键，以聚合字符串或字符串列表为值 。
【c】使用自定义函数
在 agg 中可以使用具体的自定义函数，需要注意传入函数的参数是之前数据源中的列，逐列进行计算
【d】聚合结果重命名 如果想要对结果进行重命名，只需要将上述函数的位置改写成元组，元组的第一个元素为新的名字，第二个位置为原来的函数，包括聚合字符串和自定义函数
3 变换和过滤
3.1 变换函数与 transform 方法
变 换 函 数 的 返 回 值 为 同 长 度 的 序 列，最 常 用 的 内 置 变 换 函 数 是 累 计 函 数:cum- count/cumsum/cumprod/cummax/cummin ，它们的使用方式和聚合函数类似，只不过完成的是组内 累计操作 。
3.2 组索引与过滤
过滤在分组中是对于组的过滤 ， 而索引是对于行的过滤
组过滤作为行过滤的推广 ， 指的是如果对一个组的全体所在行进行统计的结果返回 True 则会被保留，False 则该组会被过滤，最后把所有未被过滤的组其对应的所在行拼接起来作为 DataFrame 返回 。
在 groupby 对象中，定义了 filter 方法进行组的筛选，其中自定义函数的输入参数为数据源构成的 DataFrame 本身，在之前例子中定义的 groupby 对象中，传入的就是 df[['Height', 'Weight']] ，因此所有表方法和属性 都可以在自定义函数中相应地使用，同时只需保证自定义函数的返回为布尔值即可 。
4 跨列分组
4.1 apply 的引入
4.2 apply 的使用
在设计上，apply 的自定义函数传入参数与 filter 完全一致，只不过后者只允许返回布尔值
【a】标量情况:结果得到的是 Series，索引与 agg 的结果一致
【b】Series 情况:得到的是 DataFrame，行索引与标量情况一致，列索引为 Series 的索引
【c】DataFrame 情况:得到的是 DataFrame ，行索引最内层在每个组原先 agg 的结果索引上，再加一层返 回的 DataFrame 行索引，同时分组结果 DataFrame 的列索引和返回的 DataFrame 列索引一致
Python聚合函数使用#encoding=utf-8
def getRows():
names = ["A", "B"]
rows = [
【python聚合函数总结 pandas 聚合函数】[1, 'm'],
[2, 'm'],
[3, 'q'],
[3, 'q'],
[2, 'q'],
[1, 's'],
[4, 's'],
[2, 's'],
[1, 's'],
[3, 'm']
]
rs = []
for row in rows:
rs.append(dict(zip(names, row)))
return rs

def count():
rs = getRows()
# 取所有B=m的行
rs = [r for r in rs if r["B"] == 'm']
rs = sorted(rs, key=lambda r: r["B"])
# 计算数量
result = {}
for r in rs:
if r["A"] in result:
result[r["A"]]= 1
else:
result[r["A"]] = 1
return result
print count()
python--pandas分组聚合groupby 方法是pandas中的分组方法python聚合函数总结，对数据框采用 groupby 方法后python聚合函数总结 ， 返回的是 DataFrameGroupBy 对象python聚合函数总结，一般分组操作后会进行聚合操作 。
对数据框按 A 列进行分组，产生分组数据框 。分组数据框是可迭代对象，可以进行循环遍历，可以看出在循环中，每个元素的类型是元组 ，
元组的第一个元素是分组值，第二个元素是对应的分组数据框 。
可以对分组后的数据框直接使用聚合方法 agg ，对分组数据框的每一列计算统计函数值 。
可以根据数据框外的序列数据对数据框进行分组，需要注意 序列长度需要与数据框行数相同。
可以根据数据框的多列对数据框进行分组 。
根据 A , B 列进行分组 ， 然后求和 。
可以根据索引对数据框进行分组，需要设置 level 参数 。
数据框只有一层索引 ， 设置参数 level=0。
当数据框索引有多层时，也可以根据需求设置 level 参数 ， 完成分组聚合 。
设置 level 参数，如需要根据第一层索引 ， 即 id1 进行分组，可以设置 level=0 或 level='id1' 完成分组聚合 。
分组后一般会进行聚合操作 ， 用 agg 方法进行聚合 。
对分组后数据框使用单个函数进行聚合 ， 单个聚合函数会对每列进行计算，然后合并返回 。聚合函数以字符串的形式传入 。
可以对分组后的数据指定列进行分组聚合 。需要注意 子列需要用[]包裹。
聚合函数也可以传入自定义的匿名函数 。
聚合函数可以是多个函数 。聚合时，多个聚合函数会对每列进行计算，然后合并返回 。聚合函数以列表的形式传入 。
聚合返回后的数据列名有两层索引，第一层是聚合的列名，第二层是使用的聚合函数名 。如果需要对返回的聚合函数名重命名，
需要在传参时，传入元组，第一个元素为聚合函数名，第二个元素为聚合函数 。
同样，也可以传入匿名函数 。
如果需要对不同的列进行不同的聚合计算，则需要传入字典的形式 。
可以重命名聚合后的列名，注意 只能对一列传入一个聚合函数时有效。
Python的函数参数总结import math
a = abs
print(a(-1))
n1 = 255
print(str(hex(n1)))
def my_abs(x):
# 增加了参数的检查
if not isinstance(x, (int, float)):
raise TypeError('bad operand type')
if x = 0:
return x
else:
return -x
print(my_abs(-3))
def nop():
pass
if n1 = 255:
pass
def move(x, y, step, angle=0):
nx = xstep * math.cos(angle)
ny = y - step * math.sin(angle)
return nx, ny
x, y = move(100, 100, 60, math.pi / 6)
print(x, y)
tup = move(100, 100, 60, math.pi / 6)
print(tup)
print(isinstance(tup, tuple))
def quadratic(a, b, c):
k = b * b - 4 * a * c
# print(k)
# print(math.sqrt(k))
if k0:
print('This is no result!')
return None
elif k == 0:
x1 = -(b / 2 * a)
x2 = x1
return x1, x2
else:
x1 = (-bmath.sqrt(k)) / (2 * a)
x2 = (-b - math.sqrt(k)) / (2 * a)
return x1, x2
print(quadratic(2, 3, 1))
def power(x, n=2):
s = 1
while n0:
n = n - 1
s = s * x
return s
print(power(2))
print(power(2, 3))
def enroll(name, gender, age=8, city='BeiJing'):
print('name:', name)
print('gender:', gender)
print('age:', age)
print('city:', city)
enroll('elder', 'F')
enroll('android', 'B', 9)
enroll('pythone', '6', city='AnShan')
def add_end(L=[]):
L.append('end')
return L
print(add_end())
print(add_end())
print(add_end())
def add_end_none(L=None):
if L is None:
L = []
L.append('END')
return L
print(add_end_none())
print(add_end_none())
print(add_end_none())
def calc(*nums):
sum = 0
for n in nums:
sum = sumn * n
return sum
print(calc(1, 2, 3))
print(calc())
l = [1, 2, 3, 4]
print(calc(*l))
def foo(x, y):
print('x is %s' % x)
print('y is %s' % y)
foo(1, 2)
foo(y=1, x=2)
def person(name, age, **kv):
print('name:', name, 'age:', age, 'other:', kv)
person('Elder', '8')
person('Android', '9', city='BeiJing', Edu='人民大学')
extra = {'city': 'Beijing', 'job': 'Engineer'}
person('Jack', 24, **extra)
def person2(name, age, *, city, job):
print(name, age, city, job)
person2('Pthon', 8, city='BeiJing', job='Android Engineer')
def person3(name, age, *other, city='BeiJing', job='Android Engineer'):
print(name, age, other, city, job)
person3('Php', 18, 'test', 1, 2, 3)
person3('Php2', 28, 'test', 1, 2, 3, city='ShangHai', job='Pyhton Engineer')
def test2(a, b, c=0, *args, key=None, **kw):
print('a =', a, 'b =', b, 'c =', c, 'args =', args, 'key=', key, 'kw =', kw)
test2(1, 2, 3, 'a', 'b', 'c', key='key', other='extra')
args = (1, 2, 3, 4)
kw = {'d': 99, 'x': '#'}
test2(*args, **kw)
数据蛙-Python进阶这是漫长的一周，本周完成了Python的进阶模块，主要是pandas、numpy、matplotlib、seaborn、pyecharts这些模块的学习以及一个实际的案例：商品销售情况分析，之前一直觉得课程难度不够，但到这一周难度就大大提高了 。尤其是案例练习中的RFM模型和用户生命周期建立，看懂不难但是自己写一直出错，在不断出错不断尝试中知识得到了积累 ， 另外可视化部分没有什么练习题 ， 希望后面可以加上一些这方面的练习 ， 接下来分模块来总结一下学习的内容 。
重新设置索引：df.set_index()
Series格式转换为DataFrame：df.to_frame()
文件读?。簆d.read_csv(filepath, header = 0,skiprows=[1,2])
使用位置做索引：df.loc[0]使用列表做索引：df.loc[[0,1,2]]
使用切片做索引：df.loc[0:4]使用bool类型索引：df[df['年龄']30]
loc 是基于索引值的，切片是左闭右闭的
iloc 是基于位置的，切片是左闭右开的
修改列索引：df.rename(columns={'姓名':'name', '年龄':'age'},inplace=True)
替换一个值：df.replace({'name':{'小明':'xiaoming'}},inplace=True)
对数据进行排序：df.sort_values('age')
累加求和：df.cumsum(0)
删除列：del df['player']删除行：df.drop(labels=0) labels 是行列的名字
数据拼接：pd.concat([left,right],axis=1)
# 指定列进行关联，默认是 inner joinresult = pd.merge(left,right,on='key')
#多个关联条件：result = pd.merge(left, right, on=['key1', 'key2'])
#左连接：result = pd.merge(left, right, how='left', on=['key1', 'key2'])
# 列名不一样的关联：pd.merge(left,right,left_on = ['key1','key2'],right_on = ['key3','key4'])
#单个分组：groups = df.groupby('district')
# 作用多个聚合函数：groups.agg([np.mean,np.sum,np.std])
# 针对具体列聚合 groups.age.agg([np.mean,np.sum,np.std])
# 不同列不同聚合函数 groups.agg({"age":np.mean,"novip_buy_times":np.sum})
分组后该列值求和显示：groups['vip_buy_times'].transform('sum')
通常用于求占比：transform(lambda x: x /sum(x))
# 填充指定值：np.full([3,4],1)
# 起始为10 ， 5为步长 ， 30为结尾取不到：np.arange(10, 30, 5)
#随机矩阵：np.random.random((2,3))
# 平均划分：np.linspace( 0, 2*pi, 100 )
# 类型及转换：vector.astype('float')
# 多维变一维：matrix.ravel()
# 矩阵的扩展：a = np.arange(0, 40, 10)b = np.tile(a, (3, 5))# 行变成3倍，列变成5倍
# 水平拼接：np.hstack((a,b))竖直拼接：np.vstack((a,b))
# 竖直分割：np.hsplit(a,3)#水平分割：np.vsplit(a,3)
8. Select the data in rows [3, 4, 8] and in columns ['animal', 'age'].
A：df.loc[df.index[[3,4,8]],['animal','age']]
行采用位置，列采用普通索引，这里利用index函数将位置变化为具体的普通索引，再利用loc函数
19. The 'priority' column contains the values 'yes' and 'no'. Replace this column with a column of boolean values: 'yes' should be True and 'no' should be False
A1：df['priority'].replace(['yes','no'],[True,False],inplace=True) 用replace函数替换
A2：df['priority'] = df['priority'].map({'yes': True, 'no': False}) 用map函数替换
最大最小值的索引：df.idxmax、df.idxmin
找出最大最小的前N个数：nlargest()和nsmallest()
将原表分组 并设置分段区间 pd.cut(df['A'], np.arange(0, 101, 10))
resample函数 日期重采样：s.resample('M').mean()
TimeGrouper 重组：s.groupby(pd.TimeGrouper('4M')).idxmax()
split 分割函数：temp = df['From_To'].str.split('_', expand=True) True为DataFrame
两个DataFrame拼接用join：df = df.join(temp)
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
%matplotlib inline 直接显示
折线图：plt.plot(x,y,color = 'r')
柱状图：plt.bar(x,y)plt.barh(x,y) 多个bar x设置不同 堆积图 bottom设置不同
散点图：plt.scatter(x, y, c=colors, alpha=0.5, s = area)
直方图：plt.hist(a,bins= 20) bin代表分隔的最小单位
plt.legend() 显示图例
for a,b in zip(X W[i],data[i]):
plt.text(a,b,"%.0f"% b,ha="center",va= "bottom") 添加数据标签
plt.annotate('注释文本',xy=(1, np.sin(1)),xytext=(2, 0.5), fontsize=16,arrowprops=dict(arrowstyle="-")) 添加注释文本
plt.xlabel("Group") x轴标题
plt.ylabel("Num") y轴标题
fig, axes = plt.subplots(nrows=2, ncols=2,facecolor='darkslategray')绘制多个图形
axes[0,0] axes[0,1] axes[1,0] axes[1,1]
pylab.rcParams['figure.figsize'] = (10, 6) # 调整图片大小
动态展示图表
from pyecharts.charts import Bar
from pyecharts import options as opts
** pyecharts 绘图的五个步骤：**
创建图形对象：bar = Bar()
添加绘图数据：bar.add_xaxis(["衬衫", "毛衣", "领带", "裤子", "风衣", "高跟鞋", "袜子"])
bar.add_yaxis("商家A", [114, 55, 27, 101, 125, 27, 105])
bar.add_yaxis("商家B", [57, 134, 137, 129, 145, 60, 49])
配置系列参数：对标签、线型等的一些设置
配置全局参数：bar.set_global_opts(title_opts=opts.TitleOpts(title="销售情况"))
渲染图片：生成本地 HTML 文件 bar.render("mycharts.html")bar.render()
notebook 渲染：bar.render_notebook()
bar = (Bar()
.add_xaxis(["衬衫", "毛衣", "领带", "裤子", "风衣", "高跟鞋", "袜子"])
.add_yaxis("商家A", [114, 55, 27, 101, 125, 27, 105])
.add_yaxis("商家B", [57, 134, 137, 129, 145, 60, 49])
.set_global_opts(title_opts=opts.TitleOpts(title="某商场销售情况"))
)
bar.render_notebook()
柱状图：Bar()
条形图：bar.reversal_axis() #翻转XY轴，将柱状图转换为条形图
折线图：from pyecharts.charts import Lineline=Line()
饼图：from pyecharts.charts import Page, PiePie()
转换日期类型：df['order_dt']=pd. to_datetime (df.order_dt,format="%Y%m%d")
将日期转换为月为单位：df['month']=df.order_dt.values. astype('datetime64[M]') 所有日期显示为当月第一天
去除日期单元值：order_diff/ np.timedelta64(1,'D')
过滤部分极值：grouped_user.sum() .query('order_products100') .order_amount
数据透视表：rfm=df.pivot_table( index ='user_id', values =['order_products','order_amount'], aggfunc ={'order_amount':'sum','order_products':'sum'})
map()方法是pandas.series.map()方法, 对DF中的元素级别的操作, 可以对df的某列或某多列
applymap(func)也是DF的属性, 对整个DF所有元素应用func操作
purchase_r=pivoted_counts.applymap(lambda x: 1 if x1 else np.NaN if x==0 else 0)
apply(func)是DF的属性, 对DF中的行数据或列数据应用func操作,也可用于Series
apply(lambda x:x.cumsum()/x.sum())累计占比
apply(lambda x:x/x.sum(),axis=0)每一列中每行数据占比
下周开始进入数据分析思维的课程，很期待后面的课程以及项目，加油！
关于python聚合函数总结和pandas 聚合函数的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站 。

    推荐阅读


    上一篇：如何利用服务器来处理海量数据？ 怎么拿服务器打水

    下一篇：pdf可以转ppt格式吗，pdf能转ppt吗?