Python|Python Pandas数据合并pd.merge用法详解
目录
- 前言
- 语法
- 参数
- 1.连接键
- 2.索引连接
- 3.多连接键
- 4.连接方法
- 5.连接指示
- 总结
前言 实现类似SQL的join操作,通过pd.merge()方法可以自由灵活地操作各种逻辑的数据连接、合并等操作
可以将两个DataFrame或Series合并,最终返回一个合并后的DataFrame
语法
pd.merge(left, right, how = ‘inner', on = None, left_on = None, right_on = None,left_index = False, right_index = False, sort = True, suffixes = (‘_x','_y'),copy = True, indicator = False, validate = None)
参数 left、right:需要连接的两个DataFrame或Series,一左一右
how:两个数据连接方式,默认为inner,可设置inner、outer、left或right
on:作为连接键的字段,左右数据中都必须存在,否则需要用left_on和right_on来指定
left_on:左表的连接键字段
right_on:右表的连接键字段
left_index:为True时将左表的索引作为连接键,默认为False
right_index:为True时将右表的索引作为连接键,默认为False
suffixes:如果左右数据出现重复列,新数据表头会用此后缀进行区分,默认为_x和_y
1.连接键 在数据连接时,如果没有指定根据哪一列(连接键)进行连接,Pandas会自动找到相同列名的列进行连接,并按左边数据的顺序取交集数据。为了代码的可阅读性和严谨性,推荐通过on参数指定连接键
import pandas as pddf1 = pd.DataFrame({'a':[1,2],'b':[5,6]})df2 = pd.DataFrame({'a':[2,1,0],'y':[6,7,8]})# 按a列进行连接,数据顺序取df1的顺序res = pd.merge(df1, df2, on='a')
结果展示
df1
文章图片
df2
文章图片
res
文章图片
【Python|Python Pandas数据合并pd.merge用法详解】
2.索引连接 可以直接按索引进行连接,将left_index和right_index设置为True,会以两个表的索引作为连接键
import pandas as pddf1 = pd.DataFrame({'a':[1,2],'b':[5,6]})df2 = pd.DataFrame({'a':[2,1,0],'y':[6,7,8]})# 两个表都有同名的a列,用suffixes参数设置后缀来区分res = pd.merge(df1, df2, left_index=True, right_index=True, suffixes=('_1','_2'))
结果展示
df1
文章图片
df2
文章图片
res
文章图片
3.多连接键 如果在合并数据时需要用多个连接键,可以以列表的形式将这些连接键传入on中
import pandas as pddf3 = pd.DataFrame({'a':[1,2],'b':[3,4],'x':[5,6]})df4 = pd.DataFrame({'a':[1,2,3],'b':[3,4,5],'y':[6,7,8]})# a和b列中的(1,3)和(2,4)作为连接键将两个数据进行了连接res = pd.merge(df3, df4, on=['a','b'])
结果展示
df3
文章图片
df4
文章图片
res
文章图片
4.连接方法 how参数可以指定数据用哪种方法进行合并,可以设置inner、outer、left或right
默认的方式是inner join,取交集,也就是保留左右表的共同内容; 如果是left join,左边表中所有的内容都会保留; 如果是right join,右表全部保留; 如果是outer join,则左右表全部保留。关联不上的内容为NaN
import pandas as pddf3 = pd.DataFrame({'a':[1,2],'b':[3,4],'x':[5,6]})df4 = pd.DataFrame({'a':[1,2,3],'b':[3,4,5],'y':[6,7,8]}) # 以左表为基表res1 = pd.merge(df3, df4, how='left', on=['a','b']) # 以右表为基表res2 = pd.merge(df3, df4, how='right', on=['a','b'])
结果展示
df3
文章图片
df4
文章图片
res1
文章图片
res2
文章图片
以下是其他的案例:
import pandas as pddf3 = pd.DataFrame({'a':[1,2],'b':[3,4],'x':[5,6]})df4 = pd.DataFrame({'a':[1,2,3],'b':[3,4,5],'y':[6,7,8]})# 取两个表的并集# pd.merge(left, right, how='outer', on=['key1','key2'])res3 = pd.merge(df3, df4, how='outer', on=['a','b'])# 取两个表的交集# pd.merge(left, right, how='inner', on=['key1','key2'])res4 = pd.merge(df3, df4, how='inner', on=['a','b'])
结果展示
df3
文章图片
df4
文章图片
res3
文章图片
res4
文章图片
一个有重复连接键的例子
import pandas as pdleft = pd.DataFrame({'A':[1,2],'B':[2,2]})right = pd.DataFrame({'A':[4,5,6],'B':[2,2,2]})res = pd.merge(left, right, on='B', how='outer')res1 = pd.merge(left, right, on='B')res2 = pd.merge(left, right, how='outer')
结果展示
left
文章图片
right
文章图片
res
文章图片
res1
文章图片
res2
文章图片
5.连接指示 如果想知道数据连接后是左表内容还是右表内容,可以使用indicator参数显示连接方式
如果将indicator设置为True,则会增加名为_merge的列,显示这列是从何而来
_merge有以下三个值:
- left_only:只在左表中
- right_only:只在右表中
- both:两个表都有
import pandas as pddf1 = pd.DataFrame({'a':[1,2],'b':[5,6]})df2 = pd.DataFrame({'a':[2,1,0],'y':[6,7,8]}) # 显示连接指示列res = pd.merge(df1, df2, on='a', how='outer', indicator=True)
结果展示
df1
文章图片
df2
文章图片
res
文章图片
总结 到此这篇关于Python Pandas数据合并pd.merge用法的文章就介绍到这了,更多相关Pandas数据合并pd.merge内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
推荐阅读
- 数据库|使用 Apache Superset 可视化 ClickHouse 数据
- 数仓建设|数仓第6篇:大数据可视化BI工具
- BigData|[大数据学习之ClickHouse]14-ClickHouse监控/可视化
- clickhouse|clickhouse join_HDFS+ClickHouse+Spark(从0到1实现一款轻量级大数据分析系统)
- 后端|【python】Jenkins实现携带commit_log钉钉/企微机器人通知
- 【服务器存储数据恢复】HP-Lefthand存储数据恢复案例
- InfoWorld文章丨将数据编排技术用于AI模型训练
- [PostgreSql]生产级别数据库安装要考虑哪些问题()
- 原来MySQL|原来MySQL 数据类型也可以优化
- 腾讯云|极致效率,云原生数据库TDSQL-C安身立命的根本