Pandas备忘单用法详解

Pandas可用作数据科学最重要的Python软件包。它有助于提供许多以更简单的方式处理数据的功能。它的快速, 灵活和富有表现力的数据结构旨在进行真实的数据分析。
Pandas备忘单是快速入门的Pandas基础知识, 你将需要开始使用Python处理数据。如果你想开始使用Pandas进行数据科学之旅, 可以将其用作轻松处理数据的便捷参考。
该备忘单将指导Pandas库的基础知识, 从数据结构到I / O, 选择, 排序和排名等。
密钥和导入我们在备忘单中使用以下速记:

  • df:引用任何Pandas Dataframe对象。
  • s:引用任何Pandas系列对象。你可以使用以下导入来开始:
汇入资料
  • pd.read_csv(filename):它从CSV文件读取数据。
  • pd.read_table(filename):用于从定界文本文件中读取数据。
  • pd.read_excel(filename):它从Excel文件读取数据。
  • pd.read_sql(query, connection _object):它从SQL表/数据库读取数据。
  • pd.read_json(json _string):它从JSON格式的字符串, URL或文件中读取数据。
  • pd.read_html(url):它解析html URL, 字符串或文件, 并将表提取到数据帧列表中。
  • pd.read_clipboard():它获取剪贴板的内容, 并将其传递给read_table()函数。
  • pd.DataFrame(dict):从dict中, 输入列名称的键, 将数据的值显示为列表。
汇出资料
  • df.to_csv(filename):写入CSV文件。
  • df.to_excel(filename):写入Excel文件。
  • df.to_sql(table_name, connection_object):写入SQL表。
  • df.to_json(filename):它以JSON格式写入文件。
创建测试对象
这对于测试代码段很有用。
  • pd.DataFrame(np.random.rand(7, 18)):引用18列和7行的随机浮点数。
  • pd.Series(my_list):它从可迭代的my_list创建一个Series。
  • df.index = pd.date_range(‘ 1940/1/20’ , period = df.shape [0]):添加日期索引。
查看/检查数据
  • df.head(n):它返回DataFrame的前n行。
  • df.tail(n):它返回DataFrame的最后n行。
  • df.shape:返回行数和列数。
  • df.info():它返回索引, 数据类型和内存信息。
  • s.value_counts(dropna = False):它查看唯一值和计数。
  • df.apply(pd.Series.value_counts):引用所有列的唯一值和计数。
选拔
  • df [col1]:它返回标签为col的列为Series。
  • df [[col1, col2]]:它将列作为新的DataFrame返回。
  • s.iloc [0]:按位置选择。
  • s.loc [‘ index_one’ ]:按索引选择。
  • df.iloc [0 , :]:返回第一行。
  • df.iloc [0, 0]:返回第一列的第一个元素。
数据清理
  • df.columns = [‘ a’ , ‘ b’ , ‘ c’ ]:重命名列。
  • pd.isnull():它检查null值并返回布尔数组。
  • pd.notnull():与pd.isnull()相反。
  • df.dropna():删除所有包含空值的行。
  • df.dropna(axis = 1):删除所有包含空值的列。
  • df.dropna(axis = 1, thresh = n):删除所有少于n个非null值的行。
  • df.fillna(x):它将所有空值替换为x。
  • s.fillna(s.mean()):将所有空值替换为均值(均值可以用统计模块中的几乎所有函数替换)。
  • s.astype(float):将series的数据类型转换为float。
  • s.replace(1, ‘ one’ ):它将所有等于1的值替换为’ one’ 。
  • s.replace([1, 3], [‘ one’ , ‘ 3’ ]):它将所有1替换为’ 1′ , 将3替换为’ 3’ 。
  • df.rename(columns = lambda x:x + 1):重命名列的质量。
  • df.rename(columns = {‘ old_name’ :’ new_ name’ }):它包含选择性重命名。
  • df.set_index(‘ column_one’ ):用于更改索引。
  • df.rename(index = lambda x:x + 1):重命名索引的质量。
筛选, 排序和分组依据
  • df [df [col]> 0.5]:返回列col大于0.5的行
  • df [(df [col]> 0.5)&(df [col] < 0.7)]:返回其中0.7> col> 0.5的行
  • df.sort_values(col1):它按col1升序对值进行排序。
  • df.sort_values(col2, ascending = False):它按col2的降序对值进行排序。
  • df.sort_values([col1, col2], ascending = [True, False]):它将值按col1升序排序, 按col2降序排序。
  • df.groupby(col1):返回来自一列中值的groupby对象。
  • df.groupby([col1, col2]):从多个列返回值的groupby对象。
  • df.groupby(col1)[col2]):返回col2中值的平均值, 并按col1中的值分组。
  • df.pivot_table(index = col1, values = [col2, col3], aggfunc = mean):创建按col1分组的数据透视表, 并计算col2和col3的平均值。
  • df.groupby(col1).agg(np.mean):它为每个唯一的col1组计算所有列的平均值。
  • df.apply(np.mean):其任务是在每列上应用函数np.mean()。
  • nf.apply(np.max, axis = 1):其任务是在每行上应用函数np.max()。
加入/合并
  • df1.append(df2):其任务是将df1中的行添加到df2的末尾(列应相同)。
  • pd.concat([df1, df2], axis = 1):其任务是将df1中的列添加到df2的末尾(行应相同)。
  • df1.join(df2, on = col1, how =’ inner’ ):SQL样式将df1中的列与df2中的列连接在一起, 其中col的行具有相同的值, ” how” 可以为” left” , “ 对” , “ 外部” , “ 内部” 。
统计
【Pandas备忘单用法详解】可以将统计功能应用于” 系列” , 如下所示:
  • df.describe():返回数字列的摘要统计信息。
  • df.mean():它返回所有列的均值。
  • df.corr():它返回数据帧中列之间的相关性。
  • df.count():它返回每个数据帧列中所有非空值的计数。
  • df.max():它从每个列中返回最大值。
  • df.min():它返回每个列中的最小值。
  • df.median():它返回每个列的中位数。
  • df.std():返回每列的标准差。

    推荐阅读