Pandas实现在线文件和剪贴板数据读取详解 Pandas实现在线文件和剪贴板数

前言
read_html
在线文件1
在线文件2
读取在线CSV文件
Pandas读取剪贴板

前言大家好，我是Peter~
本文记录的是Pandas两种少用的读取文件方式：

读取在线文件的数据
读取剪贴板的数据

声明：本文案例和在线数据仅用于学术分享

read_html 该函数表示的是直接读取在线的html文件，一般是表格的形式；将HTML的表格转换为DataFrame的一种快速方便的方法。
这个方法对于快速合并来自不同网页上的表格非常有用，就省去了爬取数据再来读取的时间。
具体函数的参数为：

pandas.read_html(io,# 文件 io 对象；路径或者io.Strings对象match='.+',# str 或编译的正则表达式，可选flavor=None, # 要使用的解析引擎， None是默认值header=None,# 文件表头index_col=None,# 索引skiprows=None,# 跳过行attrs=None,# 属性parse_dates=False,# 日期解析thousands=',',# 千分位encoding=None,# 编码decimal='.',# 识别为小数点的字符converters=None,# 属性转换na_values=None,#空值信息keep_default_na=True,# 是否保持空值displayed_only=True# 是否应该解析带有“display:none” 的元素)

在线文件1 读取维基百科上一份历届奥运会乒乓球冠军的相关数据。该地址下的部分表格形式的数据：

文章图片

文章图片

In [3]:

url = "https://zh.m.wikipedia.org/zh/%E5%A5%A5%E6%9E%97%E5%8C%B9%E5%85%8B%E8%BF%90%E5%8A%A8%E4%BC%9A%E4%B9%92%E4%B9%93%E7%90%83%E5%A5%96%E7%89%8C%E5%BE%97%E4%B8%BB%E5%88%97%E8%A1%A8"df = pd.read_html(url)df

Out[3]:
我们观察到此时读取到的df是一个列表，总长度是15

list

In [4]:

len(df)

Out[4]:

9

查看列表中的部分元素：此时就是一个个的DataFrame形式的数据

文章图片

文章图片

在线文件2 一个国外网站下的数据

文章图片

In [7]:

df1 = pd.read_html("https://www.fdic.gov/resources/resolutions/bank-failures/failed-bank-list")type(df1)

Out[7]:

list

In [8]:

len(df1)

Out[8]:

1

In [9]:

df1[0]

Out[9]:

文章图片

读取在线CSV文件以读取GitHub上一个CSV文件为例：
方式1：直接读取

url="https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv"pd.read_csv(url)

文章图片

方式2：通过io.Strings对象

url="https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv"response=requests.get(url).content# 先发请求df2 = pd.read_csv(io.StringIO(response.decode('utf-8'))) df2# 效果同上

Pandas读取剪贴板