7.2|7.2 数据处理 : 数据的去重

2022-01-04

知识基础

Pandas包基础:pd.read_csv
正则表达式基础

在数据获取过程中由于网络延迟或者数据抓取规则的缘故，出现数据重复问题也是很常见的，所以需要对数据进行查重和去重处理。
首先每一行需要基于一个或者多个属性(attribution)是唯一(unique)的，或者确定数据唯一的规则，然后对数据进行查重和去重处理，继续以data.csv为例。
导入数据

from datapipeline import data

data.head()

7.2|7.2 数据处理 : 数据的去重

文章图片
现在没有重复的行，我们可以先手动添加一下

data = https://www.it610.com/article/data.append(data[0:10]) print(data.__len__())

110

显然，data中ASIN为唯一attr，可基于ASIN去重

data = https://www.it610.com/article/data.drop_duplicates('ASIN') print(data.__len__())

100

【7.2|7.2 数据处理 : 数据的去重】Tip:
实际操作过程中要基于数据特征和业务需求进行去重处理，甚至可能需要自行编写去重规则，在此先不展开说明了。

推荐阅读

上一篇：影帝周天成1比2不敌桃田贤斗，桃田丹麦赛夺冠

下一篇：《跃迁》第二章（高手在高价值区专注做正确的事|《跃迁》第二章：高手在高价值区专注做正确的事领读人：易仁永澄）