Clickhouse重复数据处理 _ClickHouse

学向勤中得，萤窗万卷书。这篇文章主要讲述Clickhouse重复数据处理相关的知识，希望能为你提供帮助。
1.重复数据产生原因
正常我们使用MergeTree引擎创建表，虽然MergeTree拥有主键，但是它的主键没有唯一键的约束，这就意味着即便多行数据的主键相同，它们还是能够被正常写入。这里如果需要去重，可以使用 ReplacingMergeTree，它能够在合并分区时删除重复的数据，但是只能对同一分区的数据去重，且去重依据是order by排序键。
2.使用ReplacingMergeTree引擎创建表

create table replace_test(
id String,
code String,
create_time DateTime
)ENGINE = ReplacingMergeTree()
PARTITION BY toYYYYMM(create_time)
ORDER BY (id,code)
PRIMARY key id;

3.插入测试数据

nsert into replace_test values (1,tracy,2022-02-17 21:18:00);

insert into replace_test values (1,tracy,2022-02-17 21:19:00);

insert into replace_test values (1,tracy,2022-02-17 21:20:00);

insert into replace_test values (2,monica,2022-02-17 21:18:00);

insert into replace_test values (2,monica,2022-02-17 21:19:00);

4.执行optimize手动触发合并