锐客网

  1. 首页 > 生活百科 > >

按相似度去重 文本文件去重,Excel如何对短文本进行模糊去重？

经验分享生活百科

文本文件去重用EXCEL打开这个文本文件，然后用高级筛选来去除重复 ， 再另存为txt文件就行了
Excel如何对短文本进行模糊去重（按相似度去重）？Excel中的精确查找功能十分简单，比如说，我们需要查找“办公族”，就会直接在查找内容中输入“办公族” 。那如果要查包含“办公”这2个字的词该怎么办呢，这就必须用Excel中的通配符进行模糊查找 。Excel中的通配符为(?)和(*) 。其中问号代表单个字符，而星号则可以代表一个和多个字符 。具体做法1、我们现在需要找“办公”后加一个任意字符的数据，打开一篇Excel工作表，切换到“开始”选项卡 ， 单击“编辑”组中“查找和选择”组下的“查找”命令 。2、此时会弹出一个“查找和替换”对话框，并且自动切换到了“查找”选项卡，我们在“查找内容”文本框中输入“办公?”或者“办公*”，然后单击“查找全部”按钮 。3、大家现在可以查看查找的结果了，如下图所示 。提示：因为英文的问号(?)和星号(*)现在已经成了通配符，当我们需要查找这两个符号的时候只需要在相应的符号前加上波浪号(~)即可 。Excel中的模糊查找还是很有用处的，用法也比较简单，只需记住通配符的作用就行了，你学会了吗?
如何对一个大文本进行按每行去重操作【按相似度去重 文本文件去重,Excel如何对短文本进行模糊去重？】如何对一个大文本进行按每行去重操作用EXCEL打开这个文本文件，然后用高级筛选来去除重复，再另存为txt文件就行了
excel文本格式数据怎么去重？打开需要操作的EXCEL表格，选中相关单元格，在开始选项卡中点击“条件格式”-“突出显示单元格规则”-“重复值” 。在弹出的重复值规则设置对话框中，点击确定按钮即可 。
利用Linux命令行进行文本按行去重并按重复次数排序利用linux命令行进行文本按行去重并按重复次数排序linux命令行提供了非常强大的文本处理功能，组合利用linux命令能实现好多强大的功能 。本文这里举例说明如何利用linux命令行进行文本按行去重并按重复次数排序 。主要用到的命令有sort，uniq和cut 。其中，sort主要功能是排序，uniq主要功能是实现相邻文本行的去重，cut可以从文本行中提取相应的文本列(简单地说，就是按列操作文本行) 。用于演示的测试文件内容如下：[plain]Hello World. Apple and Nokia. Hello World. I wanna buy an Apple device. The Iphone of Apple company. Hello World. The Iphone of Apple company. My name is Friendfish. Hello World. Apple and Nokia. 实现命令及过程如下：[plain]1、文本行去重 (1)排序 由于uniq命令只能对相邻行进行去重复操作，所以在进行去重前，先要对文本行进行排序，使重复行集中到一起 。$ sort test.txt Apple and Nokia. Apple and Nokia. Hello World. Hello World. Hello World. Hello World. I wanna buy an Apple device. My name is Friendfish. The Iphone of Apple company. The Iphone of Apple company. (2)去掉相邻的重复行 $ sort test.txt | uniq Apple and Nokia. Hello World. I wanna buy an Apple device. My name is Friendfish. The Iphone of Apple company. 2、文本行去重并按重复次数排序 (1)首先，对文本行进行去重并统计重复次数(uniq命令加-c选项可以实现对重复次数进行统计 。) 。$ sort test.txt | uniq -c2 Apple and Nokia.4 Hello World.1 I wanna buy an Apple device.1 My name is Friendfish.2 The Iphone of Apple company. (2)对文本行按重复次数进行排序 。sort -n可以识别每行开头的数字，并按其大小对文本行进行排序 。默认是按升序排列，如果想要按降序要加-r选项(sort -rn) 。$ sort test.txt | uniq -c | sort -rn4 Hello World.2 The Iphone of Apple company.2 Apple and Nokia.1 My name is Friendfish.1 I wanna buy an Apple device. (3)每行前面的删除重复次数 。cut命令可以按列操作文本行 。可以看出前面的重复次数占8个字符，因此，可以用命令cut -c 9- 取出每行第9个及其以后的字符 。$ sort test.txt | uniq -c | sort -rn | cut -c 9- Hello World. The Iphone of Apple company. Apple and Nokia. My name is Friendfish. I wanna buy an Apple device. 下面附带说一下cut命令的使用，用法如下：[plain]cut -b list [-n] [file ...] cut -c list [file ...] cut -f list [-d delim][-s][file ...] 上面的-b、-c、-f分别表示字节、字符、字段（即byte、character、field）； list表示-b、-c、-f操作范围，-n常常表示具体数字； file表示的自然是要操作的文本文件的名称； delim（英文全写：delimiter）表示分隔符 ， 默认情况下为TAB； -s表示不包括那些不含分隔符的行（这样有利于去掉注释和标题） 三种方式中，表示从指定的范围中提取字节（-b）、或字符（-c）、或字段（-f） 。范围的表示方法：n只有第n项n- 从第n项一直到行尾n-m 从第n项到第m项(包括m)-m 从一行的开始到第m项(包括m)-从一行的开始到结束的所有项 在写这篇文章的时候，用到了vim的大小写转化的快捷键：gu变小写，gU变大写 。结合ctrl+v能够将一片文字中的字符进行大小写转换，非常好用 。
怎么实现在一个区域中的文本去重后在另一列单元格中显示出来？C1中输入=COUNTIF(B1:B2,"*"&A1&"*")如果有一个，则返回1 ， 如果有两个，返回2.

    推荐阅读


    上一篇：安卓灵动岛小组件，安卓手机 小组件有什么用

    下一篇：迪比科，迪比科数码电池怎么样