自然语言处理--分词正向最大匹配，逆向最大匹配和双向最大匹配自然语言处理

逆向最大匹配
词典word.txt

南京南京市长江长江大桥大桥南京市长市长北京北京市长烤鸭南京烤鸭

逆向最大

class IMM(object): def __init__(self,dic_path): #集合 self.dictionary = set() self.maximum = 0 #读取词典 with open(dic_path,'r',encoding='utf8') as f: for line in f: line = line.strip() if line: self.dictionary.add(line) self.maximum = len(self.dictionary)def cut(self,text): #用于存放切分出来的词 result = [] index = len(text) #记录没有在词典中的词，可以用于发现新词 no_word = '' while index > 0: word = None #从前往后匹配，以此实现最大匹配 for first in range(index): if text[first:index] in self.dictionary: word = text[first:index] #如果之前存放了字典里面没有出现过的词 if no_word != '': result.append(no_word[::-1]) no_word = '' result.append(text[first:index]) index = first break if word == None: index = index -1 no_word += text[index] return result[::-1]if __name__ == '__main__': text = '北京市长喜欢南京烤鸭和南京市长江大桥' tokenizer = IMM('word.txt') print(tokenizer.cut(text))

运行结果：