Python NLTK的词法化用法示例 _NLTK词法化

词法化是将单词的不同变形形式组合在一起的过程, 因此可以将它们作为单个项目进行分析。词法化与词干相似, 但它为单词带来了上下文。因此, 它将具有相似含义的单词链接到一个单词。
文本预处理包括两者抽干以及合法化。很多时候, 人们发现这两个术语令人困惑。有些人将这两个视为相同。实际上, 词干比词干优先使用词干, 因为词干对词进行形态分析。
【Python NLTK的词法化用法示例】lemmatization的应用是：

用于搜索引擎等全面的检索系统。
用于紧凑型索引

Examples of lemmatization:-> rocks : rock -> corpora : corpus -> better : good

与词干的主要区别在于, 词形化是语音参数的一部分, 即” pos” 。如果未提供, 则默认值为” noun” 。
以下是使用NLTK的词形化词的实现：

# import these modules from nltk.stem import WordNetLemmatizerlemmatizer = WordNetLemmatizer()print ( "rocks :" , lemmatizer.lemmatize( "rocks" )) print ( "corpora :" , lemmatizer.lemmatize( "corpora" ))# a denotes adjective in "pos" print ( "better :" , lemmatizer.lemmatize( "better" , pos = "a" ))

输出：