自然语言处理|新闻文本分类—基于深度学习的文本分类1 python|机器学习

文章目录

1. 学习目标
2.FastText文本表示法
3.基于FastText的文本分类

1. 学习目标（1）学习FastText的使用和基础原理
（2）学会使用验证集进行调参
2.FastText文本表示法 FastText是一种典型的深度学习词向量的表示方法，它非常简单通过Embedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，进而完成分类操作。
所以FastText是一个三层的神经网络，输入层、隐含层和输出层。

使用keras实现的FastText网络结构：

from __future__ import unicode_literalsfrom keras.models import Sequential from keras.layers import Embedding from keras.layers import GlobalAveragePoolingID from keras.layers import DenseVOCAB_SIZE = 2000 EMBEDDING_DIM = 100 MAX_WORDS = 500 CLASS_NUM = 5def build_fastText(): model = Sequential() #通过embedding层，我们将词汇映射成EMBEDDING_DIM维向量 model.add(Embedding(VOCAB_SIZE,EMBEDDING_DIM,input_length=MAX_WORDS)) #通过GlobalAveragePoolingID，我们平均了文档中所有词的embedding model.add(GlobalAveragePoolingID()) #通过输出层Softmax分类（真实的fastText这里是分层Softmax），得到类别概率分布 model.add(Dense(CLASS_NUM,activation='softmax')) #定义损失函数，优化器，分类度量指标 model.compile(loss='categorical_crossentropy',optimizer='SGD',metrics=['accuracy']) return modelif __name__ == '__main__': model = build_fastText() print(model.summary())

FastText在文本分类任务上，是优于TF-IDF的：
（1）FastText用单词的Embedding叠加获得的文档向量，将相似的句子分为一类
（2）FastText学习到的Embedding空间维度比较低，可以快速进行训练
3.基于FastText的文本分类

```python import pandas as pd import fasttext from sklearn.metrics import f1_score if __name__ == '__main__':# 转换为FastText需要的格式 train_df = pd.read_csv('train_set.csv', sep='\t', nrows=15000) train_df['label_ft'] = '__label__' + train_df['label'].astype(str) train_df[['text','label_ft']].iloc[:-5000].to_csv('train.csv', index=None, header=None, sep='\t')model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=2, verbose=2, minCount=1, epoch=25, loss="hs")val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']] print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))

【自然语言处理|新闻文本分类—基于深度学习的文本分类1】