大家都知道NLP近几年非常火，而且相关技术发展也特别快，像BERT、GPT-3、图神经网络、知识图谱等技术被大量应用于项目实践中，这也推动了NLP在产业中的持续落地，以及行业对相关人才的需求。于是很多人欲转行NLP。
但是最近有同学私信我，NLP很难学，这条路能坚持走吗？
文章图片
对于这位朋友的问题，我想从两方面开始回答。
NLP学起来不容易
文章图片
01
很多大多数欲从事NLP相关工作的同学，往往都是通过自学的方式来进行学习，但是这样很明显的问题是：
1. 虽然学习了解了很多算法模型，但是技术深度和宽度的理解是比较薄弱的，大多还是只停留在调用现有工具比如BERT、XLNet等阶段。 导致无论面试还是真正去业界做NLP，都会被NLP领域的”老枪老炮“们一眼识别出小白属性。
2. 对于算法原理理解不深刻，这就会导致实际应用时不能很好地发挥出来，另外面试时对于大厂面试官的刨根问底，只能是眼睁睁的丢掉offer。
学到多好才能找到好工作？
文章图片
02
人的精力肯定是有极限的，既然急于求成要不得，那么我们究竟得学到多好才算是“出山”，可以去外面纵横天下了呢？
而对于NLP行业的面试无非就是向面试官证明两点：
- 我知道怎么做
- 我做过
安心，我已经给你准备好了，
为了迎合大家学习的需求，我们重磅推出了《自然语言处理训练营》（一定要看到最后），主要有两个目的：
1. 对于今后想从业NLP领域的人，这可能是最全面但同时最精简的课程，学完绝对可以满足相关岗位的要求（当然面试不仅仅看技术哦~），而且大概率在技术层面上能做到同行业TOP20%的水准
2. 对于已经从业AI领域的人，可以帮助你利用最少的时间成本来加深对知识的理解和对前沿技术的理解。
2017年有一篇开创性的文章叫作"Attention is all you need"， 那我们可以很自信地说“This course is all you need”，覆盖了从经典的机器学习、文本处理技术、序列模型、深度学习、预训练模型、知识图谱到图神经网络所有必要的技术。
课程已经过10期正式开班的迭代优化，不需要任何AI基础，唯一的要求是较好的编程基础。
NLP算法工程师培养计划
助你成为行业TOP10%的工程师
对课程有意向的同学
扫描二维码咨询
文章图片
01
本课程适合谁
在读学生
- 理工科相关专业的本科/硕士/博士生，毕业后想从事NLP工作的人
- 希望能够深入AI领域，为科研或者出国做准备
- 希望系统性学习NLP领域的知识
- 目前从事IT相关的工作，今后想做跟NLP相关的项目
- 目前从事AI相关的工作，希望与时俱进，加深对技术的理解
- 希望能够及时掌握前沿技术
课程导师团介绍
文章图片
李文哲
贪心学院CEO，曾任凡普金科集团首席数据科学家、 美国亚马逊和高盛高级工程师， 是金融行业开创知识图谱做大数据反欺诈的第一人。美国南加州大学博士，先后在AAAI、KDD、AISTATS、CHI等发表高水平学术论文15篇以上。
文章图片
Frank Max
香港城市大学博士, 加州大学博士后，师从领域大牛。主要从事于数据分析，机器学习，图卷积，图嵌入的研究。先后在ECCV, Trans on Cybernetics, Trans on NSE, INDIN等发表高水平学术论文
文章图片
王老师
毕业于QS世界综合排名TOP20名校计算机学院。研究方向为机器阅读理解，信息检索，文本生成等。曾多次于新加坡国立大学，南洋理工大学等世界名校访学交流。先后在AAAI, ICLR等发表高水平学术论文，拥有多项国家发明专利。
文章图片
【课程辅导导师】高老师
数据科学家，中国科学院博士，曾发表多篇高水平学术论文。曾参与简历信息抽取与匹配项目、机器阅读理解、问答系统 无监督文本匹配、业务场景分类识别和BD交流、微博博文品牌识别、微博博文评论句子级情感分析、微博博文微信文章文本分类、微博博文微信文章关键词提取、KOL和微博周榜榜单人群画像等项目，具有十分丰富的项目经验。
文章图片
【答疑导师】闫老师
某国家研究院NLP算法工程师，中国人民大学硕士，曾就职于网易，阿里巴巴等互联网大厂。负责过高阶NLP3，4，5，6，7，8，9期、高阶机器学习1，2，3，4期等课程的答疑工作。
03
课程大纲
第一周：
第一节：自然语言处理概述
- 什么是自然语言处理
- 自然语言处理的现状和前景
- 自然语言处理应用
- 自然语言处理经典任务
- 【算法|终于来了！这份NLP算法工程师学习路线yyds！】学习自然语言处理技术
- 时间复杂度、空间复杂度
- 斐波那契数列的时间和空间复杂度
- 动态规划算法
- 经典的DP问题
第二周
第一节：机器学习基础 - 逻辑回归
- 分类问题以及逻辑回归重要性
- 逻辑回归的条件概率
- 最大似然估计
- 构建逻辑回归的目标函数
- 优化与梯度下降法
- 随机梯度下降法
- 理解什么是过拟合
- 如何防止过拟合现象
- L1与L2正则
- 交叉验证
- L1正则与拉普拉斯分布
- L2正则与高斯分布
第三周
第一节：机器学习基础 - 其他机器学习模型
- KNN算法
- 朴素贝叶斯
- 决策树
- 随机森林
- 文本分析流程
- 中英文的分词
- 最大匹配算法
- 基于语言模型的分词
- Stemming和Lemmazation
- 停用词的使用
- 拼写纠错问题
- 编辑距离的实现
- 暴力搜索法
- 基于后验概率的纠错
第四周
第一节：文本的表示
- 单词的独热编码表示
- 句子的独热编码表示
- tf-idf表示
- 句子相似度比较
- 独热编码下的单词语义相似度
- 从独热编码到词向量
- 词向量的可视化、句子向量
- 数据描述以及任务
- 中文分词
- 独热编码、tf-idf
- 分布式表示与Word2Vec
- BERT向量
- 句子向量
第五周
第一节：词向量技术
- 独热编码表示的优缺点
- 独热编码与分布式表示的比较
- 静态词向量与动态词向量
- 学习词向量 - 分布式假设
- SkipGram与CBOW
- SkipGram模型的目标
- 负采样（Negative Sampling）
- 基于矩阵分解的词向量学习
- 基于Glove的词向量学习
- 在非欧式空间中的词向量学习
- l问答系统和应用场景
- 问答系统搭建流程
- 文本的向量化表示
- FastText
- 倒排表技术
- 问答系统中的召回
- 问答系统中的排序
- 项目：搭建知乎智能客服系统
第六周
第一节：语言模型
- 语言模型的必要性
- 马尔科夫假设
- Unigram语言模型
- Bigram、Trigram语言模型
- 语言模型的评估
- 语言模型的平滑技术
- HMM的应用
- HMM的参数
- HMM的推理过程和维特比算法
- 前向、后向算法
- Complete Case中的参数估计
- Incomplete Case中的参数估计
第七周
第一节：无向图模型与标记偏置
- 有向图与无向图
- 无向图中的特征函数
- 生成模型与判别模型
- 从HMM到MEMM
- MEMM中的标记偏置问题
- Log-Linear模型介绍
- Log-Linear与逻辑回归
- 从Log-Linear到Linear-CRF
- Log-Linear中的参数估计
- Linear-CRF中的Partition函数计算
- Linear-CRF的参数估计
第八周
第一节：【项目三】基于Liner-CRF的医疗实体识别
- 命名实体识别介绍
- 训练数据的准备
- 特征工程
- 结果的评估标准
- 训练模型和测试模型
- 项目：利用CRF抽取并识别医疗文本中的实体
- 理解神经网络
- 各类常见的激活函数
- 理解多层神经网络
- 反向传播算法
- 神经网络中的过拟合
- 浅层模型与深层模型对比
- 深度学习中的层次表示
- 练习：从零实现多层神经网络
- 练习：激活函数的实现技巧
第一节：Pytorch的使用
- 环境安装
- Pytorch与Numpy的语法比较
- Pytorch中的Autograd用法
- Pytorch的Forward函数
- 从HMM到RNN模型
- RNN中的梯度问题
- 解决梯度爆炸问题
- 梯度消失与LSTM
- LSTM到GRU
- 双向LSTM模型
- 基于LSTM的生成
第十周
第一节：Seq2Seq模型与注意力机制
- 浅谈机器翻译
- Seq2Seq模型
- Greedy Decoding
- Beam Search
- 长依赖所存在的问题
- 注意力机制
- 注意力机制的不同实现
第十一周
第一节：动态词向量与ELMo技术
- 基于上下文的词向量技术
- 图像识别中的层次表示
- 文本领域中的层次表示
- 深度BI-LSTM
- ELMo模型
- ELMo的训练与测试
- ELMo的优缺点
- 基于LSTM模型的缺点
- Transformer结构概览
- 理解自注意力机制
- 位置信息的编码
- 理解Encoder与Decoder区别
- 理解Transformer的训练和预测
- Transformer的缺点
第十二周
第一节：BERT与ALBERT
- 自编码器介绍
- Transformer Encoder
- Masked LM
- BERT模型
- BERT模型不同训练方式
- ALBERT
- 对话系统介绍
- 常见的对话系统技术
- 闲聊型对话系统框架
- 语料库的准备
- 数据的处理
第十三周
第一节：BERT的其他变种
- RoBERTa模型
- SpanBERT模型
- FinBERT模型
- 引入先验知识
- K-BERT
- KG-BERT
- Transformer Encoder回顾
- GPT-1，GPT-2
- GPT-3
- ELMo的缺点
- 语言模型下同时考虑上下文
- Permutation LM
- 双流自注意力机制
- Transformer-XL
- XLNet总结
第十四周
第一节：命名实体识别与实体消歧
- 信息抽取的应用和关键技术
- 命名实体识别
- NER识别常用技术
- 实体消歧技术
- 实体消歧常用技术
- 实体统一技术
- 指代消解
- 关系抽取的应用
- 基于规则的方法
- 基于监督学习方法
- Bootstrap方法
- Distant Supervision方法
第十五周
第一节：句法分析
- 句法分析以及应用
- CFG介绍
- 从CFG到PCFG
- 评估语法树
- 寻找最好的语法树
- CKY算法
- 从语法分析到依存文法分析
- 依存文法分析的应用
- 使用依存文法分析
- 基于图算法的依存文法分析
- 基于Transtion-based的依存文法分析
- 其他依存文法分析方法论
第十六周
第一节：知识图谱
- 知识图谱以及重要性
- 知识图谱中的实体和关系
- 利用非结构化数据构造知识图谱
- 知识图谱的设计
- 基于知识图谱的问答系统框架
- 医疗专业词汇的使用
- 获取问句的意图
- 问句的解释，提取关键实体
- 讲意图和关键信息转化为查询语句
- 把查询结果转化为自然语言的形式
第十七周
第一节：模型的压缩
- 模型压缩的必要性
- 常见的模型压缩算法总览
- 基于矩阵分解的压缩技术
- 从BERT到ALBERT的压缩
- 基于贝叶斯模型的压缩技术
- 模型的量化
- 模型的蒸馏方法
- 图的表示
- 图与知识图谱
- 基于图表示的应用场景
- 关于图的一些常见算法
- Deepwalk和Node2vec
- TransE图嵌入模型
- DSNE图嵌入模型
第十八周
第三十四章：图神经网络
- 卷积神经网络的回顾
- 图神经网络发展历程
- 设计图中的卷积操作
- 图中的信息传递
- 图卷积神经网络（GCN）
- GCN的优缺点
- 从GCN到GraphSage
- 注意力机制回顾
- 注意力机制与图表示
- GAT模型详解
- GAT与GCN的比较
- 对于Heterogenous数据处理
第十九周
第三十六章：图神经网络与其他应用
- Node Classification
- Graph Classification
- Link Prediction
- Community Detection
- 推荐系统中的应用
- 文本分类中的应用
- 图神经网络的未来发展
【直播课程】就业指导
NLP算法工程师培养计划
助你成为行业TOP10%的工程师
对课程有意向的同学
扫描二维码咨询
文章图片
04
课程中的部分案例
| 1. 实现一个拼写纠错器 |
| 2. 从零实现Word2Vec词向量 |
| 3. 利用SkipGram做推荐 |
| 4. 从零实现HMM模型 |
| 5. 基于Linear-CRF的词性分类器实现 |
| 6. 从零实现深度学习反向传播算法 |
| 7. 实现AI程序帮助写程序 |
| 8. 实现AI程序帮助写文章 |
| 9. 基于Transformer的机器翻译 |
| 10. 基于KG-BERT的知识图谱学习 |
| 11. 基于知识图谱的风控系统 |
| 12. 基于知识图谱的个性化教学 |
| 13. 利用蒸馏算法压缩Transformer |
| 14. 利用GCN实现社交推荐 |
| 15. 基于GAT的虚假新闻检测 |
| （剩下20+个案例被折叠，完整请咨询...） |
部分项目作业
（完整的请咨询）
01
豆瓣电影评分预测
涉及到的知识点：
- 中文分词技术
- 独热编码、tf-idf
- 分布式表示与Word2Vec
- BERT向量、句子向量
智能客服问答系统
涉及到的知识点：
- 问答系统搭建流程
- 文本的向量化表示
- FastText
- 倒排表
- 问答系统中的召回、排序
基于Linear-CRF的医疗实体识别
涉及到的知识点：
- 命名实体识别
- 特征工程
- 评估标准
- 过拟合
基于闲聊的对话系统搭建
涉及到的知识点：
- 常见的对话系统技术
- 闲聊型对话系统框架
- 数据的处理技术
- BERT的使用
- Transformer的使用
搭建基于医疗知识图谱的问答系统
涉及到的知识点：
- 医疗专业词汇的使用
- 获取问句的意图
- 问句的解释、提取关键实体
- 转化为查询语句
助你成为行业TOP10%的工程师
对课程有意向的同学
扫描二维码咨询
文章图片
推荐阅读
- 物联网|bp神经网络是什么网络,bp神经网络和神经网络
- 带你玩转人工智能|【深度学习实践(四)】识别验证码
- 人工智能|新一年涨工资指南（AI薪资水平和就业前景分析（一定要看完！））
- 物联网|神经网络的三种训练方法,神经网络训练过程图解
- 物联网|脉冲神经网络原理及应用,脉冲神经网络怎么训练
- 深度学习21天学习挑战赛|【深度学习21天学习挑战赛】6、使用VGG16模型实现卷积神经网——识别眼睛状态
- 大数据|腾讯云云原生数据湖DLC重磅推出免运维、零成本、高性能spark shuffle manager
- mongodb|MongoDB集群和安全
- 大数据|零零信安（0.zone攻击面查询和收敛平台——攻防演练神器）