![[李宏毅-机器学习]终身学习 Life-long learning](https://img.it610.com/image/info8/4aa577d087b340dabb8cd28f402f8a89.jpg)
文章图片
用同一个模型能解决很多任务
【[李宏毅-机器学习]终身学习 Life-long learning】![[李宏毅-机器学习]终身学习 Life-long learning](https://img.it610.com/image/info8/dd89c524a8a04df4928af829ed91a110.jpg)
文章图片
knowledge retention
![[李宏毅-机器学习]终身学习 Life-long learning](https://img.it610.com/image/info8/b04fa3b09dd6427e809f02f558fbf3c3.jpg)
文章图片
在task1上训练的model，在用于task2的训练后，发现在task1上的performance就下降了
![[李宏毅-机器学习]终身学习 Life-long learning](https://img.it610.com/image/info8/f29c30aa5317416fae544ff5b84c3558.jpg)
文章图片
![[李宏毅-机器学习]终身学习 Life-long learning](https://img.it610.com/image/info8/aa857b0526e84b7780135fed039193ae.jpg)
文章图片
让在新任务上学习到的参数，使得其与之前任务上得到的参数的距离不是很远，每个参数都有一个b来控制它的重要程度
![[李宏毅-机器学习]终身学习 Life-long learning](https://img.it610.com/image/info8/79fd8db51b28467abc7773cfbd0b4710.jpg)
文章图片
![[李宏毅-机器学习]终身学习 Life-long learning](https://img.it610.com/image/info8/c802576abcce46ef93e77e631e372f06.jpg)
文章图片
![[李宏毅-机器学习]终身学习 Life-long learning](https://img.it610.com/image/info8/b6df4e64722f4fccbd6087330242f786.jpg)
文章图片
knowledge transfer
![[李宏毅-机器学习]终身学习 Life-long learning](https://img.it610.com/image/info8/ead75e9144674d2fa34ba5b1d8e3d372.jpg)
文章图片
![[李宏毅-机器学习]终身学习 Life-long learning](https://img.it610.com/image/info8/a3ed3333420c4d78aa6ad0b9161aa17c.jpg)
文章图片
![[李宏毅-机器学习]终身学习 Life-long learning](https://img.it610.com/image/info8/7829a9edf366463da6f95d8fb3f23ad1.jpg)
文章图片
model expansion
![[李宏毅-机器学习]终身学习 Life-long learning](https://img.it610.com/image/info8/ec2b32e346c744cfad959490dd56cf67.jpg)
文章图片
![[李宏毅-机器学习]终身学习 Life-long learning](https://img.it610.com/image/info8/7550cd698e7d4c8fbd42d283e5ceac33.jpg)
文章图片
推荐阅读
- C语言学习|第十一届蓝桥杯省赛 大学B组 C/C++ 第一场
- paddle|动手从头实现LSTM
- pytorch|使用pytorch从头实现多层LSTM
- 推荐系统论文进阶|CTR预估 论文精读(十一)--Deep Interest Evolution Network(DIEN)
- pytorch|YOLOX 阅读笔记
- 前沿论文|论文精读（Neural Architecture Search without Training）
- 联邦学习|【阅读笔记】Towards Efficient and Privacy-preserving Federated Deep Learning
- OpenCV|OpenCV-Python实战（18）——深度学习简介与入门示例
- 深度学习|深度学习笔记总结
- 《繁凡的深度学习笔记》|一文绝对让你完全弄懂信息熵、相对熵、交叉熵的意义《繁凡的深度学习笔记》第 3 章 分类问题与信息论基础（中）（DL笔记整理