这几天由于疫情出不了门，看到小波神经网络（其实就是BP的激活函数换成了小波基），另外学了一下tf2.0（习惯tf1的会很不习惯tf2.0，但是习惯torch的就会很习惯），就在家里做了基于tf2.0的小波神经网络、多层小波神经网络与小波长短时记忆网络，并将这几种网络用于时间序列预测。
1、小波神经网络
输入层-隐含层-小波基-输出层，结构参数如图1所示，结果如图2
文章图片
图1WNN
文章图片
图2 训练过程LOSS曲线与预测结果
WNN测试集的mape: 0.1339909089129066rmse: 0.5694716893056084mad: 0.4278998032956062R2: 0.9222714818686699tic: 0.06524600712982993
2、多层小波神经网络
输入层-隐含层1-小波基-隐含层2-小波基-隐含层3-小波基-输出层，结构参数如图3所示，结果如图4
文章图片
图3 多隐层WNN
文章图片
图4 训练过程LOSS曲线与预测结果
多隐层WNN测试集的
【机器学习|基于tf2.0的小波长短时记忆网络】mape: 0.1288010539225133rmse: 0.5117879709690429mad: 0.3966885643349611R2: 0.9372207303058855tic: 0.057742995312087826
3、小波长短时记忆神经网络
输入层-LSTM层-小波基-输出层，结构参数如图5所示，结果如图6所示：
文章图片
图5 小波长短时记忆网络
文章图片
图6 训练过程LOSS曲线与预测结果
Wavelet LSTM测试集的mape: 0.09460833775830375rmse: 0.3685212105551455mad: 0.27542644922659676R2: 0.9674492432665653tic: 0.042322784636116696
分析结果可知：3种模型的效果从优到劣依次是：WaveletLSTM，多隐含层WNN，WNN。
推荐阅读
- C语言学习|第十一届蓝桥杯省赛 大学B组 C/C++ 第一场
- paddle|动手从头实现LSTM
- pytorch|使用pytorch从头实现多层LSTM
- 人工智能|干货！人体姿态估计与运动预测
- 推荐系统论文进阶|CTR预估 论文精读(十一)--Deep Interest Evolution Network(DIEN)
- Python专栏|数据分析的常规流程
- pytorch|YOLOX 阅读笔记
- 读书笔记|《白话大数据和机器学习》学习笔记1
- Pytorch学习|sklearn-SVM 模型保存、交叉验证与网格搜索
- 前沿论文|论文精读（Neural Architecture Search without Training）