【实验记录】2020-8-22
2020-8-22
昨天训练至今日的结果
| Size | Precision | Recall | F1 | Step |
|---|---|---|---|---|
| 4*20 | 16.63 | 66.89 | 26.65 | 11900 |
| 4*40 | 12.54 | 67.03 | 21.13 | 7500 |
| 8*20 | 13.02 | 72.30 | 22.07 | 8400 |
| 8*40 | 9.79 | 78.31 | 17.40 | 1700 |
| 16*20 | 10.12 | 56.33 | 17.16 | 1800 |
| 16*40 | 7.09 | 25.52 | 11.10 | 300 |
- Loss从昨天的0.005左右，下降到今天的0.004左右。接近15个小时下降了这个程度，其实loss还是可以下降，结果还是可以上升的。
- 昨天的最大距离的差值也是有波动的，昨天是在0- 0.1的范围内波动，今天的embedding还是有明显的大小区别了的，是从0-0.32。可以看出embedding确实还是有训练出一定的区别的
- 模块度这里，ground truth的模块度还是没有什么区别的，Louvain得到的结果的模块度是有了不错的提升，昨天是在1e-6的范围，今天是在1e-4的范围内了
- 所有现在在训练的模型，都太慢了，可以适当增加学习率，加快word embedding和整个模型的训练，再逐步的降低学习率，从而达到一个学习的效果。
- 训练size这里现在为止并没有测出任何效果，仅仅只是通过global step和F分数来印证了一下
4*10，lr=1e-3这样
推荐阅读
- 宽容谁
- 我要做大厨
- 增长黑客的海盗法则
- 画画吗（）
- 20170612时间和注意力开销记录
- 2019-02-13——今天谈梦想（）
- 远去的风筝
- 三十年后的广场舞大爷
- 叙述作文
- 20190302|20190302 复盘翻盘