①马尔可夫性质：已知“现在”的情况下，“未来”与“过去”彼此独立（N+1仅与N有关，与N以前的所有都无关）
②马尔可夫过程：具有马尔可夫性质的随机过程
③马尔可夫链：马尔可夫过程的原始模型，其任意时刻的状态是有限个可能状态之一，某时刻状态一旦确定后续状态与此前状态无关。
【学习笔记|关于马尔可夫过程的一些学习笔记】④隐马尔可夫过程：双重随机过程，状态和状态间随机，状态和输出间亦随机，输出仅与当前状态有关
⑤马尔可夫决策过程：考虑动作，系统下一时刻的状态与当前时刻的状态和当前时刻采取的动作有关
⑥部分可观察马尔可夫决策过程：环境状态部分可知，（需要借助传感器感知外界环境or与其他Agent进行交互）
文章图片
推荐阅读
- Datawhale|三月（心跳信号分类预测_baseline_v1：输出结果优化）
- 前端|Vue 学习笔记（一）
- 安卓源码探究|android源码学习-目录
- 笔记|王道计算机网络学习笔记
- Golang|Golang 小数操作之判断几位小数点与四舍五入
- Golang|Golang []int []string 互转与判断字符是否在数组中
- Springcloud笔记|SpringCloud 基础学习笔记
- 学习|软件测试入门到高级，5k-50k，你属于哪个阶段（）
- 机器人教育|在学习少儿编程中体会AI乐趣