近似熵-样本熵-多尺度熵
近似熵理论相关知识与代码实现
https://blog.csdn.net/cratial/article/details/79707169
近似熵（ApEn）是一种用于量化时间序列波动的规律性和不可预测性的非线性动力学参数，它用一个非负数来表示一个时间序列的复杂性，反映了时间序列中新信息发生的可能性，越复杂的时间序列对应的近似熵越大[1].
[1]. Pincus, S. M. (1991). “Approximate entropy as a measure of system complexity”. Proceedings of the National Academy of Sciences. 88 (6): 2297–2301.
样本熵理论相关知识与代码实现
https://blog.csdn.net/Cratial/article/details/79742363
【近似熵-样本熵-多尺度熵】样本熵(SampEn)是基于近似熵(ApEn)的一种用于度量时间序列复杂性的改进方法，在评估生理时间序列的复杂性和诊断病理状态等方面均有应用[1].
由于样本熵是近似熵的一种改进方法，因此可以将其与近似熵联系起来理解.
与近似熵相比，样本熵具有两个优势：样本熵的计算不依赖数据长度；样本熵具有更好的一致性，即参数m和r的变化对样本熵的影响程度是相同的.
多尺度熵---Understanding Multiscale Entropy
https://blog.csdn.net/Cratial/article/details/88918132
多尺度熵（Multiscale entropy, MSE）将样本熵扩展到多个时间尺度，以便在时间尺度不确定时提供额外的观察视角。样本熵的问题在于它没有很好地考虑到时间序列中可能存在的不同时间尺度。为了计算不同时间尺度下信号的复杂性，Costa等人（2002,2005）提出了多尺度熵。
与其他熵测量方法一样，多尺度熵的目标是评估时间序列的复杂性。使用多尺度熵的主要原因之一是不知道时间序列中相关的时间尺度。例如，在分析语音信号时，在单词时间尺度下统计信号的复杂度会比统计整个语音片段的复杂度更加有效。但如果你不知道音频信号代表语音，甚至对语音概念没有任何了解，你就不知道应该运用什么时间尺度以从原始信号中获得更多有用的信息。因此，通过多个时间尺度来分析问题将会得到更多信息。在脑电图中，潜在的脑电模式是未知的，因此相关的时间尺度也是未知的。所以，需要通过多尺度样本熵来分析哪个尺度对特定场合下脑电信号的分析更有用.
推荐阅读
- es使用与原理4|es使用与原理4 -- phrase match ，slop近似匹配，搜索推荐等等
- 听老师讲解电影课（5）:听电影讲解，看生命样本（福斯特医生）
- 熵定律
- 相对熵和交叉熵及其联系和区别
- 《繁凡的深度学习笔记》|一文绝对让你完全弄懂信息熵、相对熵、交叉熵的意义《繁凡的深度学习笔记》第 3 章 分类问题与信息论基础（中）（DL笔记整理
- CHAPTER8|CHAPTER8 近似算法
- softmax损失函数-交叉熵
- 交叉熵损失函数原理详解
- 原创|通俗易懂！详解Softmax及求导过程、Python实现、交叉熵
- 信息熵，KL散度，JS散度