智能优化方法智能优化方法

智能优化问题优化问题主要分为两大类：函数优化问题和组合优化问题。这里我主要想写一些传统的优化方法。
第一——穷举法首先是一个基本的也是最牛的优化方法：穷举法。但是穷举法只能适用于离散型的问题，连续型的是没有办法穷举的，也没有办法都列举出来。所以穷举只能算是一个很基本的方法了。这里就不介绍了。
第二——基于梯度的优化方法 1.梯度下降法：每次搜索方向都是梯度下降最快的方向（负梯度方向）。梯度下降法的缺点在于第一当靠近极小值时收敛速度减慢，第二对于直线搜索问题不适用，第三可能会出现“之字形”的下降方式，出现震荡。
2.牛顿法：牛顿法的优点是收敛较快，是呈二阶收敛的。缺点是目标矩阵计算量大（因为要求二阶导数）。
3.共轭梯度法：共轭梯度法的一个最大优点是它仅利用一阶导数信息。
上述经典优化方法的缺点是：
（1）对目标函数、约束函数有很高要求（包括有显示表达式，线性、连续、可微）。
（2）只从一个初始点出发、难以并行。
（3）最优性难到达（问题函数为凸，可行域为凸）。
第三——启发式搜索的优化方法启发式搜索：利用问题的启发信息来引导搜索。
1.离散优化问题：爬山算法、动态规划、禁忌搜索。
2.连续优化问题：下山单纯算法、模式搜索、Powell
这里有一个重要内容要介绍——即产生与测试
产生与测试：
（1）产生一个可能的解。
（2）测试这个解是否为真正需要的解。
（3）如果是所需要的解则退出，否则回到步骤1
爬山算法：是一种局部搜索算法。爬山法的过程是：
Created with Rapha?l 2.1.2 开始 1.在搜索空间中随机选取一点 2.考虑当点的所有邻居 3.选择最好的邻居并移动到该处算法结束与否？结束 yes no 算法设计的要素：
（1）编码策略（“个体表示”与“问题解”的映射关系）
（2）初始解的产生（从什么位置开始搜索）
（3）领域函数的设计（下一个解的产生概率与当前解之间距离的关系，包括方向与步长）
（4）新解产生策咯（随机，确定）
（5）接受策咯（贪心）
【智能优化方法】爬山算法的缺点：容易陷入局部最优点，高地（平顶）会局部震荡，爬山法还有一些变体：随机爬山法，第一选择爬山法，随机重启爬山法
下山单纯形法下山单纯形法　：