什么是光流估计?
光流估计就是当给定两帧图像时,下一帧图像和上一帧图像中每一个点有什么不同,而且不同点移动到了什么位置。实现找出人眼所能看到的东西。这个过程是Lucas-Kanade发现的,简称L-K。
【学习人工智能|光流估计的理解】但是L-K有三个前提假设条件:
- 亮度恒定:一个像素点随着时间的变化,其亮度值(像素灰度值)是恒定不变的。这是光流法的基本设定。所有光流法都必须满足。(也就是说,一个物体当前的像素灰度值是恒定的,不改变的,光照不改变的情况下来进行)
- 小运动: 时间的变化不会引起位置的剧烈变化。这样才能利用相邻帧之间的位置变化引起的灰度值变化,去求取灰度对位置的偏导数。所有光流法必须满足。
- 空间一致:即前一帧中相邻像素点在后一帧中也是相邻的。这是LK光流法独有的假定。因为为了求取x,y方向的速度,需要建立多个方程联立求解。而空间一致假设就可以利用邻域n个像素点来建立n个方程。
在亮度恒定,位移变化小,空间一致的相邻两帧图像中,找出位移后的像素值,主要是通过当前位置亮度在x和y方向,以及在相邻两帧中的灰度变化值来估计x和y变化了多少y,主要的方法是将图像进行缩小,只有缩小到足够小,才可以用泰勒展开,对缩小后的图片第一次LK得到位移值,然后按照一定的倍数放大当前采集到的位移值,再进行LK,重复此操作,直到达到原图的像素值时停止分层,得到最终的位移像素。