opticalFlowLK

用于基于 Lucas-Kanade 方法估计光流的对象

全页展开

说明

使用卢卡斯-卡纳德 (Lucas-Kanade) 算法创建一个光流对象，用于估计移动对象的方向和速度。使用对象函数 estimateFlow 来估计光流向量。使用 reset 对象函数，可以重置光流对象的内部状态。

创建对象

语法

opticFlow = opticalFlowLK

opticFlow = opticalFlowLK('NoiseThreshold',threshold)

描述

opticFlow = opticalFlowLK 返回一个光流对象，您可以利用它来估计视频中移动物体的方向和速度。光流是采用卢卡斯-卡纳德 (Lucas-Kanade) 算法进行估计的。

opticFlow = opticalFlowLK('NoiseThreshold',threshold) 返回一个光流对象，其中属性 'NoiseThreshold' 被指定为一个 Name,Value 对。请将属性名称用引号括起来。

例如，opticalFlowLK('NoiseThreshold',0.05)

示例

属性

全部展开

`NoiseThreshold` — 降噪阈值
`0.0039` (默认) | 正标量

降噪阈值，指定为一个正标量。随着该数值增大，物体的运动对光流计算的影响会减小。

对象函数

`estimateFlow`	估计光流
`reset`	Reset the internal state of the optical flow estimation object

示例

全部折叠

使用卢卡斯-卡纳德算法计算光流

打开实时脚本

读取一个视频文件。指定要读取的帧的时间戳。

vidReader = VideoReader('visiontraffic.avi','CurrentTime',11);

创建一个用于估计光流的光流对象，采用卢卡斯-卡纳德 (Lucas-Kanade) 方法。指定降噪的阈值。输出是一个光流对象，用于指定光流估计方法及其属性。

opticFlow = opticalFlowLK('NoiseThreshold',0.009);

创建一个自定义图窗，用于可视化光流向量。

h = figure;
movegui(h);
hViewPanel = uipanel(h,'Position',[0 0 1 1],'Title','Plot of Optical Flow Vectors');
hPlot = axes(hViewPanel);

读取图像帧并将其转换为灰度图像。根据连续的图像帧估计光流。显示当前图像帧，并将光流向量以箭头图的形式绘制出来。

while hasFrame(vidReader)
    frameRGB = readFrame(vidReader);
    frameGray = im2gray(frameRGB);
    flow = estimateFlow(opticFlow,frameGray);
    imshow(frameRGB)
    hold on
    plot(flow,'DecimationFactor',[5 5],'ScaleFactor',10,'Parent',hPlot);
    hold off
    pause(10^-3)
end

Figure contains an axes object and an object of type uipanel. The hidden axes object contains 2 objects of type image, quiver.

算法

全部展开

要计算两帧图像之间的光流，必须求解以下光流约束方程：

$I_{x} u + I_{y} v + I_{t} = 0$

。

$I_{x}$ 、 $I_{y}$ 和 $I_{t}$ 是图像亮度的时空导数。
u 表示水平光流。
v 表示垂直光流。

卢卡斯-卡纳德法

为求解 u 和 v 的光流约束方程，卢卡斯-卡纳德法将原始图像划分为较小的区域，并假设每个区域内的速度保持恒定。然后，它对每个部分 $Ω$ 中的 ${[\begin{matrix} u & v \end{matrix}]}^{T}$ ，将光流约束方程对常数模型进行加权最小二乘拟合。该方法通过使以下方程的值最小化来实现这种拟合：

$\sum_{x \in Ω} W^{2} {[I_{x} u + I_{y} v + I_{t}]}^{2}$

W 是一个窗口函数，它突出了各区段中心处的约束条件。该最小化问题的解是

$[\begin{matrix} \sum W^{2} I_{x}^{2} & \sum W^{2} I_{x} I_{y} \\ \sum W^{2} I_{y} I_{x} & \sum W^{2} I_{y}^{2} \end{matrix}] [\begin{matrix} u \\ v \end{matrix}] = - [\begin{matrix} \sum W^{2} I_{x} I_{t} \\ \sum W^{2} I_{y} I_{t} \end{matrix}]$

。

卢卡斯-卡纳德法利用差分滤波器 [-1 1] 来计算 $I_{t}$ 。

u 和 v 的解法如下：

使用内核 $[\begin{matrix} - 1 & 8 & 0 & \begin{matrix} - 8 & 1 \end{matrix} \end{matrix}] / 12$ 及其转置形式计算 $I_{x}$ 和 $I_{y}$ 。
使用 $[\begin{matrix} - 1 & 1 \end{matrix}]$ 内核计算图像 1 和图像 2 之间的 $I_{t}$ 。
使用一个可分离且各向同性的 5×5 元素核对梯度组件 $I_{x}$ 、 $I_{y}$ 和 $I_{t}$ 进行平滑处理，该核的有效一维系数为 $[\begin{matrix} \begin{matrix} 1 & 4 \end{matrix} & 6 & 4 & 1 \end{matrix}] / 16$ 。
使用以下方法，针对每个像素求解 2×2 线性方程组：
- 如果 $A = [\begin{matrix} a & b \\ b & c \end{matrix}] = [\begin{matrix} \sum W^{2} I_{x}^{2} & \sum W^{2} I_{x} I_{y} \\ \sum W^{2} I_{y} I_{x} & \sum W^{2} I_{y}^{2} \end{matrix}]$
  那么，矩阵 A 的特征值为 $λ_{i} = \frac{a + c}{2} \pm \frac{\sqrt{4 b^{2} + {(a - c)}^{2}}}{2}; i = 1, 2$
- 将特征值与阈值 $τ$ 进行比较，该阈值对应于您为降噪设置的值。结果属于以下情况之一：
  案例 1： $λ_{1} \geq τ$ 和 $λ_{2} \geq τ$
  A 是非奇异矩阵，该方程组采用克莱默法求解。
  案例 2： $λ_{1} \geq τ$ 和 $λ_{2} < τ$
  A 是奇异矩阵（不可逆），梯度流经过归一化以计算 u 和 v。
  案例 3： $λ_{1} < τ$ 和 $λ_{2} < τ$
  光流 u 和 v 均为 0。

参考

[1] Barron, J. L., D. J. Fleet, S. S. Beauchemin, and T. A. Burkitt. “ Performance of optical flow techniques.” In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR),236-242. Champaign, IL: CVPR, 1992.

扩展功能

全部展开

C/C++ 代码生成
使用 MATLAB® Coder™ 生成 C 代码和 C++ 代码。

GPU 代码生成
使用 GPU Coder™ 为 NVIDIA® GPU 生成 CUDA® 代码。

版本历史记录

在 R2015a 中推出

另请参阅

主题

What Is Optical Flow?

opticalFlowLK

说明

创建对象

语法

描述

属性

NoiseThreshold — 降噪阈值 0.0039 (默认) | 正标量

对象函数

示例

使用卢卡斯-卡纳德算法计算光流

算法

卢卡斯-卡纳德法

参考

扩展功能

C/C++ 代码生成 使用 MATLAB® Coder™ 生成 C 代码和 C++ 代码。

GPU 代码生成 使用 GPU Coder™ 为 NVIDIA® GPU 生成 CUDA® 代码。

版本历史记录

另请参阅

主题

`NoiseThreshold` — 降噪阈值
`0.0039` (默认) | 正标量

C/C++ 代码生成
使用 MATLAB® Coder™ 生成 C 代码和 C++ 代码。

GPU 代码生成
使用 GPU Coder™ 为 NVIDIA® GPU 生成 CUDA® 代码。