Computer Vision Toolbox

设计和测试计算机视觉、三维视觉和视频处理系统

 

Computer Vision Toolbox™ 提供多种算法、函数和 App,可用于设计和测试计算机视觉、三维视觉和视频处理系统。您可以执行目标检测和跟踪,以及特征检测、提取和匹配。对于三维视觉,该工具箱支持单目相机、立体相机和鱼眼相机标定;立体视觉;三维重建;激光雷达及三维点云处理。各种计算机视觉 App 可自动执行真值标注和相机标定工作流程。

您可以使用 YOLO v2、Faster R-CNN 和 ACF 等深度学习和机器学习算法训练自定义目标检测器。对于语义分割,您可以使用 SegNet、U-Net 和 DeepLab 等深度学习算法。使用预训练模型,您可以检测面部、行人及其他常见目标。

您可以在多核处理器和 GPU 上运行算法以实现加速。大多数工具箱算法都支持 C/C++ 代码生成,以便集成到现有代码、桌面原型以及嵌入式视觉系统部署。

开始:

深度学习和机器学习

使用深度学习和机器学习来检测、识别和分割目标。

目标检测与识别

提供 YOLO v2、Faster R-CNN、ACF 和 Viola-Jones 等多种框架,用于训练、评估和部署目标检测器。目标识别功能包括视觉词袋 (bag of visual words) 和 OCR。预训练模型可以检测面部、行人和其他常见目标。

使用 Faster R-CNN 进行目标检测。

语义分割

使用 SegNet、FCN、U-Net 和 DeepLab v3+ 等网络,对各个像素和体素进行分类,以分割图像和三维体。

真值标注

使用视频标注器和图像标注器进行自动标注,以用于目标检测、语义分割和场景分类。

使用视频标注器进行真值标注。

激光雷达和三维点云处理

借助激光雷达或三维点云数据,对几何形状进行分割、聚类、下采样、去噪、配准和拟合。Lidar Toolbox™ 还针对激光雷达处理系统的设计、分析和测试提供了更多功能。

激光雷达和点云 I/O

读取、写入和显示来自文件、激光雷达和 RGB-D 传感器的点云。

点云配准

使用正态分布变换 (NDT)、迭代最近点 (ICP) 和相干点漂移 (CPD) 算法配准三维点云。

配准和拼接一系列点云。

分割和形状拟合

将点云分割为簇,并对点云进行几何形状拟合。分割激光雷达数据中的地面,以用于自动驾驶和机器人应用。

分割的激光雷达点云。

相机标定

估算相机的内部、外部和镜头失真参数。

单目相机标定

使用相机标定器自动检测棋盘格并标定针孔和鱼眼相机。

立体相机标定

标定立体相机组,以计算深度并重建三维场景。

立体相机标定器。

三维视觉和立体视觉

从多个二维视图中提取场景的三维结构。使用视觉测距估计相机运动和姿态。

立体视觉

使用立体相机组估计深度并重建三维场景。

表示相对深度的立体视差图。

特征检测、提取和匹配

基于特征的工作流程,用于目标检测、图像配准和目标识别。

使用点特征检测、提取和匹配,检测杂乱场景中的目标。

基于特征的图像配准

在多个图像中匹配特征,以估计图像之间的几何变换并配准图像序列。

使用基于特征的配准创建的全景。

目标跟踪和运动估计

估计视频和图像序列中的运动并跟踪目标。

使用固定相机检测移动目标。

OpenCV 接口

将 MATLAB 和 Simulink 与基于 OpenCV 的项目和函数连接

代码生成

将算法开发集成到快速原型、实现和验证工作流程。

最新特性

Mask-RCNN

使用深度学习训练 Mask-RCNN 网络进行实例分割

视觉 SLAM

管理三维世界点及其对应的二维图像投影点

AprilTag 姿态估计

检测并估计图像中的 AprilTags 姿态

点云配准

使用相位相关为 SLAM 应用配准点云

点云闭环检测

用于 SLAM 闭环检测的点云特征描述

关于这些特性和相应函数的详细信息,请参阅发行说明