主要内容

本页采用了机器翻译。点击此处可查看英文原文。

图像类别分类

使用视觉特征袋、CNN、视觉变换器和视觉语言模型对图像进行分类

Computer Vision Toolbox™ 中的图像类别分类工具支持您使用基于深度学习的视觉变换器模型或传统的视觉词袋技术将图像分类到预定义类别中。图像类别分类功能对于场景识别、内容过滤和自动标记等应用至关重要。您可以首先使用图像标注器视频标注器创建标注数据集,它们分别支持对图像和视频帧进行交互式和 AI 辅助的场景级标签注解。这些标签可作为训练和评估图像分类模型的真实值。

对于基于深度学习的分类,工具箱通过 visionTransformer 函数提供对预训练视觉变换器 (ViT) 模型的访问。这些模型使用自注意力机制捕获全局图像上下文,并且可以针对自定义数据集进行微调。您可以通过 patchEmbeddingLayer 等支持层来设计和扩展 ViT 架构。此外,工具箱还支持 CLIP 网络,它将视觉和语言理解相结合来执行图像分类。使用 clipNetwork 对象和 classify 对象函数来执行图像分类任务,将视觉内容与文本描述对齐,支持多模态应用。

对于传统方法,工具箱支持特征袋 (BoF) 框架,它将图像表示为视觉词出现频率的直方图。您可以使用 bagOfFeatures 对象提取特征并构建视觉词典,然后使用 trainImageCategoryClassifier 函数训练分类器,并使用 imageCategoryClassifier 函数进行预测。此方法对于轻量级应用或可解释性优先的场景尤其有用。有关详细信息,请参阅Image Classification with Bag of Visual Words

App

图像标注器为计算机视觉应用标注图像
视频标注器Label video for computer vision applications

函数

全部展开

visionTransformer预训练的视觉变换器 (ViT) 神经网络 (自 R2023b 起)
patchEmbeddingLayerPatch embedding layer (自 R2023b 起)
clipNetworkCreate pretrained CLIP deep learning neural network for vision-language tasks (自 R2026a 起)
classifyClassify image using CLIP network (自 R2026a 起)
bagOfFeaturesBag of visual words object
trainImageCategoryClassifierTrain an image category classifier
imageCategoryClassifierPredict image category
imageDatastore图像数据的数据存储
splitlabels查找用于根据指定比例拆分标签的索引
countlabelsCount number of unique labels
folders2labels从文件夹名称中获取标签列表

主题

为图像分类创建真实值

  • Get Started with the Image Labeler
    Interactively label rectangular ROIs for object detection, pixels for semantic segmentation, polygons for instance segmentation, and scenes for image classification.
  • Get Started with the Video Labeler
    Interactively label rectangular ROIs for object detection, pixels for semantic segmentation, polygons for instance segmentation, and scenes for image classification in a video or image sequence.

使用深度学习模型对图像进行分类

  • 训练视觉变换器网络用于图像分类
    本示例演示了如何对预训练的视觉变换器 (ViT) 神经网络进行微调,以便对一组新的图像进行分类。
  • 创建简单的图像分类网络 (Deep Learning Toolbox)
    此示例说明如何创建和训练简单的卷积神经网络来进行深度学习分类。卷积神经网络是深度学习的基本工具,尤其适用于图像识别。
  • 图像分类快速入门 (Deep Learning Toolbox)
    此示例说明如何使用深度网络设计器创建简单的卷积神经网络来进行深度学习分类。卷积神经网络是深度学习的基本工具,尤其适用于图像识别。

使用特征袋方法对图像进行分类

精选示例