本页对应的英文页面已更新,但尚未翻译。 若要查看最新内容,请点击此处访问英文页面。

数据存储

读取大型数据集合

datastore 函数用于创建数据存储。数据存储是一个存储库,用于收集由于体积太大而无法载入内存的数据。利用数据存储,可将在磁盘、远程位置或数据库中存储的多个文件中的数据作为单个实体来读取和处理。如果数据太大而无法载入内存,您可以对数据的增量导入进行管理,创建 tall 数组来处理数据,或者使用数据存储作为 mapreduce 的输入以便进一步处理。有关详细信息,请参阅数据存储快速入门

函数

全部展开

datastore为大型数据集合创建数据存储
tabularTextDatastore表格文本文件的数据存储
spreadsheetDatastore用于电子表格文件的数据存储
imageDatastore图像数据的数据存储
parquetDatastore用于 Parquet 文件集合的数据存储
fileDatastore具有自定义文件读取器的数据存储
read读取数据存储中的数据
readall读取数据存储中的所有数据
preview数据存储中的数据子集
hasdata确定是否有数据可读取
reset将数据存储重置为初始状态
writeall将数据存储写入文件
shuffle对数据存储中的文件进行乱序处理
isShuffleable确定数据存储是否可乱序
numpartitions数据存储分区数
partition划分数据存储
isPartitionable确定数据存储是否可分区

函数

combine合并来自多个数据存储的数据
transform转换数据存储

对象

CombinedDatastore数据存储会合并从多个基础数据存储读取的数据
TransformedDatastore用于转换基础数据存储的数据存储
KeyValueDatastore用于 mapreduce 的键-值对组数据的数据存储
TallDatastore用于存放 tall 数组的检查点的数据存储

全部展开

matlab.io.Datastore 基础数据存储类
matlab.io.datastore.Partitionable为数据存储添加并行支持
matlab.io.datastore.HadoopLocationBased 为数据存储添加 Hadoop 支持
matlab.io.datastore.Shuffleable为数据存储添加乱序支持
matlab.io.datastore.DsFileSet 数据存储中文件集合的文件集对象
matlab.io.datastore.DsFileReader 数据存储中的文件的文件读取器对象
matlab.io.datastore.FileWritable向数据存储添加文件写入支持
matlab.io.datastore.FoldersPropertyProvider向数据存储添加文件夹属性支持
matlab.io.datastore.FileSet 数据存储中文件集合的文件集
matlab.io.datastore.BlockedFileSet 包含文件中的一组文件块的分块文件集

主题

数据存储快速入门

数据存储是一个用于读取单个文件或者文件或数据集合的对象。它相当于一个存储库,用来存储具有相同结构和格式的数据。例如,数据存储中每个文件包含的数据必须具有相同的类型(如数字或文本)、以相同顺序显示并用相同的分隔符分隔。

Select Datastore for File Format or Application

Choose the right datastore based on the file format of your data or application.

读取和分析大型表格文本文件

以下示例说明如何为包含表格数据的大型文本文件创建数据存储,然后采用逐个块或逐个文件的方式读取和处理数据。

Read and Analyze Image Files

This example shows how to create a datastore for a collection of images, read the image files, and find the images with the maximum average hue, saturation, and brightness (HSV).

Read and Analyze MAT-File with Key-Value Data

This example shows how to create a datastore for key-value pair data in a MAT-file that is the output of mapreduce.

Read and Analyze Hadoop Sequence File

This example shows how to create a datastore for a Sequence file containing key-value data.

处理远程数据

处理 Amazon S3™、Microsoft® Azure® Storage Blob 或 HDFS™ 中的远程数据。

Set Up Datastore for Processing on Different Machines or Clusters

Setup a datastore on your machine that can be loaded and processed on another machine or cluster.

Develop Custom Datastore

Create a fully customized datastore for your custom or proprietary data.

Develop Custom Datastore for DICOM Data

This example shows how to develop a custom datastore that supports writing operations.

Testing Guidelines for Custom Datastores

After implementing your custom datastore, follow this test procedure to qualify your custom datastore.