数据存储

读取大型数据集合

datastore 函数用于创建数据存储。数据存储是一个存储库，用于收集由于体积太大而无法载入内存的数据。利用数据存储，可将在磁盘、远程位置或数据库中存储的多个文件中的数据作为单个实体来读取和处理。如果数据太大而无法载入内存，您可以对数据的增量导入进行管理，创建 tall 数组来处理数据，或者使用数据存储作为 mapreduce 的输入以便进一步处理。有关详细信息，请参阅数据存储快速入门。

函数

全部展开

创建数据存储

`datastore`	为大型数据集合创建数据存储
`tabularTextDatastore`	表格文本文件的数据存储
`spreadsheetDatastore`	用于电子表格文件的数据存储
`imageDatastore`	图像数据的数据存储
`parquetDatastore`	用于 Parquet 文件集合的数据存储
`fileDatastore`	具有自定义文件读取器的数据存储
`arrayDatastore`	内存中数据的数据存储 (自 R2020b 起)

读取和写入数据存储

`read`	读取数据存储中的数据
`readall`	读取数据存储中的所有数据
`preview`	预览数据存储中的数据子集
`hasdata`	确定是否有数据可读取
`reset`	将数据存储重置为初始状态
`writeall`	将数据存储写入文件 (自 R2020a 起)

子集、分区或乱序数据存储

`subset`	创建数据存储或 FileSet 的子集
`isSubsettable`	Determine whether datastore is subsettable (自 R2022b 起)
`shuffle`	对数据存储中的所有数据进行乱序处理
`isShuffleable`	确定数据存储是否可乱序 (自 R2020a 起)
`numpartitions`	数据存储分区数
`partition`	划分数据存储
`isPartitionable`	确定数据存储是否可分区 (自 R2020a 起)

合并或变换数据存储

函数

`combine`	合并来自多个数据存储的数据
`transform`	变换数据存储

对象

`CombinedDatastore`	数据存储会合并从多个基础数据存储读取的数据
`SequentialDatastore`	从多个基础数据存储中按顺序读取数据 (自 R2022b 起)
`TransformedDatastore`	用于变换基础数据存储的数据存储

与 MapReduce 和 tall 数组集成

`KeyValueDatastore`	用于 `mapreduce` 的键-值对组数据的数据存储
`TallDatastore`	用于存放 `tall` 数组的检查点的数据存储

类

全部展开

开发自定义数据存储

`matlab.io.Datastore`	基础数据存储类
`matlab.io.datastore.Partitionable`	为数据存储添加并行支持
`matlab.io.datastore.Subsettable`	Add subset and fine-grained parallelization support to datastore (自 R2022b 起)
`matlab.io.datastore.HadoopLocationBased`	为数据存储添加 Hadoop 支持
`matlab.io.datastore.Shuffleable`	为数据存储添加乱序支持
`matlab.io.datastore.DsFileSet`	数据存储中文件集合的文件集对象
`matlab.io.datastore.DsFileReader`	数据存储中的文件的文件读取器对象
`matlab.io.datastore.FileWritable`	向数据存储添加文件写入支持 (自 R2020a 起)
`matlab.io.datastore.FoldersPropertyProvider`	向数据存储添加文件夹属性支持 (自 R2020a 起)
`matlab.io.datastore.FileSet`	数据存储中文件集合的文件集 (自 R2020a 起)
`matlab.io.datastore.BlockedFileSet`	包含文件中的一组文件块的分块文件集 (自 R2020a 起)

主题

数据存储快速入门
数据存储是一个用于读取单个文件或者文件或数据集合的对象。它相当于一个存储库，用来存储具有相同结构和格式的数据。例如，数据存储中每个文件包含的数据必须具有相同的类型（如数字或文本）、以相同顺序显示并用相同的分隔符分隔。
Select Datastore for File Format or Application
Choose the right datastore based on the file format of your data or application.
读取和分析大型表格文本文件
以下示例说明如何为包含表格数据的大型文本文件创建数据存储，然后采用逐个块或逐个文件的方式读取和处理数据。
读取和分析图像文件
此示例说明如何为图像集合创建数据存储，读取图像文件，并找到具有最大平均色调、饱和度和亮度 (HSV) 的图像。有关使用 mapreduce 函数进行图像处理的类似示例，请参阅Compute Maximum Average HSV of Images with MapReduce。
Read and Analyze MAT-File with Key-Value Data
This example shows how to create a datastore for key-value pair data in a MAT-file that is the output of mapreduce.
Read and Analyze Hadoop Sequence File
This example shows how to create a datastore for a Sequence file containing key-value data.
处理远程数据
处理 Amazon S3™、Azure^® Blob 存储或 HDFS™ 中的远程数据。
Set Up Datastore for Processing on Different Machines or Clusters
Setup a datastore on your machine that can be loaded and processed on another machine or cluster.
Develop Custom Datastore
Create a fully customized datastore for your custom or proprietary data.
Develop Custom Datastore for DICOM Data
This example shows how to develop a custom datastore that supports writing operations.
Testing Guidelines for Custom Datastores
After implementing your custom datastore, follow this test procedure to qualify your custom datastore.