numpartitions

数据存储分区数

语法

n = numpartitions(ds)

n = numpartitions(ds,pool)

n = numpartitions(ds) 返回数据存储 ds 的默认分区数。

n = numpartitions(ds,pool) 返回分区数量以便在 pool 指定的并行池上方并行处理数据存储访问。要对数据存储访问进行并行处理，必须安装 Parallel Computing Toolbox™。

根据示例文件 mapredout.mat（mapreduce 函数的输出文件）创建一个数据存储。

ds = datastore('mapredout.mat');

获取默认数量的分区。

n = numpartitions(ds)

n = 1

默认情况下，ds 中仅有一个分区，因为它只包含一个小文件。

划分数据存储并返回与第一部分对应的数据存储。

subds = partition(ds,n,1);

读取 subds 中的数据。

while hasdata(subds)
    data = read(subds);
end

获取多个分区，以基于当前并行池将数据存储访问并行化。您必须安装了 Parallel Computing Toolbox。

根据示例文件 mapredout.mat（mapreduce 函数的输出文件）创建一个数据存储。

ds = datastore('mapredout.mat');

获取多个分区，以基于当前并行池将数据存储访问并行化。

n = numpartitions(ds, gcp);

划分数据存储并读取每个部分中的数据。

parfor ii=1:n
    subds = partition(ds,n,ii);
    while hasdata(subds)
        data = read(subds);
    end
end

输入数据存储。可以使用 datastore 函数根据您的数据创建数据存储对象。

并行池对象。

示例: gcp

用法说明和限制：

在基于线程的环境中，您只能对以下数据存储使用 numpartitions：
- ImageDatastore 对象
- 使用 combine 或 transform 从 ImageDatastore 对象创建的 CombinedDatastore、SequentialDatastore 或 TransformedDatastore 对象
如果您有 Parallel Computing Toolbox，则可以对其他数据存储使用 numpartitions。为此，请使用基于进程的并行池运行该函数，而不是使用 backgroundPool 或 ThreadPool（使用 ProcessPool 或 ClusterPool）。