在多个数据集上运行单个程序

简介

单程序多数据 (SPMD) 语言构造允许串行和并行编程无缝交错。spmd 语句允许您定义一个代码块以在多个工作单元上同时运行。在工作单元的 spmd 语句内分配的变量允许通过 Composite 对象引用直接从客户端访问它们的值。

本章解释了 spmd 语句和 Composite 对象的一些特征。

何时使用 spmd

SPMD 的“单一程序”特性意味着相同的代码在多个工作单元上运行。您在 MATLAB^® 客户端中运行一个程序，其中标记为 spmd 代码块的部分在工作单元上运行。当 spmd 代码块完成后，程序将在客户端继续运行。

“多数据”方面意味着即使 spmd 语句在所有工作单元上运行相同的代码，每个工作单元对于该代码可以拥有不同的、唯一的数据。因此，多个数据集可由多个工作单元容纳。

适合 spmd 的典型应用是那些需要在多个数据集上同时执行程序的应用，此时需要在工作单元之间进行通信或同步。一些常见情况如下：

有关详细信息，请参阅在 spmd、parfor 和 parfeval 之间选择。

定义一个 spmd 语句

spmd 语句的一般形式为：

spmd
    <statements>
end

<statements> 表示的代码块在并行池中的所有工作单元上同时并行执行。如果您希望将执行限制在这些工作单元中的一部分，请准确指定要运行的工作单元数量：

spmd (n)
    <statements>
end

该语句要求 n 个工作单元运行 spmd 代码。n 必须小于或等于打开的并行池中的工作单元数量。如果池足够大，但是 n 工作单元不可用，则该语句将等待，直到有足够的工作单元可用。如果 n 为 0，则 spmd 语句不使用工作单元，并在客户端本地运行，就像当前没有正在运行的池一样。

您可以指定工作单元数量的范围：

spmd (m,n)
    <statements>
end

在这种情况下，spmd 语句至少需要 m 个工作单元，最多需要 n 个工作单元。

如果控制执行 spmd 语句的工作单元数量很重要，请在集群配置文件中或使用 spmd 语句设置精确的数字，而不是使用范围。

例如，针对三个工作单元创建一个随机矩阵：

spmd (3)
    R = rand(4,4);
end

与 parfor 循环不同，用于 spmd 语句的每个工作单元对于 spmdIndex 都有一个唯一的值。这使您可以指定仅在某些工作单元上运行的代码，或者自定义执行，通常是为了访问唯一的数据。

例如，根据 spmdIndex 创建不同大小的数组：

spmd (3)
    if spmdIndex==1 
        R = rand(9,9);
      else
        R = rand(4,4);
    end
end

根据 spmdIndex 在每个工作单元上加载唯一的数据，并在每个工作单元上使用相同的函数从数据中计算结果：

spmd (3)
    labdata = load(['datafile_' num2str(spmdIndex) '.ascii'])
    result = MyFunction(labdata)
end

执行 spmd 语句的工作单元同时操作并且相互了解。与通信作业一样，您可以直接控制工作单元之间的通信，在它们之间传输数据，并在它们之间使用共存分布式数组。

例如，在 spmd 语句中使用共存分布式数组：

spmd (3)
    RR = rand(30, codistributor());
end

每个工作单元都有一个 30×10 的共存分布式数组 RR 段。有关共存分布式数组的更多信息，请参阅 使用共存分布式数组。

显示输出

在并行池上运行 spmd 语句时，来自工作单元的所有命令行输出都会显示在客户端命令行窗口中。由于工作单元是没有显示的 MATLAB 会话，所以来自池的任何图形输出（例如，图形窗口）根本不会显示。

MATLAB 路径

所有执行 spmd 语句的工作单元必须具有与客户端相同的 MATLAB 搜索路径，以便它们可以执行在其公共代码块中调用的任何函数。因此，无论何时在客户端上使用 cd、addpath 或 rmpath，如果可能的话，它也会在所有工作单元上执行。有关更多信息，请参阅 parpool 参考页。当工作单元在与客户端不同的平台上运行时，使用函数 pctRunOnAll 在所有工作单元上正确设置 MATLAB 路径。

错误处理

当工作单元在执行 spmd 语句期间发生错误时，该错误会报告给客户端。客户端尝试中断所有工作单元的执行，并向用户抛出错误。

工作单元上产生的错误和警告用工作单元 ID(spmdIndex) 注解，并按照 MATLAB 客户端接收的顺序显示在客户端的命令行窗口中。

如果在 spmd 的主体内使用，则 lastwarn 的行为在该代码块的末尾是未指定的。

spmd 限制

a = 'a';
myFunction(a)

function X = myFunction(a)
name = inputname(1);
spmd
    X.(name) = spmdIndex;
end
X = [X{:}];
end
    

myFunction('a','b')

function myFunction(a,b)
nin = nargin;
spmd
    X = spmdIndex*nin;
end
end
    

spmd; C = 5; end
Y = {C};
spmd
disp(Y)
end

spmd; C = 5; d = ones(7,"codistributed"); end
X = dictionary(["dist","comp"],{d,C});
spmd
dd = X{"dist"}
CC = X{"comp"}
end

spmd; C = 5; d = ones(7,"codistributed"); end
X = dictionary(["dist","comp"],{d,C});
dd = X{"dist"};
CC = X{"comp"};
spmd
disp(dd)
disp(CC)
end