Main Content

配置 Hadoop 集群

包含的并行 MATLAB® 代码tall (MATLAB)数组和mapreduce (MATLAB)函数可以从适当配置的 MATLAB 客户端提交到 Hadoop 集群。

要配置客户端以在集群上运行 MATLAB 代码，您必须已经能够从目标客户端计算机提交到集群。客户端计算机必须安装有 Hadoop®，才能访问 MATLAB 之外的集群。

许多 Hadoop 发行版不支持从 Windows® 客户端直接访问基于 Linux® 的集群。Windows 客户端用户通常需要设置一个 Linux 网关节点，可以通过 SSH 或 VNC 从 Windows 客户端访问该节点。然后可以从该网关节点访问集群。

集群配置

  1. 将 MATLABParallel Server™ 与您的集群基础架构集成。有关说明，请参阅为其他第三方调度程序安装 MATLABParallel Server。

  2. 如果您的集群需要 Kerberos 身份验证，请确保您的 MATLAB Parallel Server 安装已正确配置。有关说明，请参阅Kerberos 身份验证。

客户端配置

  1. 确保您的客户端可以访问 MATLAB 之外的 Hadoop 集群。

  2. 如果您的集群需要 Kerberos 身份验证，请确保您的客户端 MATLAB 安装已配置为 Kerberos 身份验证。有关说明，请参阅Kerberos 身份验证。

要从 MATLAB 内部访问集群，请设置parallel.cluster.Hadoop (Parallel Computing Toolbox)使用以下语句的对象。

setenv('HADOOP_HOME', '/path/to/hadoop/install')
cluster = parallel.cluster.Hadoop;

使用mapreducer (MATLAB)指定 mapreduce 在 Hadoop 集群对象上运行。

有关如何在 Hadoop 集群上运行并行 MATLAB 代码的示例，请参阅Run mapreduce on a Hadoop Cluster (Parallel Computing Toolbox)和Use Tall Arrays on a Spark Cluster (Parallel Computing Toolbox)。

Kerberos 身份验证

如果集群使用需要 Oracle® Java® 加密扩展的 Kerberos 身份验证，则必须配置 MATLAB 和 MATLAB Parallel Server 的所有安装。如果您使用的是 Hortonworks® 或 Cloudera® 发行版，则很可能需要完成这些配置步骤。

客户端和工作进程 MATLAB 安装的配置说明相同。

从 R2018b 开始，通过在 Java 安装中启用适当的安全策略来配置您的 MATLAB 安装。

  1. 在 MATLAB 编辑器中，打开文件 ${MATLAB_ROOT}/sys/java/jre/${ARCH}/jre/lib/security/java.security。

  2. 改变线路 

    #crypto.policy=unlimited
    -
    crypto.policy=unlimited

对于以前的版本，您必须从 Oracle 下载额外的安全文件。

  1. 从 Oracle Java SE 页面下载 Oracle Java Cryptography Extension zip 文件。

  2. 将下载的 zip 文件解压到临时文件夹中。

  3. 用下载的版本替换文件夹 ${MATLABROOT}/sys/java/jre/${ARCH}/jre/lib/security 中的文件 local_policy.jar 和 US_export_policy.jar。

Hadoop 版本支持

  • MATLAB mapreduce 在 Hadoop 2.x 集群上受支持。请注意，对 Hadoop 1.x 集群的支持已被删除。

  • MATLAB 高数组在启用 Spark™ 的 Hadoop 2.x 集群上受支持。您可以在支持 Spark 的 Hadoop 集群上使用 tall 数组，该集群支持客户端的所有架构，同时支持集群的 Linux 和 Mac 架构。这包括跨平台支持。

功能结果改用兼容性注意事项

已删除在 Hadoop 1.x 集群上运行 MATLAB mapreduce 的支持。

错误

使用安装了 Hadoop 2.x 的集群运行 MATLAB mapreduce。

将在 Hadoop 1.x 上运行的 MATLAB mapreduce 代码迁移到 Hadoop 2.x。

另请参阅

(Parallel Computing Toolbox)

相关主题