本页采用了机器翻译。点击此处可查看最新英文版本。

matlab.mapreduce.DeployHadoopMapReducer 类

命名空间: matlab.mapreduce

配置 MapReduce 应用程序以针对 Hadoop 进行部署

全页展开

描述

DeployHadoopMapReducer 对象代表使用 MATLAB® Runtime 在 Hadoop® 集群上执行 MapReduce。

构造

config = matlab.mapreduce.DeployHadoopMapReducer 创建一个 matlab.mapreduce.DeployHadoopMapReducer 对象，该对象指定 Hadoop 执行的默认属性。

使用生成的对象作为 mapreducer 函数的输入来指定 Hadoop 执行的配置属性。要部署独立应用程序，请将 matlab.mapreduce.DeployHadoopMapReducer 对象作为输入传递给 mapreduce。

config = matlab.mapreduce.DeployHadoopMapReducer(Name,Value) 创建一个 matlab.mapreduce.DeployHadoopMapReducer 对象，其属性由一个或多个名称-值对参量指定。

名称-值参数

全部展开

以 Name1=Value1,...,NameN=ValueN 的形式指定可选参量对组，其中 Name 是参量名称，Value 是对应的值。名称-值参量必须出现在其他参量之后，但对各个参量对组的顺序没有要求。

如果使用的是 R2021a 之前的版本，请使用逗号分隔每个名称和值，并用引号将 Name 引起来。

Hadoop 安装路径，指定为由 HadoopInstallFolder 和字符向量或字符串标量组成的逗号分隔的对。

Hadoop 安装文件夹的默认值由环境变量按照 MATLAB_HADOOP_INSTALL、HADOOP_PREFIX 和 HADOOP_HOME 的优先顺序指定。

Hadoop 应用程序配置文件的路径，指定为由 HadoopConfigurationFile 和字符向量或字符串标量组成的逗号分隔的对。

集群的 MATLABHadoop Runtime 安装文件夹，指定为由 MCRRoot 和字符向量或字符串标量组成的逗号分隔的对。

MCRRoot 指定在中执行 mapreduce 任务时 Hadoop 使用的 MATLABHadoop Runtime 安装文件夹。

示例: 'MCRRoot','/hd-shared/hadoop-2.2.0/MCR/v84'

一个由名称-值对组成的 containers.Map 对象，用于指定特定作业或应用程序的 Hadoop 配置属性。名称-值对必须指定为字符向量。

containers.Map 对象中指定的属性作为 [GENERIC_OPTION] 传递，该 [GENERIC_OPTION] 由名称-值对组成，通过 -D 标志发送给 hadoop shell 命令。

示例：

setenv('HADOOP_PREFIX', '/usr/lib/hadoop') % replace with your Hadoop install location
name = {'mapreduce.map.maxattempts','mapreduce.job.reduces'};
value = {'2','1'};
prop = containers.Map(name,value);
obj = matlab.mapreduce.DeployHadoopMapReducer('HadoopProperties', prop)

示例

全部折叠

创建并使用 matlab.mapreduce.DeployHadoopMapReducer 对象部署到独立应用程序中，并针对 Hadoop 进行部署。

config = matlab.mapreduce.DeployHadoopMapReducer('MCRRoot',...
    '/hd-shared/hadoop-2.2.0/MCR/v84');
mr = mapreducer(config);

另请参阅

|

主题