将 MATLAB map 和 reduce 函数合并到 Hadoop MapReduce 作业中
创建 MATLAB® map 和 reduce 函数的可部署存档并将其合并到 Hadoop® MapReduce 作业中
要将 MATLAB map 和 reduce 函数合并到 Hadoop MapReduce 作业中,您需要创建 map 和 reduce 函数的可部署存档,并将该存档作为有效负载参量传递至提交到 Hadoop 集群的作业。可部署存档包含:
用 MATLAB 编写的 mapper 函数。
用 MATLAB 编写的 reducer 函数。
包含数据存储的 MAT 文件,该文件描述要分析的数据和变量的结构体。
Hadoop 设置文件,该文件标识 map 和 reduce 函数、要分析数据的类型和其他配置详细信息。
有关详细信息,请参阅将 MATLAB Map 和 Reduce 函数合并到 Hadoop 作业中的工作流。
函数
mcc | 编译要部署的 MATLAB 函数 |
主题
- 将 MATLAB Map 和 Reduce 函数合并到 Hadoop 作业中的工作流
回顾如何创建 MATLAB map 和 Reduce 函数的可部署存档并将其合并到 Hadoop mapreduce 作业中的工作流。
- 将 MATLAB Map 和 Reduce 函数纳入 Hadoop 作业
尝试创建 MATLAB map 和 Reduce 函数的可部署存档的示例,并将其合并到 Hadoop mapreduce 作业中。
- 使用 mcc 命令创建可部署存档的配置文件
创建代表 Hadoop mapreduce 作业有效负载特征的必需配置文件。