针对 Hadoop 集群运行独立 MATLAB MapReduce 应用程序
创建独立 MATLAB® MapReduce 应用程序并针对 Hadoop® 集群运行该应用程序
独立 MATLAB MapReduce 应用程序是一种自包含应用程序,包括针对 Hadoop 集群独立执行所需的所有组件。它包含:
用 MATLAB 编写的 mapper 函数(一个或多个)
用 MATLAB 编写的 reducer 函数
调用 mapper 和 reducer 函数的 MATLAB 应用程序脚本或函数
所有组件打包为单个独立应用程序,以针对 Hadoop 集群执行。独立应用程序可以使用独立应用程序编译器或在 MATLAB 命令提示符下使用 mcc
命令来打包。
有关详细信息,请参阅针对 Hadoop 集群运行已编译独立应用程序的工作流。
函数
mcc | 编译要部署的 MATLAB 函数 |
mapreduce | 用于分析无法载入内存的数据集的编程方法 |
mapreducer | 定义 mapduce 的部署执行 |
类
matlab.mapreduce.DeployHadoopMapReducer | 配置 MapReduce 应用程序以针对 Hadoop 进行部署 |
主题
- 针对 Hadoop 集群运行已编译独立应用程序的工作流
回顾如何创建已编译的独立应用程序并在 Hadoop 集群上运行它的工作流。
- 运行独立 MATLAB MapReduce 应用程序
尝试使用
mcc
命令创建独立 MATLAB MapReduce 应用程序的示例,并针对 Hadoop 集群运行它。