本页采用了机器翻译。点击此处可查看最新英文版本。

matlab.compiler.mlspark.SparkContext 类

命名空间: matlab.compiler.mlspark
超类:

用于初始化与启用 Spark 的集群的连接的接口类

全页展开

描述

SparkContext 对象通过初始化与 Spark™ 集群的连接充当 Spark 的入口点。它接受 SparkConf 对象作为输入参量，并使用该对象中指定的参数来设置与 Spark 执行环境建立连接所需的内部服务。

构造

sc = matlab.compiler.mlspark.SparkContext(conf) 创建一个 SparkContext 对象并初始化与 Spark 集群的连接。

输入参量

全部展开

将 SparkConf 对象作为输入传递给 SparkContext。

示例: sc = matlab.compiler.mlspark.SparkContext(conf);

有关如何创建 SparkConf 对象的信息，请参阅 matlab.compiler.mlspark.SparkConf。

属性

此类的属性是隐藏的。

方法

addJar为需要在 SparkContext 中执行的所有任务添加 JAR 文件依赖项
broadcast向集群广播一个只读变量
datastoreToRDD将 MATLABdatastore 转换为 Spark RDD
delete关闭与启用 Spark 集群的连接
getSparkConf获取 SparkConf 配置参数
parallelize从本地 MATLAB 值集合创建 RDD
setCheckpointDir设置要检查点的 RDD 目录
setLogLevel设置日志级别
textFile从文本文件创建 RDD

示例

全部折叠

SparkContext 类使用 Spark 属性初始化与启用 Spark 的集群的连接。

% Setup Spark Properties as a containers.Map object
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); 

% Create SparkConf object
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
% Create a SparkContext
sc = matlab.compiler.mlspark.SparkContext(conf);

详细信息

全部展开

参考资料

有关更多信息，请参阅最新的 Spark 文档。

版本历史记录

在 R2016b 中推出

另请参阅

类

主题