本页采用了机器翻译。点击此处可查看最新英文版本。

datastoreToRDD

类: matlab.compiler.mlspark.SparkContext
命名空间: matlab.compiler.mlspark

将 MATLABdatastore 转换为 Spark RDD

全页展开

语法

rdd = datastoreToRDD(sc,ds)

说明

rdd = datastoreToRDD(sc,ds) 将 MATLAB® datastore 对象 ds 转换为 Spark™ RDD。

输入参数

全部展开

要使用的 SparkContext，指定为 SparkContext 对象。

要转换为 RDD 的数据存储，指定为 MATLABdatastore 对象。

输出参量

全部展开

输出 RDD 表示转换后的 datastore 对象，以 RDD 对象的形式返回。

示例

全部展开

将 MATLAB datastore 对象转换为 Spark RDD。

% Setup Spark Properties as a MATLAB Map object using a containers.Map class
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); 

% Create SparkConf object
conf = matlab.compiler.mlspark.SparkConf(...
    'AppName'        , 'myApp', ...
    'Master'         , 'local[1]', ...
    'SparkProperties',  sparkProp );
     
% Create a SparkContext
sc = matlab.compiler.mlspark.SparkContext(conf);

% Create a MATLAB datastore 
ds = datastore('airlinesmall.csv','TreatAsMissing','NA');

% Convert MATLAB datastore to Spark RDD 
rdd = datastoreToRDD(sc,ds);

% Alternate object usage:
rdd = sc.datastoreToRDD(ds);

版本历史记录

在 R2016b 中推出