textFile

类: matlab.compiler.mlspark.SparkContext
命名空间: matlab.compiler.mlspark

从文本文件创建 RDD

全页展开

语法

rdd = textFile(sc,pathToFile)
rdd = textFile(sc,pathToFile,minPartitions)

说明

rdd = textFile(sc,pathToFile) 从位于 pathToFile 中的文本文件创建 RDD。

rdd = textFile(sc,pathToFile,minPartitions) 创建具有 minPartitions 指定的最小分区数的 RDD。

输入参数

全部展开

要使用的 SparkContext，指定为 SparkContext 对象。

文本文件的文件路径，指定为用 '' 引起来的字符向量。

数据类型: char | string

要创建的最小分区数，指定为标量。

数据类型: double

输出参量

全部展开

通过读取文本文件创建的输出 RDD，以 RDD 对象形式返回。

示例

全部展开

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% textFile
rdd = sc.textFile('/<matlabroot>/toolbox/matlab/demos/airlinesmall.csv')

版本历史记录

在 R2016b 中推出