本页采用了机器翻译。点击此处可查看最新英文版本。

saveAsTallDatastore

类: matlab.compiler.mlspark.RDD
命名空间: matlab.compiler.mlspark

将 RDD 作为 MATLAB tall 数组保存到二进制文件中，该文件可使用 datastore 函数读回

全页展开

语法

saveAsMatlabBinaryFile(obj,path)

说明

saveAsMatlabBinaryFile(obj,path) 将 obj 作为 MATLAB® tall 数组保存在二进制文件中，可以使用 datastore 函数读回。path 指定保存二进制文件的目录 path。

输入参数

全部展开

输入 RDD，指定为 RDD 对象。

保存二进制文件的目录位置，指定为用 '' 括起来的字符向量。

数据类型: char

示例

全部展开

将 RDD 作为 MATLAB tall 数组保存到二进制文件中，该文件可使用 datastore 函数读回。

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% saveAsTallDatastore 

% May require setting HADOOP_PREFIX or HADOOP_HOME environment variables to a
% valid Hadoop installation folder even if running locally.
% For example:
% setenv('HADOOP_PREFIX','/share/hadoop/hadoop-2.5.2')

inRDD = sc.parallelize({1,2,3,4,5});
% Store RDD in a file as a tall array that can be read back into MATLAB using datastore
inRDD.saveAsTallDatastore('myDir'); 
ds = datastore(['myDir' '/part*'], 'Type', 'tall');
ds.readall()

版本历史记录

在 R2016b 中推出

另请参阅

| | |