getDefaultReducePartitions

类: matlab.compiler.mlspark.RDD
命名空间: matlab.compiler.mlspark

获取 RDD 中默认 reduce 分区的数量

全页展开

语法

numPartitions = getDefaultReducePartitions(obj)

说明

numPartitions = getDefaultReducePartitions(obj) 获取 obj 中默认 reduce 分区的数量。

输入参数

全部展开

输入 RDD，指定为 RDD 对象

输出参量

全部展开

输入 RDD 中默认 reduce 分区的数量，以标量值形式返回。

示例

全部展开

获取 RDD 中默认 reduce 分区的数量。

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% getDefaultReducePartitions
x = sc.parallelize({1,2,3});
y = x.map(@(x)({x,1}));
z1 = y.reduceByKey(@(a,b)(a+b));
z2 = y.reduceByKey(@(a,b)(a+b), 3);

z1.getDefaultReducePartitions() % ans is 1
z2.getDefaultReducePartitions() % ans is 3, as the 2nd argument to reduceByKey is the number of reduce partitions

版本历史记录

在 R2016b 中推出

另请参阅

| |