博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark 修改分区(存储结果需要)
阅读量:5377 次
发布时间:2019-06-15

本文共 208 字,大约阅读时间需要 1 分钟。

修改分区就行了

val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8))
#  查看分区数
rdd1.partitions.length
# 改成1个分区
val rdd2 = rdd1.repartition(1)
rdd2.partitions.length

转载于:https://www.cnblogs.com/canyangfeixue/p/5403620.html

你可能感兴趣的文章
mongodb索引
查看>>
nginx源码学习资源(不断更新)
查看>>
【bzoj2882】工艺 后缀自动机+STL-map
查看>>
[redis] redis
查看>>
Linux的加密认证功能以及openssl详解
查看>>
[Tools] 使用XP远程登录Win8系统
查看>>
【RL-TCPnet网络教程】第38章 TFTP简单文件传输基础知识
查看>>
HDU- 2265 Encoding The Diary
查看>>
socket基本概念
查看>>
在Windows上使用putty连接一台Linux主机
查看>>
Socket常见错误
查看>>
百度地图2.0API和3.0API。你想要的百度地图的这都有
查看>>
专业词汇
查看>>
星期五的收获
查看>>
proxmox 去除订阅提示
查看>>
使用Html.EditorFor()为文本框加上maxlength,placeholder等属性
查看>>
[转]后缀数组求最长重复子串
查看>>
设计模式——外观模式详解
查看>>
mysql (一)
查看>>
photoshop图层样式初识1
查看>>