spark coalesce和repartition的区别
repartition(numPartitions:Int):RDD[T]和coalesce(numPartitions:Int，shuffle:Boolean=false):RDD[T]
他们两个都是RDD的分区进行重新划分，repartition只是coalesce接口中shuffle为true的简易实现，（假设RDD有N个分区，需要重新划分成M个分区）
1）、N<M。一般情况下N个分区有数据分布不均匀的状况，利用HashPartitioner函数将数据重新分区为M个，这时需要将shuffle设置为true。
2）如果N>M并且N和M相差不多，(假如N是1000，M是100)那么就可以将N个分区中的若干个分区合并成一个新的分区，最终合并为M个分区，这时可以将shuff设置为false，在shuffl为false的情况下，如果M>N时，coalesce为无效的，不进行shuffle过程，父RDD和子RDD之间是窄依赖关系。
3）如果N>M并且两者相差悬殊，这时如果将shuffle设置为false，父子RDD是窄依赖关系，他们同处在一个Stage中，就可能造成spark程序的并行度不够，从而影响性能，如果在M为1的时候，为了使coalesce之前的操作有更好的并行度，可以讲shuffle设置为true。
总之：如果shuff为false时，如果传入的参数大于现有的分区数目，RDD的分区数不变，也就是说不经过shuffle，是无法将RDDde分区数变多的。
Spark repartition和coalesce的区别
有些时候，在很多partition的时候，我们想减少点partition的数量，不然写到HDFS上的文件数量也会很多很多。
我们使用reparation呢，还是coalesce。所以我们得了解这两个算子的内在区别。
要知道，repartition是一个消耗比较昂贵的操作算子，Spark出了一个优化版的repartition叫做coalesce，它可以尽量避免数据迁移，
但是你只能减少RDD的partition.
举个例子，有如下数据节点分布：
用coalesce，将partition减少到2个：
注意，Node1 和 Node3 不需要移动原始的数据
The repartition algorithm does a full shuffle and creates new partitions with data that’s distributed evenly.
Let’s create a DataFrame with the numbers from 1 to 12.
repartition 算法会做一个full shuffle然后均匀分布地创建新的partition。我们创建一个1-12数字的DataFrame测试一下。
刚开始数据是这样分布的：
我们做一个full shuffle，将其repartition为2个。
这是在我机器上数据分布的情况：
Partition A: 1, 3, 4, 6, 7, 9, 10, 12
Partition B: 2, 5, 8, 11
The repartition method makes new partitions and evenly distributes the data in the new partitions (the data distribution is more even for larger data sets).
repartition方法让新的partition均匀地分布了数据（数据量大的情况下其实会更均匀）
coalesce用已有的partition去尽量减少数据shuffle。
repartition创建新的partition并且使用 full shuffle。
coalesce会使得每个partition不同数量的数据分布（有些时候各个partition会有不同的size）
然而，repartition使得每个partition的数据大小都粗略地相等。
coalesce 与 repartition的区别（我们下面说的coalesce都默认shuffle参数为false的情况）
repartition(numPartitions:Int):RDD[T]和coalesce(numPartitions:Int，shuffle:Boolean=false):RDD[T] repartition只是coalesce接口中shuffle为true的实现
有1w的小文件，资源也为--executor-memory 2g --executor-cores 2 --num-executors 5。
repartition(4)：产生shuffle。这时会启动5个executor像之前介绍的那样依次读取1w个分区的文件，然后按照某个规则%4,写到4个文件中，这样分区的4个文件基本毫无规律，比较均匀。
coalesce(4):这个coalesce不会产生shuffle。那启动5个executor在不发生shuffle的时候是如何生成4个文件呢，其实会有1个或2个或3个甚至更多的executor在空跑（具体几个executor空跑与spark调度有关，与数据本地性有关，与spark集群负载有关），他并没有读取任何数据！
1.如果结果产生的文件数要比源RDD partition少，用coalesce是实现不了的，例如有4个小文件（4个partition），你要生成5个文件用coalesce实现不了，也就是说不产生shuffle，无法实现文件数变多。
2.如果你只有1个executor（1个core），源RDD partition有5个，你要用coalesce产生2个文件。那么他是预分partition到executor上的，例如0-2号分区在先executor上执行完毕，3-4号分区再次在同一个executor执行。其实都是同一个executor但是前后要串行读不同数据。与用repartition(2)在读partition上有较大不同（串行依次读0-4号partition 做%2处理）。
T表有10G数据 有100个partition 资源也为--executor-memory 2g --executor-cores 2 --num-executors 5。我们想要结果文件只有一个
Spark中repartition和coalesce的区别与使用场景解析
repartition(numPartitions:Int):RDD[T]和coalesce(numPartitions:Int，shuffle:Boolean=false):RDD[T]他们两个都是RDD的分区进行重新划分，repartition只是coalesce接口中shuffle为true的简易实现，（假设RDD有N个分区，需要重新划分成M个分区）1）、N<M。一般情况下N个分区有数据分布不均匀的状况，利用HashPartitioner函数将数据重新分区为M个，这时需要将shuffle设置为true。2）如果N>M并且N和M相差不多，(假如N是1000，M是100)那么就可以将N个分区中的若干个分区合并成一个新的分区，最终合并为M个分区，这时可以将shuff设置为false，在shuffl为false的情况下，如果M>N时，coalesce为无效的，不进行shuffle过程，父RDD和子RDD之间是窄依赖关系。3）如果N>M并且两者相差悬殊，这时如果将shuffle设置为false，父子RDD是窄依赖关系，他们同处在一个Stage中，就可能造成spark程序的并行度不够，从而影响性能，如果在M为1的时候，为了使coalesce之前的操作有更好的并行度，可以讲shuffle设置为true。总之：如果shuff为false时，如果传入的参数大于现有的分区数目，RDD的分区数不变，也就是说不经过shuffle，是无法将RDDde分区数变多的。
this is who i am 歌词
歌曲名:this is who i am歌手:Angela Ammons专辑:angela ammonsThis is who I am-----Angela AmmonsSo many things I've tried in my lifeBeen so many placesYou could say I know some faces wellAnd so many times I've cried in the darkWith a broken promiseTearing me apartDays go byYou're sill on my mindAnd I don't know what it isI think about that timeI wish that you were only mineThis, this is who I amI hope you understandThat this is what I wanna doand You, you don't think its trueCould I believe in youSo just tell me what you wanna doSo many times I tried to be strongSo many times, when people did me wrongIf I could change the way you feel deep down in your heartYou and me, we would never be apartDays go by, you're still on my mindAnd I do know what it isI think about that timeI wish that you were only mine andThis, this is who I amI hope you understandThat this is what I wanna do andYou, you don't think it's trueCould I believe in youSo just tell me what you wanna doYou don't know, what you might findEverybody falls sometimeBut you don't have to look around cause I feelThis is me, who are you, what am I supposed to doThis is me, who are you, what am I supposed to doThis is me, who are you, what am I supposed to doThis is me, who are you, what am I supposed to doI hope you understandThat this is what I wanna do andYou, you don't think its trueCould I believe in youThis, this is who I amThis, this is who I amI hope you understandThat this is what I wanna do andYou, you don't think its trueCould I believe in youhttp://music.baidu.com/song/14556067
宝儿的This Is Who I Am的音译歌词
01 This Is Who I Am
Dou mieteru? Watashi no sugata
Doushitai wake? Watashi no mirai
Kimi ni nani ka wo yatte hoshii wake jyanai
Watashi igai to INDEPENDENT dakara
keto katteka kitanda shiranai darou kedo
SO tamani wa sunao ni uketomete hoshii LISTEN TO MY HEART
SAITO na RONGU HEA ni odora sareru jinsei
Toki ni wa yabureta JI-NZU ni nejikomu BODY
This is who I am and you don't know yet
This is who I am and you don't know yet
Kagayaku mono ni mo kage ga aru taiyou datte tsuki ni naru
Kore wa watashi no CHANGE
Kore ga watashi no CHANGE
Yes I Can
Kono saki YOU WILL SEE
Watch Me Now
Who I Am
This Is Who I Am
This Is Who I Am
This is who I am and you don't know yet
This is who I am and you don't know yet
Kono saki douzo otanoshimi ni
You gotta listen to this song
This Is Who I Am ...
