Spark的reduceByKey和reduce

  • Post author:
  • Post category:其他


reduce的操作对象是列表。

如rdd={1,2,3,3}

rdd.reduce((x,y)=> x+y)得到结果是:9

reduceByKey()的操作对象是元组。

如 rdd1={(‘panda’,3),(‘pink’,4)},rdd2={(‘panda’,(3,2)),(‘pink’,(4,3))}

rdd.reduceByKey((x,y)=>x+y)得到结果{(‘panda’,7)}

rdd2.reduceByKey((x,y)=>(x._1+y._1,x._2+y._2))得到结果{(‘panda’,(7,5))}



版权声明:本文为dengjiaxing0321原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。