spark中的性能调优5(使用kryo序列化)

  • Post author:
  • Post category:其他


问题1>为什么要使用kryo序列化呢?

主要是解决数据在内存中的占用,和网络传输的性能

问题2>为什么不使用java本身自带的序列化机制呢?与kryo有何异同

1>java本身就自带了ObjectinputStream和ObjectOutputStream序列化机制,这种自带的系列化本身就是可以直接使用,使用起来很方便,但是这种序列化机制会使数据占用大量的内存,消耗较大的内存空间,在大数据的应用中,内存资源很宝贵,我们应该以身作则优化自己书写的代码.

2>使用kryo序列化机制,一个是数据的提取和数据写入内存是比较快的,也会占用很少的空间内存,了解到使用这样的序列化机制,使用的内存是Java自带的系列化机制使用量的1/10,可比之下,这是怎样的优化

问题3>使用kryo序列化机制,会生效的地方

1>当我们使用到外部变量的时候  ,使用kryo序列化,并且使用广播变量,这使得变量传输到executor的速度更快,而且会占用更小的内存

3>当我们将rdd的数据进行cache的时候(缓存到内存或者磁盘根据自己需求选择),优化网络性能,主要是传输和io

问题4>我们应该怎样做呢:val conf = new SparkConf(“spark.serializer”,”org.apache.spark.serializer.KryoSerializer”)

.registerKryoClasses(new Class[]{序列化的类})

个人格言:人这一辈子,我们总是要吃一些苦头,看尽一些美好的,而你在黑暗的时候,你永远也想不到自己也有花期,



版权声明:本文为w5201314ws6123原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。