java map 实现 序列化,MapReduce序列化

  • Post author:
  • Post category:java


序列化就是把内存中的对象转换成字节序列以便于存储到磁盘(持久化)和网络传输。

反序列化就是将字节序列或者是持久化的数据转换成内存中的对象。

内存中的对象只能本地进程使用,断掉后就消失了,也不能被发送到网络上的另一台机器,序列化可以将内存中的对象发送到远程机器。由于Java本身的序列化框架(Serializable)太重,序列化的对象包含了很多额外信息,不便于在网络中高效传输,Hadoop开发了自己的序列化机制(Writable)。

实现自定义bean对象的序列化

步骤如下:

必须实现Writable接口;

反序列化时,需要反射调用空构造参数,所以必须有空参构造;

public FlowBean() {

super();

}

重写序列化方法;

@Override

public void write(DataOutput out) throws IOException {

out.writeLong(upFlow);

out.writeLong(downFlow);

out.writeLong(sumFlow);

}

重写反序列化方法;

@Override

public void readFields(DataInput in) throws IOException {

upFlow = in.readLong();

downFlow = in.readLong();

sumFlow = in.readLong();

}

注意:反序列化的顺序和序列化的顺序完全一致。

要想把结果显示在文件中,需要重写toString()方法,可用“\t“分开;

如果需要将自定义的Bean放在Key中传输,还需要实现Comparable接口,因为MapReduce框架中的Shuffle过程要求必须对key必须能排序。

@Override

public int compareTo(FlowBean o) {

return this.sumFlow > o.getSumFlow() ? -1 : 1;

}

自定义序列化

统计txt中每个电话号的上行流量、下行流量和总流量。数据示例如下,倒数第二和第