序列化就是把内存中的对象转换成字节序列以便于存储到磁盘(持久化)和网络传输。
反序列化就是将字节序列或者是持久化的数据转换成内存中的对象。
内存中的对象只能本地进程使用,断掉后就消失了,也不能被发送到网络上的另一台机器,序列化可以将内存中的对象发送到远程机器。由于Java本身的序列化框架(Serializable)太重,序列化的对象包含了很多额外信息,不便于在网络中高效传输,Hadoop开发了自己的序列化机制(Writable)。
实现自定义bean对象的序列化
步骤如下:
必须实现Writable接口;
反序列化时,需要反射调用空构造参数,所以必须有空参构造;
public FlowBean() {
super();
}
重写序列化方法;
@Override
public void write(DataOutput out) throws IOException {
out.writeLong(upFlow);
out.writeLong(downFlow);
out.writeLong(sumFlow);
}
重写反序列化方法;
@Override
public void readFields(DataInput in) throws IOException {
upFlow = in.readLong();
downFlow = in.readLong();
sumFlow = in.readLong();
}
注意:反序列化的顺序和序列化的顺序完全一致。
要想把结果显示在文件中,需要重写toString()方法,可用“\t“分开;
如果需要将自定义的Bean放在Key中传输,还需要实现Comparable接口,因为MapReduce框架中的Shuffle过程要求必须对key必须能排序。
@Override
public int compareTo(FlowBean o) {
return this.sumFlow > o.getSumFlow() ? -1 : 1;
}
自定义序列化
统计txt中每个电话号的上行流量、下行流量和总流量。数据示例如下,倒数第二和第