使用splice实现零拷贝复制文件

  • Post author:
  • Post category:其他



splice是linux2.6内核中新增的零拷贝数据发送函数,主要用于将数据发送到管道 或 从管道中接收数据。于splice类似的零拷贝发送函数还有sendfile,不同的是sendfile是将数据通过socket发到对端。所谓零拷贝是指(与传统的read/write模式相比),在数据发送的过程中,不需要在用户态为数据申请buffer,也就是不会产生用户态、内核态之间的数据拷贝(moves  data  between  two  file descriptors without copying between kernel address space and user addressspace)。比如,使用经典的read/write方式复制文件的流程为:


1.    buf = malloc(len)  \\首先申请一块长度为len的内存


2.    read(fd1, buf, len)  \\将第一个文件fd1中len长度的数据读入buf


3.    write(fd2, buf, len) \\将buf中的数据写入文件fd2中


在非direct io的场景下,会导致文件的数据会在内核态的page cache与用户态的buf之间发生两次拷贝(读过程中一次,写过程中一次)




splice系统调用的参数为:


ssize_t splice(int fd_in, loff_t *off_in, int fd_out,

loff_t *off_out, size_t len, unsigned int flags);


int fd_in:要读入数据的文件描述符


loff_t *off_in:要读入数据的起始偏移


int fd_out:要写入数据的文件描述符


loff_t *off_out:要写入数据的起始偏移


size_t len:要写入数据的长度


unsigned int flags:标志位


要特别强调的一点算,在splice系统调用的应用中,fd_in和fd_out中必须有一个是管道的描述符




使用splice拷贝文件的流程为:


1. 调用mkfifo或者pipe创建一个管道


2. splice(file_fd1, &off_in_1, pipe_fd_w, &off_out_w, len, 0)  \\将文件fd1中的数据移动到管道的写端


3. splice(pipe_fd_r, &off_in_r, file_fd2, &off_out_2, len, 0)  \\通过管道的读端,将数据移动到文件2



版权声明:本文为tycoon1988原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。