博客

android硬件编码器的大致流程

以ByteBuffer模式为例

1. client通过 dequeueInputBuffer API从MediaCodec的InputBuffers申请一个空的buffer unit。
   注意：如果没有可用的input buffer unit（一般是编码器滞后，来不及编码了），那么该api会返回-1。在webrtc日志中会打印“Dropped frame, no input buffers available”。
2. client把需要编码的数据填充到该空的input buffer unit。
3. client通过 queueInputBuffer API把上一步中的input buffer unit放入InputBuffers队列中，等待MediaCodec的处理。
4. MediaCodec从InputBuffer队列中取一个buffer单元的数据进行编码处理。
5. 编码处理结束后，MediaCodec将input buffer unit置为空，然后放回InputBuffers队列，将编码后的数据放入OutputBuffers队列里的某一个output buffer unit中。
6. 消费者通过 dequeueOutputBuffer API从OutputBuffers队列申请一个可用的填充了编码后数据的output buffer unit。
   注意：如果没有可用的output buffer unit，那么该api会返回-1。在webrtc日志里会打印“Dropped frame, encoder queue full”。
7. 消费者消费这个output buffer unit之后（比如：通过网络发送出去），消费者通过 releaseOutputBuffer API把该output buffer unit返还给OutputBuffers队列。

备注

1. 根据现有的webrtc代码逻辑，如果是TextureBuffer模式，是不会打印“Dropped frame, no input buffers available”的。
2. webrtc will keep the output builders in sync with buffers in the codec.
3. outputBuilders这个队列的作用是在MediaCodec外层再做了一个前置的保护，设置的队列最大个数是MAX_ENCODER_Q_SIZE（2），使得放入MediaCodec的帧不会超过MAX_ENCODER_Q_SIZE（2）帧。
4. 打印“Dropped frame, encoder queue full“只有一种可能，那就是MediaCodec没有输出编码帧，而不是消费者没有去消费它。因为如果不是dequeueOutputBuffer函数直接return -1，它是会执行outputBuilders的poll操作的。因为如果是消费者没有消费它，那么MediaCodec的OutputBuffers应该是满的，那么dequeueOutputBuffer不可能直接返回-1。而打印这条日志，说明dequeueOutputBuffer是一直返回-1的，所以我们可以得出这个结论。
5. 其中BUFFER_FLAG_CODEC_CONFIG标志的outputBuffer应该是MediaCodec自己产生的， 他并不是生产者填充的一个inputBuffer编码出来的。
   具体可以参考：https://developer.android.com/reference/kotlin/android/media/MediaCodec的Codec-specific Data章节。
   BUFFER_FLAG_CODEC_CONFIG的buffer可以通过两种方式生成，
   (1)、一种是配置在MediaFormat中，然后调用codec.start方法后，自己传入MediaCodec，随后在MediaCodec生成一个BUFFER_FLAG_CODEC_CONFIG标志的outputBuffer（sps/pps等），这个buffer后续会和其他关键帧的outputbuffer合并一起输出。
   (2)、另一种，是单独配置一个包含config信息的inputbuffer，通过queueInputBuffer设置进去。
6. 测试case1:
   注释掉releaseOutputBuffer，日志里只有大量打印“Dropped frame, encoder queue full”，并没有打印“Dropped frame, no input buffers available”。
   说明MediaCodec从InputBuffers取一帧进行编码和把编码后的帧放入到OutputBuffers是完全分开的。MediaCodec从InputBuffers取一帧，然后编码，然后把inputbuffer unit置空再放回InputBuffers队列的操作是成功完成的，但是把编码后的数据放入到OutputBuffers队列里是失败的，那只有一种可能，就是MediaCodec会把这编码后的这一帧数据在内部丢弃。
   说明在outputbuffers满的情况下，mediacodec会在塞不进去outputbuffers的情况下丢掉这一帧编码后的数据。