Android中使用MediaCodec硬件解码,高效率得到YUV格式帧,快速保存JPEG图片(不使用OpenGL)(附Demo)…

  • Post author:
  • Post category:其他


MediaCodec的使用demo:

https://github.com/vecio/MediaCodecDemo

https://github.com/taehwandev/MediaCodecExample

http://bigflake.com/mediacodec/

以下文章转载自:

https://www.polarxiong.com/archives/Android-MediaCodec%E8%A7%86%E9%A2%91%E6%96%87%E4%BB%B6%E7%A1%AC%E4%BB%B6%E8%A7%A3%E7%A0%81-%E9%AB%98%E6%95%88%E7%8E%87%E5%BE%97%E5%88%B0YUV%E6%A0%BC%E5%BC%8F%E5%B8%A7-%E5%BF%AB%E9%80%9F%E4%BF%9D%E5%AD%98JPEG%E5%9B%BE%E7%89%87-%E4%B8%8D%E4%BD%BF%E7%94%A8OpenGL.html

特点

以H.264编码分辨率1920×1080视频文件为例

  • 需要Android API 21
  • 直接将视频解码为YUV格式帧,不经过OpenGL,不转换为RGB
  • 对绝大多数设备和绝大多数视频编码格式,都可以解码得到NV21或I420格式帧数据
  • 30ms内获得NV21或I420格式帧数据
  • 10ms内将NV21或I420格式帧数据写入到文件
  • 对得到的NV21格式帧数据,在110ms内完成JPEG格式的转换和写入到文件

背景

因为实验需要在Android上高效率解码视频文件,并获得YUV格式帧数据,遂搜索寻找解决方法。最初找到bigflake的

Android MediaCodec stuff

,硬件解码视频不可多得的示例代码,其中提供了结合MediaCodec和OpenGL硬件解码视频并得到RGB格式帧数据,以及写入bitmap图片到文件的方法,测试发现效果不错,但我想要的是得到YUV格式的帧数据;在继续寻找RGB转YUV的方法时,苦于没有找到高效实现这个转换的方法,遂作罢。

后来发现MediaCodec解码得到的原始帧数据应当就是YUV格式,然后看到stackoverflow上的讨论

Why doesn’t the decoder of MediaCodec output a unified YUV format(like YUV420P)?

,发现有人和我有一样的需要,但他已经发现了不同设备MediaCodec解码得到的YUV格式不相同这个问题,且由于各种格式繁杂,很难写出高效的格式转换方法。然后又发现了来自加州理工学院的一篇文章

Android MediaCodec Formats

,别人统计了市面上Android设备MediaCodec解码得到的不同YUV格式所占的比例,表格中显示出格式之繁多,且以COLOR_QCOM_FormatYUV420SemiPlanar32m,OMX_QCOM_COLOR_FormatYUV420PackedSemiPlanar64x32Tile2m8ka和COLOR_FormatYUV420SemiPlanar占据绝大多数。考虑放弃MediaCodec直接得到统一格式的YUV格式帧数据。

再后来不死心继续找,偶然找到了一份Android CTS测试

Image



ImageReader

类的代码,发现了由MediaCodec解码直接得到指定YUV格式(如NV21,I420)视频帧的方法,遂有了此文。

概述

简单来说,整个过程是,MediaCodec将编码后的视频文件解码得到YUV420类的视频帧,然后将视频帧格式转换为NV21或I420格式,由用户进行后续处理;若需要写入.yuv文件,直接将转换后的数据写入即可。若需要保存为JPEG格式图片,将NV21格式帧数据转换为JPEG格式并写入。

详细来说,CTS测试中透露出可以指定硬件解码得到帧编码格式,虽然不同设备支持的编码格式都不尽相同,但得益于API 21加入的COLOR_FormatYUV420Flexible格式,MediaCodec的所有硬件解码都支持这种格式。但这样解码后得到的YUV420的具体格式又会因设备而异,如YUV420Planar,YUV420SemiPlanar,YUV420PackedSemiPlanar等。然而又得益于API 21对MediaCodec加入的

Image

类的支持,可以实现简单且高效的任意YUV420格式向如NV21,I420等格式的转换,这样就得到了一个统一的、可以预先指定的YUV格式视频帧。再进一步,

YuvImage

类提供了一种高效的NV21格式转换为JPEG格式并写入文件的方法,可以实现将解码得到的视频帧保存为JPEG格式图片的功能,且整个过程相比bigflake中提供的YUV经OpenGL转换为RGB格式,然后通过

Bitmap

类保存为图片,效率高很多。

MediaCo