音视频开发-FFmpeg详解

音视频开发是个非常复杂的，庞大的开发话题，初涉其中，先看一下结合 OEIP(开源项目) 新增例子。

  　　可以打开flv,mp4类型文件，以及rtmp协议音视频数据，声音的播放使用SDL。

  　　把采集的麦/声卡数据混合并与采集的视频信息写入媒体文件或是RMTP协议中。

图片主要属性

　　包含长/宽/通道数/像素格式(U8/U16/F32)，以及排列格式RGBA/YUV。其中通道与像素格式，如在opencv中，CV_8UC1/CV_8UC4，表示1个通道与4个通道的U8格式。而排列格式，简单的分为RGBA类的，如BGRA，BGR，R这些，一般用于游戏里的纹理，RGBA/BGR/R本身有表示通道格式的意思，所以后面组合RGBA32,RGBAF32用来表示通道像素里数据格式。而YUV类型，一般用在媒体类型，如采集设备，音视频文件，推拉流传输等，YUV格式有二个组成部分。一是UV对应像素个数，如YUV420,YUV422,YUV444,他们的相同点就是一个像素点对应一个Y，不同点是，如YUV420表示一个U/V对应4个像素点，422一个UV对应二个像素点，UV444则表示一个UV对应一个像素点，YUV像素点数据格式一般是U8。

　　我们可以来比较一些常用格式最终占用字节大小，如1080P下。

• RGBA32 1920*1080*4=8,294,400‬ 其中4是每个像素包含RGBA四个通道。
• YUV420 1920*1080 + 980*540*2 前面是Y占用大小，后面是UV占用大小。
• YUV422 1920*1080 + 980*1080*2 前面是Y占用大小，后面是UV占用大小
• YUV444 1920*1080*3 每个像素一个YUV三通道。

　　第二是排序格式，如YUV420可以细分YUV420I，YUV420P，YUV420SP(NV12)，简单来说，后缀是P是表示YUV这三个分开存放，而SP是Y单独分开，UV交织在一起，而I就更简单了，YUV交织在一起，简单来说，和RGBA格式差不多排列。

　　YUV420P/YUV422P 一般用来视频文件与推拉流传输上,我想可能原因是Y用来表示亮度，人眼最敏感部分，早期黑白电视只有Y大家一样能看，这种格式最方便兼容，直接把UV丢弃就行,Y/U/V可能在内存分布上不连续。其