⑴ 音视频压缩：H264码流层次结构和NALU详解
前言：
为什么需要编码呢？比如当前屏幕是1280*720.一秒24张图片.那么我们一秒的视频数据是
1280*720(位像素)*24(张) / 8(1字节8位)(结果:B) / 1024(结果:KB) / 1024 (结果:MB) = 2.64MB
一秒的数据有2.64MB数据量。1分钟就会有100多MB。这对用户来说真心是灾难。所以现在我们需要一种压缩方式减小数据的大小.在更低 比特率(bps)的情况下依然提供清晰的视频。
H264: H264/AVC是广泛采用的一种编码方式。我们这边会带大家了解。从大到小排序依次是 序列，图像，NALU，片，宏块，亚宏块，块，像素。
问题背景：
前面在讲封装格式过程中，都有一个章节讲解如何将H.264的NALU单元如何打包到TS、FLV、RTP中，解装刚好相反，怎么从这些封装格式里面解析出一个个NALU单元。NALU即是编码器的输出数据又是解码器的输入数据，所以在封装和传输时，我们一般处理对象就是NALU，至于NALU内部到底是什么则很少关心。甚至我们在编解码时，我们只需要初始化好x264编码库，然后输入YUV数据，它就会给你经过一系列压缩算法后输出NALU，或者将NALU输入到x264解码库就会输出YUV数据。
这篇文章就初步带你看下NALU能传输那些数据，NALU的类型和结构以及H264码流的层次，最后通过分析工具分析下裸码流记性验证，你可以选择感兴趣章节阅读。
NALU结构：
H.264的基本流（elementary stream），也叫裸流（没有加格式封装），就是一系列NALU的集合，如下图所示：
用Notepad十六进制形式打开，以annexb格式存储的h264裸流文件内容：
NALU结构分为两层，包含了视频编码层（VCL）和网络适配层（NAL）:
视频编码层（VCL即Video Coding Layer） :负责高效的视频内容表示,这是核心算法引擎，其中对宏块、片的处理都包含在这个层级上，它输出的数据是SODB;
网络适配层（NAL即Network Abstraction Layer） :以网络所要求的恰当方式对数据进行打包和发送，比较简单，先报VCL吐出来的数据SODB进行字节对齐，形成RBSP，最后再RBSP数据前面加上NAL头则组成一个NALU单元。
分层目的：
这样做的目的：VCL只负责视频的信号处理，包含压缩，量化等处理，NAL解决编码后数据的网络传输，这样可以将VCL和NAL的处理放到不同平台来处理，可以减少因为网络环境不同对VCL的比特流进行重构和重编码；
NLAU结构：
其实NALU的承载数据真实并不是RBSP(Raw Byte Sequence Playload)而是EBSP即（Extent Byte Sequence Payload），EBSP和RBSP的区别就是在 RBSP里面加入防伪起始码字节(0x03)，因为H.264规范规定，编码器吐出来的数据需要在每个NALU添加起始码：0x00 00 01或者0x00 00 00 01,用来指示一个NALU的起始和终止位置，那么RBSP数据内部是有可能含有这种字节序列的，为了防止解析错误，所以在RBSP数据流里面碰到0x 00 00 00 01的0x01前面就会加上0x03，解码时将NALU的EBSP中的0x03去掉成为RBSP，称为脱壳操作。
原始字节序列负载 RBSP即Raw Byte Sequence Playload，因为VCL输出的 原始数据比特流 SODB即String Of Data Bits，其长度不一定是8bit的整数倍，为了凑成整数个字节，往往需要对SODB最后一个字节进行填充形成RBSP，所以从SODB到RBSP的示意图如下：
填充方式就是对VCL的输出数据进行8bit进行切分，最后一个不满8bit的字节第一bit位置1，然后后面缺省的bit置0即可
具体填充语法见下文：
原来文档中的解释：
主要的意思我的理解如下：
其中H.264规范规定，编码器吐出来的数据需要在每个NALU添加起始码：0x00 00 01或者0x00 00 00 01,用来指示一个NALU的起始和终止位置。
所以H.264编码器输出的码流中每个帧开头3-4字节的start code起始码为0x00 00 01或者0x00 00 00 01。
上面我们分析了NALU的结构以及每层输出数据的处理方法，但是对于NALU的RBSP数据二进制表示的什么含义并不清楚，下面分析下NALU的类型。
1. NALU Header
头信息协议如上图。
举例说明：
这其中NALU的RBSP除了能承载真实的视频压缩数据，还能传输编码器的配置信息，其中能传输视频压缩数据的为slice。
那么如果NLAU传输视频压缩数据时，编码器没有开启DP（数据分割）机制，则一个片就是一个NALU，一个 NALU 也就是一个片。否则，一个片由三个 NALU 组成，即DPA、DPB和DPC，对应的nal_unit_type 类型为 2、3和4。
通常情况我们看到的NLAU类型就是SPS、PPS、SEI、IDR的slice、非IDR这几种。
上面站在NALU的角度看了NALU的类型、结构、数据来源、分层处理的原因等，其中NLAU最主要的目的就是传输视频数据压缩结果。那么站在对数据本身的理解上，我们看下H.264码流的层次结构。
H.264层次结构:
其实为了理解H.264是如何看待视频数据，先要了解下视频的形成过程。其实你把多副连续的有关联图像连续播就可以形成视频，这主要利用了人视觉系统的暂留效应，当把连续的图片以每秒25张的速度播放，人眼基本就感觉是连续的视频了。动画片就是这个原理：一张图像里面相邻的区域或者一段时间内连续图像的相同位置，像素、亮度、色温差别比较小，所以视频压缩本质就是利于这种空间冗余和时间上冗余进行编码，我们可以选取一段时间第一幅图像的YUV值，后面的只需要记录和这个的完整图像的差别即可，同时即使记录一副图像的YUV值，当有镜头完全切换时，我们又选取切换后的第一张作为基本图像，后面有一篇文章回讲述下目前视频压缩的基本原理。
所以从这里面就可以引申以下几个概念：
所以视频流分析的对象可以用下面的图片描述：
如果站在数据的角度分析NALU的层次关系，如下图：
这里视频帧被划分为一个片或者多个片，其中slice数据主要就是通过NLAU进行传输，其中slice数据又是由：
一个Slice = Silce + Slice Data
一帧图片跟 NALU 的关联 ：
一帧图片经过 H.264 编码器之后，就被编码为一个或多个片（slice），而装载着这些片（slice）的载体，就是 NALU 了，我们可以来看看 NALU 跟片的关系（slice）。
引用自： https://www.jianshu.com/p/9522c4a7818d
Slice片类型：
设置片的目的是限制误码的扩散和传输，也就是一帧图像中它们的编码片是互相独立的，这样假设其中一张图像的某一个片有问题导致解码花屏，但是这个影响范围就控制在这个片中，这就是我们平时看视频发现只有局部花屏和绿屏的原因。
Slice Data里面传输的是一个个宏块，宏块中的数据承载各个像素点YUV的压缩数据。一个图像通常被我们划分成宏块来研究，通常有16 16、16 8等格式。我们解码的过程也就是恢复这些像素阵列的过程，如果知道了每个像素点的亮度和色度，就能渲染出一张完整的图像，图像的快速播放即是视频。
刚才提到了宏块.那么什么是宏块呢？
宏块是视频信息的主要承载者。一个编码图像通常划分为多个宏块组成.包含着每一个像素的亮度和色度信息。视频解码最主要的工作则是提供高效的方式从码流中获得宏块中像素阵列。
一个宏块 = 一个16*16的亮度像素 + 一个8×8Cb + 一个8×8Cr彩色像素块组成。(YCbCr 是属于 YUV 家族的一员,在YCbCr 中 Y 是指亮度分量，Cb 指蓝色色度分量，而 Cr 指红色色度分量)
其中宏块MB的类型：
宏块的结构：
H.264码流示例分析：
这里我们分析一下H.264的NLAU数据,其中包括了非VCL的NALU数据和VCL的NALU。
H.264码流的NLAU单元：
4. 这里由于没有数据分割机制，所以一个NALU承载一个片，同时一个片就是一个视频帧；
4.至于NALU的非VCL数据SPS、PPS、SEI各个字段的含义具体解析放到下篇文章，这个信息对于解码器进行播放视频很重要，很多播放问题都是这个数据有问题导致的；
上面看了视频的GOP序列，视频帧信息和片的组成，下面分析片中的宏块信息；
H.264的层次结构：
总结：
本文主要讲述了平时研究和分析视频流对象的层次，然后这些视频数据通过NALU传输时，NALU的类型和层次关系，以及NALU数据在不同层次的输出。最后用视频分析工具分析了H.264裸码流验证了上述层次关系。
所以对H.264数据分析时，一定要了解你现在分析的层次和框架，因为每个层次我们关心的数据处理对象是不一样的，这个非常重要。
一般H.264的分析工具都是收费的，也有一些免费和裁剪版本供大家学习和使用。推荐几个：Elecard StreamEye、CodecVisa、VideoEye、H264Analyzer、H264Visa等，有时需要交叉使用才能完成对你关心信息的分析，这些都放到我的Git上了，大家获取使用即可。
引用原文
25fps i帧间隔50 用分析软件查看可以看出每50帧一个i帧，并发送sps、pps、sei
sps、pps、sei、I帧绑在一起发送
⑵ 音视频编解码 原理
音视频同步原理[ffmpeg]
ffmpeg对视频文件进行解码的大致流程：
1. 注册所有容器格式和CODEC: av_register_all()
2. 打开文件: av_open_input_file()
3. 从文件中提取流信息: av_find_stream_info()
4. 穷举所有的流，查找其中种类为CODEC_TYPE_VIDEO
5. 查找对应的解码器: avcodec_find_decoder()
6. 打开编解码器: avcodec_open()
7. 为解码帧分配内存: avcodec_alloc_frame()
8. 不停地从码流中提取中帧数据: av_read_frame()
9. 判断帧的类型，对于视频帧调用: avcodec_decode_video()
10. 解码完后，释放解码器: avcodec_close()
11. 关闭输入文件:av_close_input_file()
⑶ 什么是视频编码的算法 它有哪几种典型的算法 试比较各种典型的视频编码算法。 谢谢了！
1、无声时代的FLC FLC、FLI是Autodesk开发的一种视频格式，仅仅支持256色，但支持色彩抖动技术，因此在很多情况下很真彩视频区别不是很大，不支持音频信号，现在看来这种格式已经毫无用处，但在没有真彩显卡没有声卡的DOS时代确实是最好的也是唯一的选择。最重要的是，Autodesk的全系列的动画制作软件都提供了对这种格式的支持，包括着名的3D Studio X，因此这种格式代表了一个时代的视频编码水平。直到今日，仍旧有不少视频编辑软件可以读取和生成这种格式。但毕竟廉颇老矣，这种格式已经被无情的淘汰。 2、载歌载舞的AVI AVI——Audio Video Interleave，即音频视频交叉存取格式。1992年初Microsoft公司推出了AVI技术及其应用软件VFW（Video for Windows）。在AVI文件中，运动图像和伴音数据是以交织的方式存储，并独立于硬件设备。这种按交替方式组织音频和视像数据的方式可使得读取视频数据流时能更有效地从存储媒介得到连续的信息。构成一个AVI文件的主要参数包括视像参数、伴音参数和压缩参数等。AVI文件用的是AVI RIFF形式，AVI RIFF形式由字串“AVI”标识。所有的AVI文件都包括两个必须的LIST块。这些块定义了流和数据流的格式。AVI文件可能还包括一个索引块。 只要遵循这个标准，任何视频编码方案都可以使用在AVI文件中。这意味着AVI有着非常好的扩充性。这个规范由于是由微软制定，因此微软全系列的软件包括编程工具VB、VC都提供了最直接的支持，因此更加奠定了AVI在PC上的视频霸主地位。由于AVI本身的开放性，获得了众多编码技术研发商的支持，不同的编码使得AVI不断被完善，现在几乎所有运行在PC上的通用视频编辑系统，都是以支持AVI为主的。AVI的出现宣告了PC上哑片时代的结束，不断完善的AVI格式代表了多媒体在PC上的兴起。 说到AVI就不能不提起英特尔公司的Indeo video系列编码，Indeo编码技术是一款用于PC视频的高性能的、纯软件的视频压缩/解压解决方案。Indeo音频软件能提供高质量的压缩音频，可用于互联网、企业内部网和多媒体应用方案等。它既能进行音乐压缩也能进行声音压缩，压缩比可达8:1而没有明显的质量损失。Indeo技术能帮助您构建内容更丰富的多媒体网站。目前被广泛用于动态效果演示、游戏过场动画、非线性素材保存等用途，是目前使用最广泛的一种AVI编码技术。现在Indeo编码技术及其相关软件产品已经被Ligos Technology 公司收购。随着MPEG的崛起，Indeo面临着极大的挑战。 3、容量与质量兼顾的MPEG系列编码 和AVI相反，MPEG不是简单的一种文件格式，而是编码方案。 MPEG-1（标准代号ISO/IEC11172）制定于1991年底，处理的是标准图像交换格式（standard interchange format，SIF）或者称为源输入格式（Source Input Format，SIF）的多媒体流。是针对1.5Mbps以下数据传输率的数字存储媒质运动图像及其伴音编码（MPEG-1 Audio,标准代号ISO/IEC 11172-3）的国际标准,伴音标准后来衍生为今天的MP3编码方案。MPEG-1规范了PAL制（352*288，25帧/S）和NTSC制（为352*240，30帧/S）模式下的流量标准， 提供了相当于家用录象系统（VHS）的影音质量，此时视频数据传输率被压缩至1.15Mbps,其视频压缩率为26∶1。使用MPEG-1的压缩算法，可以把一部120分钟长的多媒体流压缩到1.2GB左右大小。常见的VCD就是MPEG-1编码创造的杰作。MPEG-1编码也不一定要按PAL/NTSC规范的标准运行，你可以自由设定影像尺寸和音视频流量。随着光头拾取精度的提高，有人把光盘的信息密度加大，并适度降低音频流流量，于是出现了只要一张光盘就存放一部电影的DVCD。DVCD碟其实是一种没有行业标准，没有国家标准，更谈不上是国际标准的音像产品。 当VCD开始向市场普及时，电脑正好进入了486时代，当年不少朋友都梦想拥有一块硬解压卡，来实现在PC上看VCD的夙愿，今天回过头来看看，觉得真有点不可思议，但当时的现状就是486
⑷ 音视频解码与播放
YUV定义：分为三个分量，
“Y”表示 明亮度 也就是 灰度值 ，而“U”和“V” 表示的则是 色度 和 饱和度 ，作用是描述影像色彩及饱和度，用于指定像素的颜色。
I frame ：帧内编码帧 ，I 帧通常是每个 GOP（MPEG 所使用的一种视频压缩技术）的第一个帧，经过适度地压缩，做为随机访问的参考点，可以当成图象。I帧可以看成是一个图像经过压缩后的产物。
自身可以通过视频解压算法解压成一张单独的完整的图片。
P frame: 前向预测编码帧 ，通过充分将低于图像序列中前面已编码帧的时间冗余信息来压缩传输数据量的编码图像，也叫预测帧；
需要参考其前面的一个I frame 或者P frame来生成一张完整的图片。
B frame: 双向预测内插编码帧 ，既考虑与源图像序列前面已编码帧，也顾及源图像序列后面已编码帧之间的时间冗余信息来压缩传输数据量的编码图像，也叫双向预测帧；
要参考其前一个I或者P帧及其后面的一个P帧来生成一张完整的图片。
PTS：Presentation Time Stamp 。PTS主要用于度量解码后的视频帧 什么时候被显示出来
DTS：Decode Time Stamp 。DTS主要是标识读入内存中的帧数据在 什么时候开始送入解码器 中进行解码。
在没有B帧存在的情况下DTS的顺序和PTS的顺序应该是一样的。
DTS主要用于视频的解码,在解码阶段使用。PTS主要用于视频的同步和输出.在显示的时候使用。
通常所说的音频裸数据就是PCM（Pulse Codec Molation脉冲编码调制）
libavformat
用于各种音视频封装格式的生成和解析 ，包括获取解码所需信息以生成解码上下文结构和读取音视频帧等功能；音视频的格式解析协议，为 libavcodec 分析码流提供独立的音频或视频码流源。
libavcodec
用于各种类型声音/图像编解码 ；该库是音视频编解码核心，实现了市面上可见的绝大部分解码器的功能，libavcodec 库被其他各大解码器 ffdshow，Mplayer 等所包含或应用。
libavfilter
filter（FileIO、FPS、DrawText） 音视频滤波器的开发 ，如水印、倍速播放等。
libavutil
包含一些 公共的工具函数 的使用库，包括算数运算 字符操作。
libswresample
原始音频格式转码 。
libswscale
（ 原始视频格式转换 ）用于视频场景比例缩放、色彩映射转换；图像颜色空间或格式转换，如 rgb565,rgb888 等与 yuv420 等之间转换。