音视频处理的一般流程

数据采集→数据编码→数据传输(流媒体服务器) →解码数据→播放显示

1.数据采集：摄像机及拾音器收集视频及音频数据，此时得到的为原始数据涉及技术或协议：摄像机：CCD、CMOS拾音器：声电转换装置（咪头）、音频放大电路。

2.数据编码：使用相关硬件或软件对音视频原始数据进行编码处理（数字化）及加工（如音视频混合、打包封装等），得到可用的音视频数据涉及技术或协议：编码方式：CBR、VBR编码格式视频：H.265、H.264、MPEG-4等，封装容器有TS、MKV、AVI、MP4等音频：G.711μ、AAC、Opus等，封装有MP3、OGG、AAC等

3.数据传输：将编码完成后的音视频数据进行传输，早期的音视频通过同轴电缆之类的线缆进行传输，IP网络发展后，使用IP网络优传输涉及技术或协议：传输协议：RTP与RTCP、RTSP、RTMP、HTTP、HLS（HTTP Live Streaming）等控制信令：SIP和SDP、SNMP等。

4、解码数据：使用相关硬件或软件对接收到的编码后的音视频数据进行解码，得到可以直接显示的图像/声音涉及技术或协议：一般对应的编码器都会带有相应的解码器，也有一些第三方解码插件等5、播放显示：在显示器（电视、监视屏等）或扬声器（耳机、喇叭等）里，显示相应的图像画面或声音涉及技术或协议：显示器、扬声器、3D眼镜等。  

推流端的四个环节

1、 首先是采集环节：采集是指对图像和声音的采集，简单说就是能让网络视频直播系统和主播摄像头连起来，软件能获取到外界的音视频信息。

然后是前处理阶段：这里也是俗称美颜的阶段，这要求我们在网络视频直播系统中加入美颜、特效、萌颜等效果，而这个算法需要涉及到GPU编程，这个阶段的难点不在于美颜，因为美颜通常使用SDK来解决的，重点在于GPU占比。

2、 目前市面上的手机硬件配置已经越来越高了，但在一些老旧机型上，功耗仍然是个很大的问题，GPU占用太高会导致手机发烫、摄像头掉帧甚至软件闪退。

3、 接下来就是编码了，编码是为了压缩数据也是为了更好的解码，通常我们会选择用硬编码来平衡编码速度和编码质量之间的效率比，但软编仍然是画面质量更高的选择，也有用户愿意使用软编码的方式，因此在最初设计系统时，我们应当同时设计好软编硬编两种编码方式。

4、 推流端最后一个操作就是推流，把视频推流到服务器，以便于直播视频的分发和拉流。

Powered by Froala Editor