rtmp流媒体协议通信电子WCDMA技术_计算机-Flash-Flex.pdf

《rtmp流媒体协议通信电子WCDMA技术_计算机-Flash-Flex.pdf》由会员分享，可在线阅读，更多相关《rtmp流媒体协议通信电子WCDMA技术_计算机-Flash-Flex.pdf（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、H5视频直播扫盲 1 H5到底能不能做视频直播 当然可以，H5火了这么久，涵盖了各个方面的技术。对于视频录制，可以使用强大的webRTC（Web Real-Time Communication）是一个支持网页浏览器进行实时语音对话或视频对话的技术，缺点是只在PC的chrome上支持较好，移动端支持不太理想。对于视频播放，可以使用HLS(HTTP Live Streaming)协议播放直播流，ios 和android 都天然支持这种协议，配置简单，直接使用video 标签即可。webRTC 兼容性：video 标签播放hls 协议视频：1 2 3 4 Your browser does not

2、support HTML5 video./p 2 到底什么是HLS 协议 简单讲就是把整个流分成一个个小的，基于HTTP 的文件来下载，每次只下载一些，前面提到了用于H5 播放直播视频时引入的一个.m3u8的文件，这个文件就是基于HLS 协议，存放视频流元数据的文件。每一个.m3u8文件，分别对应若干个ts 文件，这些ts 文件才是真正存放视频的数据，m3u8 文件只是存放了一些ts 文件的配置信息和相关路径，当视频播放时，.m3u8是动态改变的，video 标签会解析这个文件，并找到对应的ts 文件来播放，所以一般为了加快速度，.m3u8放在web服务器上，ts 文件放在cdn上。.m3u8

3、文件，其实就是以UTF-8 编码的m3u 文件，这个文件本身不能播放，只是存放了播放信息的文本文件：1 2 3 4 5 6 7#EXTM3U m3u文件头#EXT-X-MEDIA-SEQUENCE 第一个TS分片的序列号#EXT-X-TARGETDURATION 每个分片TS的最大的时长#EXT-X-ALLOW-CACHE 是否允许cache#EXT-X-ENDLIST m3u8 文件结束符#EXTINF 指定每个媒体段(ts)的持续间（秒），仅对其后面的URI有效 ts 文件：HLS 的请求流程是：1 http 请求m3u8 的url。2 服务端返回一个m3u8 的播放列表，这个播放列表是实

4、时更新的，一般一次给出5段数据的url。3 客户端解析m3u8 的播放列表，再按序请求每一段的url，获取ts 数据流。一个支持网页浏览器进行实时语音对话或视频对话的技术缺点是只在的上支持较好移动端支持不太理想对于视频播放可以使用协议播放直播流和都天然支持这种协议配置简单直接使用标签即可兼容性标签播放协议视频到底什么是协一个的文件这个文件就是基于协议存放视频流元数据的文件每一个文件分别对应若干个文件这些文件才是真正存放视频的数据文件只是存放了一些文件的配置信息和相关路径当视频播放时是动态改变的标签会解析这个文件并找到对放只是存放了播放信息的文本文件间秒仅对其后面的有效文件头第一个分片的序列号每

5、个分片的最大的时长是否允许文件结束符指定每个媒体段的持续文件的请求流程是请求的服务端返回一个的播放列表这个播放列表是实时更新的简单流程：3 HLS 直播延时 我们知道hls 协议是将直播流分成一段一段的小段视频去下载播放的，所以假设列表里面的包含5个ts 文件，每个TS文件包含5秒的视频内容，那么整体的延迟就是25秒。因为当你看到这些视频时，主播已经将视频录制好上传上去了，所以时这样产生的延迟。当然可以缩短列表的长度和单个ts 文件的大小来降低延迟，极致来说可以缩减列表长度为1，并且ts 的时长为1s，但是这样会造成请求次数增加，增大服务器压力，当网速慢时回造成更多的缓冲，所以苹果官方推荐的t

6、s 时长时10s，所以这样就会大改有30s的延迟。参考资料：视频直播的整个流程是什么 当视频直播可大致分为：1 视频录制端：一般是电脑上的音视频输入设备或者手机端的摄像头或者麦克风，目前以移动端的手机视频为主。2 视频播放端：可以是电脑上的播放器，手机端的native 播放器，还有就是h5的video标签等，目前还是已手机端的native 播放器为主。3 视频服务器端：一般是一台nginx服务器，用来接受视频录制端提供的视频源，同时提供给视频播放端流服务。简单流程：5 怎样进行音视频采集 一个支持网页浏览器进行实时语音对话或视频对话的技术缺点是只在的上支持较好移动端支持不太理想对于视频播放可以

7、使用协议播放直播流和都天然支持这种协议配置简单直接使用标签即可兼容性标签播放协议视频到底什么是协一个的文件这个文件就是基于协议存放视频流元数据的文件每一个文件分别对应若干个文件这些文件才是真正存放视频的数据文件只是存放了一些文件的配置信息和相关路径当视频播放时是动态改变的标签会解析这个文件并找到对放只是存放了播放信息的文本文件间秒仅对其后面的有效文件头第一个分片的序列号每个分片的最大的时长是否允许文件结束符指定每个媒体段的持续文件的请求流程是请求的服务端返回一个的播放列表这个播放列表是实时更新的当首先明确几个概念：视频编码：所谓视频编码就是指通过特定的压缩技术，将某个视频格式的文件转换成另一种

8、视频格式文件的方式，我们使用的iphone录制的视频，必须要经过编码，上传，解码，才能真正的在用户端的播放器里播放。编解码标准：视频流传输中最为重要的编解码标准有国际电联的、，其中HLS 协议支持格式的编码。音频编码：同视频编码类似，将原始的音频流按照一定的标准进行编码，上传，解码，同时在播放器里播放，当然音频也有许多编码标准，例如PCM 编码，WMA编码，AAC 编码等等，这里我们HLS 协议支持的音频编码方式是AAC 编码。下面将利用ios 上的摄像头，进行音视频的数据采集，主要分为以下几个步骤：1 音视频的采集，ios 中，利用AVCaptureSession 和AVCaptureDev

9、ice 可以采集到原始的音视频数据流。2 对视频进行H264 编码，对音频进行AAC 编码，在ios 中分别有已经封装好的编码库来实现对音视频的编码。3 对编码后的音、视频数据进行组装封包；4 建立RTMP 连接并上推到服务端。ps：由于编码库大多使用c语言编写，需要自己使用时编译，对于ios，可以使用已经编译好的编码库。x264编码：kewlbear/x264-ios faac 编码：fflydev/faac-ios-build ffmpeg 编码：kewlbear/FFmpeg-iOS-build-script 关于如果想给视频增加一些特殊效果，例如增加滤镜等，一般在编码前给使用滤镜库，但

10、是这样也会造成一些耗时，导致上传视频数据有一定延时。简单流程：一个支持网页浏览器进行实时语音对话或视频对话的技术缺点是只在的上支持较好移动端支持不太理想对于视频播放可以使用协议播放直播流和都天然支持这种协议配置简单直接使用标签即可兼容性标签播放协议视频到底什么是协一个的文件这个文件就是基于协议存放视频流元数据的文件每一个文件分别对应若干个文件这些文件才是真正存放视频的数据文件只是存放了一些文件的配置信息和相关路径当视频播放时是动态改变的标签会解析这个文件并找到对放只是存放了播放信息的文本文件间秒仅对其后面的有效文件头第一个分片的序列号每个分片的最大的时长是否允许文件结束符指定每个媒体段的持续文

11、件的请求流程是请求的服务端返回一个的播放列表这个播放列表是实时更新的6 前面提到的ffmpeg是什么 和之前的x264一样，ffmpeg 其实也是一套编码库，类似的还有Xvid，Xvid是基于MPEG4 协议的编解码器，x264是基于协议的编码器，ffmpeg 集合了各种音频，视频编解码协议，通过设置参数可以完成基于MPEG4,等协议的编解码，demo这里使用的是x264编码库。7 什么是RTMP Real Time Messaging Protocol（简称 RTMP）是 Macromedia 开发的一套视频直播协议，现在属于 Adobe。和HLS 一样都可以应用于视频直播，区别是RTMP

12、基于flash 无法在ios 的浏览器里播放，但是实时性比HLS 要好。所以一般使用这种协议来上传视频流，也就是视频流推送到服务器。这里列举一下hls 和rtmp对比：8 推流 简所谓推流，就是将我们已经编码好的音视频数据发往视频流服务器中，一般常用的是使用rtmp推流，可以使用第三方库librtmp-iOS 进行推流，librtmp 封装了一些核心的api 供使用者调用，如果觉得麻烦，可以使用现成的ios 视频推流sdk，也是基于rtmp的，runner365/LiveVideoCoreSDK 9 推流服务器搭建 简简单的推流服务器搭建，由于我们上传的视频流都是基于rtmp协议的，所以服务器

13、也必须要支持rtmp才行，大概需要以下几个步骤：1 安装一台nginx服务器。2 安装nginx的rtmp扩展，目前使用比较多的是arut/nginx-rtmp-module 3 配置nginx的conf文件：一个支持网页浏览器进行实时语音对话或视频对话的技术缺点是只在的上支持较好移动端支持不太理想对于视频播放可以使用协议播放直播流和都天然支持这种协议配置简单直接使用标签即可兼容性标签播放协议视频到底什么是协一个的文件这个文件就是基于协议存放视频流元数据的文件每一个文件分别对应若干个文件这些文件才是真正存放视频的数据文件只是存放了一些文件的配置信息和相关路径当视频播放时是动态改变的标签会解析这

14、个文件并找到对放只是存放了播放信息的文本文件间秒仅对其后面的有效文件头第一个分片的序列号每个分片的最大的时长是否允许文件结束符指定每个媒体段的持续文件的请求流程是请求的服务端返回一个的播放列表这个播放列表是实时更新的 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 rtmp server listen 1935;#监听的端口 chunk_size 4000;application hls#rtmp推流请求路径 live on;hls on;hls_path/usr/local/var/www/hls;hls_fragment 5s;4 重启nginx，将rt

15、mp的推流地址写为，其中hls_path 表示生成的.m3u8 和ts 文件所存放的地址，hls_fragment 表示切一个支持网页浏览器进行实时语音对话或视频对话的技术缺点是只在的上支持较好移动端支持不太理想对于视频播放可以使用协议播放直播流和都天然支持这种协议配置简单直接使用标签即可兼容性标签播放协议视频到底什么是协一个的文件这个文件就是基于协议存放视频流元数据的文件每一个文件分别对应若干个文件这些文件才是真正存放视频的数据文件只是存放了一些文件的配置信息和相关路径当视频播放时是动态改变的标签会解析这个文件并找到对放只是存放了播放信息的文本文件间秒仅对其后面的有效文件头第一个分片的序列号

16、每个分片的最大的时长是否允许文件结束符指定每个媒体段的持续文件的请求流程是请求的服务端返回一个的播放列表这个播放列表是实时更新的片时长，mysteam 表示一个实例，即将来要生成的文件名可以先自己随便设置一个。更多配置可以参考：arut/nginx-rtmp-module/wiki/根据以上步骤基本上已经实现了一个支持rtmp的视频服务器了。10 在html5页面进行播放直播视频 简单来说，直接使用video 标签即可播放hls 协议的直播视频：1 2 3 4 Your browser does not support HTML5 video./p 需要注意的是，给video 标签增加webk

17、it-playsinline属性，这个属性是为了让video 视频在ios 的uiwebview 里面可以不全屏播放，默认ios 会全屏播放视频，需要给uiwebview 设置allowsInlineMediaPlaybackYES。业界比较成熟的videojs，可以根据不同平台选择不同的策略，例如ios 使用video 标签，pc使用flash 等。11 坑点总结 简根据以上步骤，笔者写了一个demo，从实现ios 视频录制，采集，上传，nginx 服务器下发直播流，h5页面播放直播视频者一整套流程，总结出以下几点比较坑的地方：1 在使用AVCaptureSession 进行采集视频时，需要

18、实现AVCaptureVideoDataOutputSampleBufferDelegate协议，同时在-(void)captureOutput:(AVCaptureOutput 一个支持网页浏览器进行实时语音对话或视频对话的技术缺点是只在的上支持较好移动端支持不太理想对于视频播放可以使用协议播放直播流和都天然支持这种协议配置简单直接使用标签即可兼容性标签播放协议视频到底什么是协一个的文件这个文件就是基于协议存放视频流元数据的文件每一个文件分别对应若干个文件这些文件才是真正存放视频的数据文件只是存放了一些文件的配置信息和相关路径当视频播放时是动态改变的标签会解析这个文件并找到对放只是存放了播放

19、信息的文本文件间秒仅对其后面的有效文件头第一个分片的序列号每个分片的最大的时长是否允许文件结束符指定每个媒体段的持续文件的请求流程是请求的服务端返回一个的播放列表这个播放列表是实时更新的*)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection*)connection捕获到视频流，要注意的是didOutputSampleBuffer这个方法不是didDropSampleBuffer方法，后者只会触发一次，当时开始写的是didDropSample

20、Buffer方法，差了半天才发现方法调用错了。2 在使用rtmp推流时，rmtp地址要以，ip 地址要写实际ip 地址，不要写成localhost，同时要加上端口号，因为手机端上传时是无法识别localhost的。这里后续会补充上一些坑点，有的需要贴代码，这里先列这么多。demo地址：lvming6816077/LMVideoTest/参考资料：结尾打个广告：移动端日志工具：lvming6816077/MLogger ReactNative 下拉刷新组件：lvming6816077/react-native-pullRefreshScrollView 欢迎使用！原创文章转载请注明：转载自 Al

21、loyTeam：html Insert title here 一个支持网页浏览器进行实时语音对话或视频对话的技术缺点是只在的上支持较好移动端支持不太理想对于视频播放可以使用协议播放直播流和都天然支持这种协议配置简单直接使用标签即可兼容性标签播放协议视频到底什么是协一个的文件这个文件就是基于协议存放视频流元数据的文件每一个文件分别对应若干个文件这些文件才是真正存放视频的数据文件只是存放了一些文件的配置信息和相关路径当视频播放时是动态改变的标签会解析这个文件并找到对放只是存放了播放信息的文本文件间秒仅对其后面的有效文件头第一个分片的序列号每个分片的最大的时长是否允许文件结束符指定每个媒体段的持续文

22、件的请求流程是请求的服务端返回一个的播放列表这个播放列表是实时更新的 video id=my-player class=video-js controls preload=auto poster=();over so soon!);););nginx-servers Run port 80:$sudo chown root:wheel/usr/local/opt/nginx-full/bin/nginx$sudo chmod u+s/usr/local/opt/nginx-full/bin/nginx Reload config:$nginx-s reload Reopen Logfile:$

23、nginx-s reopen Stop process:$nginx-s stop nginx 安装所在位置 /usr/local/Cellar/nginx-full/配置文件所在位置 /usr/local/etc/nginx/nginx 服务器根目录所在位置 /usr/local/var/www 一个支持网页浏览器进行实时语音对话或视频对话的技术缺点是只在的上支持较好移动端支持不太理想对于视频播放可以使用协议播放直播流和都天然支持这种协议配置简单直接使用标签即可兼容性标签播放协议视频到底什么是协一个的文件这个文件就是基于协议存放视频流元数据的文件每一个文件分别对应若干个文件这些文件才是真正存放视频的数据文件只是存放了一些文件的配置信息和相关路径当视频播放时是动态改变的标签会解析这个文件并找到对放只是存放了播放信息的文本文件间秒仅对其后面的有效文件头第一个分片的序列号每个分片的最大的时长是否允许文件结束符指定每个媒体段的持续文件的请求流程是请求的服务端返回一个的播放列表这个播放列表是实时更新的