rtmp流媒体协议.doc

H5视频直播扫盲1 H5到底能不能做视频直播？当然可以， H5火了这么久，涵盖了各个方面的技术。对于视频录制，可以使用强大的webRTC（Web Real-Time Communication）是一个支持网页浏览器进行实时语音对话或视频对话的技术，缺点是只在PC的chrome上支持较好，移动端支持不太理想。对于视频播放，可以使用HLS(HTTP Live Streaming)协议播放直播流，ios和android都天然支持这种协议，配置简单，直接使用video标签即可。webRTC兼容性：video标签播放hls协议视频：1234<video controls autoplay>      <source src="http:/10.66.69.77:8080/hls/mystream.m3u8" type="application/vnd.apple.mpegurl" />      <p class="warning">Your browser does not support HTML5 video.</p>  </video>2 到底什么是HLS协议？简单讲就是把整个流分成一个个小的，基于HTTP的文件来下载，每次只下载一些，前面提到了用于H5播放直播视频时引入的一个.m3u8的文件，这个文件就是基于HLS协议，存放视频流元数据的文件。每一个.m3u8文件，分别对应若干个ts文件，这些ts文件才是真正存放视频的数据，m3u8文件只是存放了一些ts文件的配置信息和相关路径，当视频播放时，.m3u8是动态改变的，video标签会解析这个文件，并找到对应的ts文件来播放，所以一般为了加快速度，.m3u8放在web服务器上，ts文件放在cdn上。.m3u8文件，其实就是以UTF-8编码的m3u文件，这个文件本身不能播放，只是存放了播放信息的文本文件：1234567#EXTM3U                     m3u文件头#EXT-X-MEDIA-SEQUENCE       第一个TS分片的序列号#EXT-X-TARGETDURATION       每个分片TS的最大的时长#EXT-X-ALLOW-CACHE          是否允许cache#EXT-X-ENDLIST              m3u8文件结束符#EXTINF                     指定每个媒体段(ts)的持续时间（秒），仅对其后面的URI有效mystream-12.tsts文件：HLS的请求流程是：1 http请求m3u8的url。2 服务端返回一个m3u8的播放列表，这个播放列表是实时更新的，一般一次给出5段数据的url。3 客户端解析m3u8的播放列表，再按序请求每一段的url，获取ts数据流。简单流程：3 HLS直播延时我们知道hls协议是将直播流分成一段一段的小段视频去下载播放的，所以假设列表里面的包含5个ts文件，每个TS文件包含5秒的视频内容，那么整体的延迟就是25秒。因为当你看到这些视频时，主播已经将视频录制好上传上去了，所以时这样产生的延迟。当然可以缩短列表的长度和单个ts文件的大小来降低延迟，极致来说可以缩减列表长度为1，并且ts的时长为1s，但是这样会造成请求次数增加，增大服务器压力，当网速慢时回造成更多的缓冲，所以苹果官方推荐的ts时长时10s，所以这样就会大改有30s的延迟。参考资料：4 视频直播的整个流程是什么？当视频直播可大致分为：1 视频录制端：一般是电脑上的音视频输入设备或者手机端的摄像头或者麦克风，目前以移动端的手机视频为主。2 视频播放端：可以是电脑上的播放器，手机端的native播放器，还有就是h5的video标签等，目前还是已手机端的native播放器为主。3 视频服务器端：一般是一台nginx服务器，用来接受视频录制端提供的视频源，同时提供给视频播放端流服务。简单流程：  5 怎样进行音视频采集？当首先明确几个概念：视频编码：所谓视频编码就是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式，我们使用的iphone录制的视频，必须要经过编码，上传，解码，才能真正的在用户端的播放器里播放。编解码标准：视频流传输中最为重要的编解码标准有国际电联的H.261、H.263、H.264，其中HLS协议支持H.264格式的编码。音频编码：同视频编码类似，将原始的音频流按照一定的标准进行编码，上传，解码，同时在播放器里播放，当然音频也有许多编码标准，例如PCM编码，WMA编码，AAC编码等等，这里我们HLS协议支持的音频编码方式是AAC编码。下面将利用ios上的摄像头，进行音视频的数据采集，主要分为以下几个步骤： 1 音视频的采集，ios中，利用AVCaptureSession和AVCaptureDevice可以采集到原始的音视频数据流。2 对视频进行H264编码，对音频进行AAC编码，在ios中分别有已经封装好的编码库来实现对音视频的编码。3 对编码后的音、视频数据进行组装封包；4 建立RTMP连接并上推到服务端。 ps：由于编码库大多使用c语言编写，需要自己使用时编译，对于ios，可以使用已经编译好的编码库。x264编码：faac编码：ffmpeg编码：关于如果想给视频增加一些特殊效果，例如增加滤镜等，一般在编码前给使用滤镜库，但是这样也会造成一些耗时，导致上传视频数据有一定延时。简单流程：6 前面提到的ffmpeg是什么？和之前的x264一样，ffmpeg其实也是一套编码库，类似的还有Xvid，Xvid是基于MPEG4协议的编解码器，x264是基于H.264协议的编码器，ffmpeg集合了各种音频，视频编解码协议，通过设置参数可以完成基于MPEG4,H.264等协议的编解码，demo这里使用的是x264编码库。7 什么是RTMP？Real Time Messaging Protocol（简称 RTMP）是 Macromedia 开发的一套视频直播协议，现在属于 Adobe。和HLS一样都可以应用于视频直播，区别是RTMP基于flash无法在ios的浏览器里播放，但是实时性比HLS要好。所以一般使用这种协议来上传视频流，也就是视频流推送到服务器。这里列举一下hls和rtmp对比：8 推流简所谓推流，就是将我们已经编码好的音视频数据发往视频流服务器中，一般常用的是使用rtmp推流，可以使用第三方库librtmp-iOS进行推流，librtmp封装了一些核心的api供使用者调用，如果觉得麻烦，可以使用现成的ios视频推流sdk，也是基于rtmp的，9 推流服务器搭建简简单的推流服务器搭建，由于我们上传的视频流都是基于rtmp协议的，所以服务器也必须要支持rtmp才行，大概需要以下几个步骤：1 安装一台nginx服务器。2 安装nginx的rtmp扩展，目前使用比较多的是3 配置nginx的conf文件：1234567891011121314151617rtmp         server             listen 1935;  #监听的端口          chunk_size 4000;                          application hls   #rtmp推流请求路径            live on;              hls on;              hls_path /usr/local/var/www/hls;              hls_fragment 5s;                    4 重启nginx，将rtmp的推流地址写为rtmp:/ip:1935/hls/mystream，其中hls_path表示生成的.m3u8和ts文件所存放的地址，hls_fragment表示切片时长，mysteam表示一个实例，即将来要生成的文件名可以先自己随便设置一个。更多配置可以参考：根据以上步骤基本上已经实现了一个支持rtmp的视频服务器了。10 在html5页面进行播放直播视频？简单来说，直接使用video标签即可播放hls协议的直播视频：1234<video autoplay webkit-playsinline>      <source src="http:/10.66.69.77:8080/hls/mystream.m3u8" type="application/vnd.apple.mpegurl" />      <p class="warning">Your browser does not support HTML5 video.</p>  </video>需要注意的是，给video标签增加webkit-playsinline属性，这个属性是为了让video视频在ios的uiwebview里面可以不全屏播放，默认ios会全屏播放视频，需要给uiwebview设置allowsInlineMediaPlaybackYES。业界比较成熟的videojs，可以根据不同平台选择不同的策略，例如ios使用video标签，pc使用flash等。11 坑点总结简根据以上步骤，笔者写了一个demo，从实现ios视频录制，采集，上传，nginx服务器下发直播流，h5页面播放直播视频者一整套流程，总结出以下几点比较坑的地方：1 在使用AVCaptureSession进行采集视频时，需要实现AVCaptureVideoDataOutputSampleBufferDelegate协议，同时在- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection捕获到视频流，要注意的是didOutputSampleBuffer这个方法不是didDropSampleBuffer方法，后者只会触发一次，当时开始写的是didDropSampleBuffer方法，差了半天才发现方法调用错了。2 在使用rtmp推流时，rmtp地址要以rtmp:/开头，ip地址要写实际ip地址，不要写成localhost，同时要加上端口号，因为手机端上传时是无法识别localhost的。这里后续会补充上一些坑点，有的需要贴代码，这里先列这么多。demo地址： 参考资料： 结尾打个广告：移动端日志工具：ReactNative下拉刷新组件：欢迎使用！原创文章转载请注明：转载自AlloyTeam：h5-rtmp<!DOCTYPE html><html><head><meta charset="UTF-8"><title>Insert title here</title><link href=" rel="stylesheet"><script src="</head><body><video id="my-player" class="video-js" controls preload="auto" poster="/ data-setup=''> <source src='rtmp:/ type='rtmp/flv'/> </p></video><script type="text/javascript"> var player = videojs('my-player'); var options = ; var player = videojs('my-player', options, function onPlayerReady() videojs.log('Your player is ready!'); / In this context, this is the player that was created by Video.js. this.play(); / How about an event listener? this.on('ended', function() videojs.log('Awww.over so soon?!'); ); );</script></body></html>nginx -serversRun port 80: $ sudo chown root:wheel /usr/local/opt/nginx-full/bin/nginx $ sudo chmod u+s /usr/local/opt/nginx-full/bin/nginxReload config: $ nginx -s reloadReopen Logfile: $ nginx -s reopenStop process: $ nginx -s stop· nginx安装所在位置  /usr/local/Cellar/nginx-full/1.10.1/bin/nginx· nginx配置文件所在位置  /usr/local/etc/nginx/nginx.conf· nginx服务器根目录所在位置  /usr/local/var/www16扫扫 / 位录根 . / / 位置 /0. - / 所 / / / - / / 00 ) )' . '(. ( ' ' / )( , /)! ' . ) , -( ) - = " = / ' / / '= . . / " - -" > . / = " " . / = / > "" = -/ / . / / - / . / " 明请转用 / / . / " 件拉 0 : 0 / " 工志告个 / : / /. / " 料/ / / " : " 地多么先，代有点上补的的 识无传机，口要同 写址 实地 / 以 ，推 了用方才天差 是写当一触者， 是个这 的要频视 ) ) ( : -， ，视行进 用方方比下以总套者直播页流下器 ，上，频 实 了笔步总总等 签 使 例同选同据， " / 熟较界 置 要，视会 认屏不里 频 了性，属 - 加标 给的   < "  > = . : .0/   频播议 放即 接说频播播面 在了务视的 个现上骤/ / - / / : - - / / ：参配。置随先可文要即实一表 长切 _ 地存所和 示 ， / :/ 为推 将               / / _                路请流           00 _   端的监          件 - / - . " 是较使，展 器服 装骤个下概行 须器服的 是频的我，器流的搭器 / . / . / 于也 频 成使，得如调用 的一封 推 - / " 库第可， 使的一中流视数频好编们就推比 一举器务推视是流传来用一。好比性，播览 在 区，于以都 和 在议播频发 ） 称 么库编 的用 解的 . 成可置过议解，音了 的 基 码议协 基 有类编套实 一 么什 提程时定一视传时些会也，镜使编一镜滤例效一频想 / / / - . / / / - / ： / . . / 编库库译经以 译编自，言用大码端服推并 建；装进据音的编码的对来码的经别 ，编行频码 频 据数音集可 用中 采视骤骤几分集数频进像摄 用码编 式音支协们里，编 编， 例编许也当放放同解上，行定按频原，码同编音编 持 中其.、 . 国标编的中传：放播放户的能，解，过须视制 使，的文视一转的格视将压特通就频：念个明集采行程务服放频供，视端频受，服 般端器主器 的手还，标 有放 的手放上电端频主频视的前风者像端者设输的上一制为致可么是个的 . / / . / / / / . /: " ：资。 0会这所 时的推苹所的更时慢力务服增求造这是为长且，长减缩致迟延来文 度长短可迟的这所去上录将已主些这为。 延整，内视包 个文 包里设以放下频小段分播将 延直程流数 获 每序再放的 解  数出次的更是播，放 一务 。 是流的件 有 面其）间持的段个指        束件       - 允否    - -时大最 个   列序 一   件件        件文的播存是能不个，文的- 是，文上 放文上服 在 度快般以播件的应并个这会 变是 ，播频路相息的文了是件 的存正件些件 干对， .件的元视，协 基件件的 一引频放 了面前下次载件 于，个成整就议 底   . >   > . " /0 .0/ "=   > 频议 播 性兼 可即标 用单配协持然 播播) 可播频想太支移好上 的只，的频话语行进网个是 的用可频术术方盖久了 以播频能底到