湖南大学开放实验报告

 

第二篇：基于RTP协议的视频流媒体实时传输

华中师范大学

硕士学位论文

基于RTP协议的视频流媒体实时传输

姓名：葛镜

申请学位级别：硕士

专业：电路与系统

指导教师：张国平

20070606

⑧硕士学位论文

ＭＡＳＴＥＲ’ＳＴＨＥ秘Ｓ

摘要

多媒体技术和计算机网络技术的不断进步使网络多媒体应用日益普及和快速发展。视频会议，视频点播，远程教育，口Ｔ、，等多媒体应用在人们的日常生活中发挥着越来越重要的作用。

本文正是在这样的前提下，对多媒体技术和网络协议进行深入研究的基础上，提出了基于ＲＴＰ协议的视频流媒体实时传输系统的设计与实现。论文首先在对各个视频压缩技术进行比较后，选择ＭＰＥＧ＿４运动图像压缩编码标准作为本系统的视频压缩技术，并详细研究了ＭＰＥＧ４标准的内容和优势，它广泛应用于低码率传输。如何在网络上实时传输ｍＥ（“码流是当前的一个研究热门，也是未来网络多媒体的一个重要的研究方向。接着对网络传输协议进行分析比较，选用ＲＴＰ／ＲＴＣＰ协议作为本系统传输层协议，并深入分析了Ｒ１驯Ｒ：ｒＣＰ的特点、内容。最后给出了本系统的总体结构和系统各个模块的解决方案，包括网络传输模块，网络接收模块，视频编码控制模块和视频播放模块等。

本系统具有视频采集、播放、网络传输、网络接收、解压等功能，达到了ＭＰＥＧ－４网络组播的基本要求，能实时传输视频图像。除视频采集功能外均采用软件实现，有较强的可移植性和易于升级，同时硬件投资也不高。关键词：实时传输与控制协议；ＭＰＥＧ．．４；流媒体；组播

Ａｂｓｔｒａｃｔ

Ｔｈｅｓｔｅａｄｙａｄｖａｎｃｅｍｅｎｔｏｆｔｅｃｈｎｏｌｏｇｙｉｎｔｈｅｆｉｅｌｄｏｆｎｅｔｗｏｒｋｓｈａｓｂｅｃｏｍｅ

ａ

ｍｕｌ吐ｍｅｄｉａ

ａｎｄ

ｃｏｍｐｕｔｅｒ

ｓｕｃｈ

ｓｔｒｏｎｇｉｍｐｅｔｕｓｔｏｔｈｅｄｅｖｅｌｏｐｍｅｎｔａｎｄｐｏｐｕｌａｒｉｚａｔｉｏｎｏｆｔｈｅａｐｐ）ｉｃａｔｉｏｎ＆Ｄｉｓｔｒｉｂｕｔｅｄ

ｏｎ

ｎｅｔｗｏｒｋｅｄｍｕｌｔｉｍｅｄｉａｖｉｄｅｏｃｏｎｆｅｒｏｎｃｅ，ｖｉｄｅｏ

ｍｏｒｅ

ｍｕｌｔｉｍｅｄｉａ

ａｐｐｌｉｃａｔｉｏｎｓ

ｅｔｃ．ａｒｅ

ａｓ

ｄｅｍａｎｄ，ｌｏｎｇ－ｄｉｓｔａｎｃｅ

ｅｄｕｃａｔｉｏｎ，ＩＰＴＶ

ｍｏｒｅａｎｄ

ｉｍｐｏｒｔａｎｔｔｏｐｅｏｐｌｅ＇ｓｌｉｆｅ．

Ａｃｃｏｒｄｉｏｎｇｔｏｔｈｅｓｅ，ａｎｄｂａｓｅｄ

ｏｎ

ｔｈｅｉｎ－ｄｅｐｔｈｒｅｓｅａｒｃｈｏｆｔｈｅｂａｓｉｃｔｈｅｏｒｙｏｆ

ｍｕｌｔｉｍｅｄｉａ

ｔｅｃｈｎｏｌｏｇｙａｎｄｎｅｔｗｏｒｋｓｐｒｏｔｏｃｏｌ，ｔｈｅｒｅｓｅａｒｃｈ

ｐｒｏｊｅｃｔ

ｏｆｔｈｅｔｈｅｓｉｓｉｓｔｏ

ｒｅｓｅａｒｃｈ鼢ＲＴＰ－ｂａｓｅｄｓｔｒｅａｍｉｎｇｍｅｄｉａｒｅａｌ－ｔｉｍｅｔｒａｎｓｍｉｓｓｉｏｎ

ｓｙａｔ锄ｄｅｓｉｇｎ

ａｎｄ

ｉｍｐｌｅｍｅｎｔａｔｉｏｎ．Ｔｈｅｔｈｅｓｉｓ

ｖａｒｉｏｕｓｖｉｄｅｏｃｏｍｐｒｅｓｓｉｏｎ

ｃｏｎｔｅｎｔ

ｉｎｃｌｕｄｅｓｔｈｅｆｏｌｌｏｗｉｎｇｐａｒｔｓ：Ｆｉｒｓｔｌｙ，ａｆｔｅｒｃｏｍｐａｒｉｓｏｎｓｏｆｔｈｅ

ｔｅｃｈｎｏｌｏｇｙ，ＭＰＥＧ－４ｖｉｄｅｏ

ＭＰＥＧ－４

ｃｏｄｉｎｇｓｔａｎｄａｒｄｓｉｓｃｈｏｓｅｎ，ａｎｄ

ａ

ａｎｄ

ａｄｖａｎｔａｇｅｓ

ｏｆｔｈｅ

ｉｓｄｅｔａｉｌｅｄｌｙｓｔｕｄｉｅｄ．Ｉｔｉｓ

ｖｅｒｙｐｏｐｕｌａｒ

ｍｕｌｔｉｍｅｄｉａｃｏｄｅｅ．ｗｈｉｃｈｕｓｅｄｉｎｔｈｅｌｏｗｂｉｔ－ｒａｔｅｔｒａｎｓｐｏｒｔｉｎｔｈｅｎｅｔｗｏｒｋ，ｈｏｗｔｏ

ｔｒａｎｓｐｏｒｔ

ＭＰＥＧ４ｂｉｔ．ｓｔｒｅａｍｉｎｔｈｅｎｅｔｗｏｒｋｒｅａｌ．ｔｉｍｅｉｓ

ｔｈｉｓｔｈｅｓｉｓｌｕｃｕｂｍｔｅｓｔｈｅｃｏｍｅｎｔｓａｎｄｃｈａｒａｃｔｅｒｓｓｕｉｔａｂｌｅｆｏｒｔｈｅｖｉｄｅｏ

ｏｆ册ａｎｄ

ａ

ｈｏｔｓｐｏｔｏｆｒｅｓｅａｒｃｈ．Ａｎｄｔｈｅｎ

ｂｅｌｉｅｖｅｓｔｈａｔＲＴＰｉｓｗｅＩＩ

ｔｈｅｗｈｏｌｅｄｅｓｉｇｎ

ｓｏｕｒｃｅ

ｔｒａｎｓｍｉｓｓｉｏｎ．Ｆｉｎａｌｌｙ，Ｔｈｅｔｈｅｓｉｓｉｎｔｒｏｄｕｃｅｓ

ｐｒｏｊｃｃｔ

ｏｆｔｈｉｓｓｙｓｔｅｍａｎｄｄｅｔａｉｌｓｒｅｓｅａｒｃｈｐｒｏｃｅｓｓｏｆ

ｅｖｅｒｙｐｒｏｇｒａｍ

ｐｒｏｄｕｃｅ

ｍｏｄｕｌｅ，ｗｈｉｃｈｉｎｃｌｕｄｉｎｇｎｅｔｗｏｒｋｔｒａｎｓｍｉｓｓｉｏｎｍｏｄｕｌｅ，ｎｅｔｗｏｒｋｒｅｃｅｉｖｅｒｍｏｄｕｌｅ，ｖｉｄｅｏ

ｅｕｄｉｎｇ

ｃｏｎｔｒｏｌｍｏｄｕｌｅ，ｐｌａｙｉｎｇｂａｃｋｍｏｄｕｌｅｆｏｒｖｉｄｅｏａｎｄ

ＳＯｏｎ．

Ｔｈｅｓｙｓｔｅｍｃｏｍｐｒｉｓｅｓｆｕｎｃｔｉｏｎｓｏｆｖｉｄｅｏｄａｔａｃｏｌｌｅｃｔｉｎｇ，ｐｌａｙｂａｃｋ，ｎｅｔｗｏｋ

ｔｅｓｔｒｅｓｕｌｔｓｈｏｗｓｔｈａｔ

ｔｒａｎｓｍｉｓｓｉｏｎ，ｎｅｔｗｏｒｋｒｅｃｅｉｖｅｒ，ｄｅｃｏｄｉｎｇ．Ｔｈｅ

ｔｈｅｓｙｓｔｅｍ

ＣＲＩｌ

ｒｃａｌ－ｔｉｍｅｔｒａｎｓｐｏｒｔＭＰＥＧ．４ｖｉｄｅｏＭｕｌｔｉｃａｓｔａｎｄｐｌａｙｂａｃｋｔｈｅｖｉｄｅｏｗｅｌｌ．Ｔ五ｅｍｏｓｔｏｆｔｈｅ

ｆｕｎｃｔｉｏｎｓａｒｅ

ａｒｃｈｉｖｅｄｂｙｓｏＲｗａｒｅ，ｅｘｃｅｐｔｖｉｄｅｏｄａｔａｃｏｌｌｅｃｔｉｎｇ．ｔｈｅｓｙｓｔｅｍｃｏｓｔｓｌｏｗＩｎ

ｈａｒｄｗａｒｅｉｎｖｅｓｔｍｅｎｔａｎｄＣａｎｂｅｕｐｄａｔｅｄｅａｓｉｌｙ．

Ｋｅｙｗｏｒｄｓ：ＲＴＰ／ＲＴＣＰ；ｓｔｒｅａｍｉｎｇｍｅｄｉａ；ＭＰＥＧ－４，ｍｕｌｔｉ—ｃａｓｔ

ｎ

华中师范大学学位论文原创性声明和使用授权说明

原创性声明

本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本声明的法律结果由本人承担。

作者签名：撒日ｍ－加７年石月６日

学位论文版权使用授权书

本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中师范大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研究所将本学位论文收录到《中国学位论文全文数据库》，并通过网络向社会公众提供信息服务。

作者签名：蔼锰导师

日期．砷年６月＿６日日期日

本人已经认真阅读“ＣＡＬＩＳ高校学位论文全文数据库发布章程”，同意将本人的学位论文提交４ＣＡＬＩＳ高校学位论文全文数据库”中全文发布，并可按“章程”中的规定享受相关权益。旦重途塞量銮奄溢卮！旦圭生ｉ旦＝生；旦三至蕴查！

作者签名：问气压作者签名：就导师签日期：御年‘Ｂ６日日期：

Ｚ

第一章绪论

１．１流媒体实时传输的现状

随着人类经济、政治及文化活动的不断发展和科学技术的进步，人与人之间的信息交流越来越频繁。为此人们对通信方式提出了越来越多的需求。声音和图像具有直观性强。信息内容丰富的特点。在人类日常生活中，大部分信息是通过听觉和视觉来取得的。因此，通信中引入了音频和视频信息的传输，大大丰富了通信的内容，而且也更适合人们获取外部信息的特点。为了解决音视频文件下载时间过长的衄题，适应瞬络化的发展趋势，一种新兴技术孕育而生，这就是遵守特定网络协议的流媒体技术。流媒体（ＳｔｒｅａｍｉｎｇＭｅｄｉａ）作为一个完美的、真正的“第四媒体”，将是未来互联网发展的～个方向，它将彻底改变传统互联两只能表现文字和图片的缺陷，而可集音频、视频及图文于一体，成为未来互联蹰应用的主流，并将推动互联网整体架构的革新。也正因为如此以音视频为基础的流媒体传输成为近年来发展较快的一项新业务。流媒体的实时传输技术已经在各行业中显示出其强大的功能，在远程教育、视频监控ｌ”、视频会议、娱乐多媒体点播以及ＩＰＴＶ等领域得到了广泛的应用［２１。

互联网的发展，决定了流媒体市场的广闼前景。流媒体的巨大市场吸弓Ｉ了全球众多各大宽带运营商、电信运营商的目光，它们都希望在这一新兴的网络媒体市场争取更大的份额。传统的多媒体文件需要从服务器上下载之后才能播放，而流媒体与常规多媒体不同，可边下载边播放【３１。流媒体是运用可变带宽技术，以“流”的传输方式在因特网上播放的媒体格式，如音频、视频或多媒体文件，使人们可以在２８ｋｂｉｔ／ｓ到１２００ｋｂｉｔ／ｓ的带宽环境下在线连续地欣赏高品质音频和视频节目。

流媒体实时传输是计算机技术，网络通信技术和多媒体技术共同发展的结果，语音、图像、视频等多媒体信息如何能够得到比较好的采样和传输是流媒体应用的关键，采用何种编码形式以及如何在因特网带宽下能够合乎应用的需求进行传输【４Ｊ，也就是数字图像压缩编码技术和网络传输技术，是设计一个流媒体系统必须要认真考虑的问题。

信源的压缩始终是流媒体实时传输的核心问题之一。多媒体数据的量很大，目前的网络带宽相对原始多媒体数据巨大的量来说还是远远不够。若不对视频数据进行压缩处理，实时性根本无法达到。如一张２４位的７２０×５７６分辨率的数字视频图

⑧项士学位论文

ＭＡＳＴＥＲ’ＳＴ１－１ＥＳＩ￥

像，其数据量约为９．９５Ｍｂｉｔｓ／帧，假设帧速为２５帧，秒（ＰＡＬ制式），则要使该类型视频信号能够流畅传送到终端解码，网络传输速率大约应为２４８．７５Ｍｂｉｔｓ／ｓ，一分钟的视频则需要服务器端提供至少约ｌ。９６５Ｍｂｙｔｅｓ的硬盘空间来存储，同时加重网络的负担及终端解码的效率。如果不压缩基本上不可能在网络上实时传输多媒体数据，必须采取高效的压缩方式，把原始音视频数据转化为适合流式传输的文件格式。因此提高多媒体数据的压缩效率对流媒体实时传输尤为重要。国际上有两个负责音视频编码的标准化组织［５－６１，一个是国际标准化组织（ＩＳｏ）和国际电工委员会０ＥＣ）下的运动图像专家组ＭＰＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）；另一个是国际电信联盟（ｒｒｔｏ下的视频编码专家ＶＣＥＧ（ＶｉｄｅｐＣｏｄｅＥｘｐｅｒｔＧｒｏｕｐ）。ＭＰＥＧ制订的标准有ＭＰＥＧ－１，ＭＰＥＧ－２，ＭＰＥＧ－４，ＭＰＥＧ．７，ＭＰＥＧ－２ｌ。ＭＰＥＧ．１主要为ＶＣＤ采用，ＭＰＥＧ．２则为ＤＶＤ所用，ＭＰＥＧ－４是为交互式多媒体通信制订的压缩标准［７－ｓｊ，ＭＰＥＧ－７是为互联网视频检索制订的压缩标准。ＭＰＥＧ－２１的正式名称是多媒体框架，是一个在交互通信中的多媒体框架、综合应用标准。国际电信联盟制订的标准有Ｈ．２６１，Ｈ．２６２，Ｈ．２６３，Ｈ，２６４。

与单纯的下载方式相比，对多媒体文件边下载边播放的流式传输方式使启动延时大幅度地缩短，而且对系统缓存容量的需求也大大降低。尽管流式传输对于系统缓存容量的要求大大降低，但仍需要缓冲【外。通过使用缓存系统来弥补延迟和抖动的影响，并保证数据包传输顺序的正确，使媒体数据能连续输出，不会因网络暂时拥堵而使搔放出现停顿。流媒体传输的实现需要合适的传输协议，如实时传输协议ＲＴＰ（Ｒｅａｌ．ＴｉｍｅＴｒａｎｓｆｅｒＰｒｏｔｏｃ０１）１１０］实时传输控制协议ＲＴＣＰ（Ｒｅａｌ．ＴｉｍｅＴｒａｘａｓｆｅｒＣｏｎｔｒｏＩ）１１１Ｊ。在互联网中发展流媒体传输系统对推广互联网的运用有着重要的意义。

实时传输协议／实时传输控制协议ＲＴＰ／ＲＴＣＰ是由Ｉｎｔｅｍｅｔ专家任务组ＩＥＴＦ（ＩｎｔｅｍｅｔＥｘｐｅｒｔＴａｓｋＦｏｌ＇ｃｅ）制定的协议族。该协议族是流媒体的应用层协议，早在１９９６年就成为Ｉｎｔｅｒａｃｔ的国际标准。针对具体应用，ＩＥＴＦ还制定了ＲＴＰ与特定媒体相结合的标准（ＲＦＣ），如ＲＦＣ４１８４（ＲＴＰＰａｙｌｏａｄＦｏｒｍａｔｆｏｒＡＣ－３Ａｕｄｉｏ）ｔ１２１。ＲＦＣ３９８４（ＲＴＰＰａｙｌｏａｄＦｏｒｍａｔｆｏｒＨ－２６４Ｖｉｄｅｏ）ｔ１３１，ＲＦＣ３６４０（ＲＴＰＰａｙｌｏａｄＦｏｒｍａｔｆｏｒＴｒａｎｓｐｏｒｔｏｆＭＰＥＧ．４ＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍｓ）ｔ１町等。ⅣｒＰＰａｙｌｏａｄＦｏｒｍａｔｆｏｒＭＰＥＧ－４Ａｕｄｉｏ／ＶｉｓｕａｌＳｔｒｅａｍｓ的标准为ＲＦＣ３０１６ｔｏ，该协议在ＲＴＰ对ＭＰＥＧ的封装过程中，将ＭＰＥＧ码流特征信息如时间戳、编码层次结构等拷贝到ＲＴＰ包头（ｈｅａｄｅｒ）中，将ＭＰＥＧ－４音视频码流直接映射到ＲＴＰ净荷中，从而使ＲＴＰ分组有很强的ＱｏＳ保证，终端系统可以根据ＲＴＰ包头分析传输中的差错（拥塞、时延、丢包等），再通过一定的缓冲和补偿算法，修复相当程度的网络差错。２

１．２论文研究的主要内容

本文研究的初衷正是在于目前流媒体网络传输的应用得到了越来越广泛的重视，论文对流媒体尤其是视频流的编码方式以及如何在网络环境下传输进行了探讨和研究。在建立该系统的过程中，对多媒体流的网络实时传输机制的各个方面有了比较深刻盼认识和理解，各个应用模块设计的均建立在软件工程面向对象的程序设计思想上，可以在具体的工程项目中使用，并为将来的进一步研究开发打下了坚实的基础。结合实际需求，本文核心研究方向主要集中在以下几个方面：

（１）视频压缩编码技术

由于在网络环境下，网络的传输速率有限，要实现实时的视频数据传输，视频压缩设计是决定系统成功与否的关键。在对各个视频压缩技术进行比较后，选择ＭＰＥＧ－４运动图像压缩编码标准作为本系统的视频压缩技术，并对该标准进行深入细致的研究，在此基础上对运动图像压缩编码中几个关键的技术环节进行了深入的研究。

（２）实时网络传输技术

目前的因特网不能提供任何的Ｑｏｓ保障，所以ＭＰＥＧ－４视频的实时传输面临很多困难。总结起来主要有：带宽限制，延迟和传输数据包的丢失及差错。因此实时传输视频必须跟踪当前网络的可用带宽，调整输出码率，才可能避免网络过度拥塞，有效地利用带宽资源。实时视频传输口６ｊ对延迟有很高的要求，而目前的网络并不能保证这一点，视频数据包的丢失会严重影响视频质量，而在误码率较高的无线网络环境中，视频码流的传输错误也会降低视频质量。通过对传输层协议ＴＣＰ和ＵＤＰ的研究比较分析，采用了基于ＲＴＰ／ＲＴＣＰ的ＵＤＰ协议作为传输层协议，比较好地解决了如何获得网络信息的问题，并能够对网络服务质量进行监控，使发送端和接收端能够动态的调整发送和接收策略，使数据的实时传输更为有效。

（３＞软件平台

系统搭建于ＭｉｅｒｏｓｏｔｔＷｉｎｄｏｗｓ下，采用可视化编程语言ＶｉｓｕａｌＣ．Ｈ６．０开发。整个系统按照面向对象的软件思想，把系统的各个部件分解成各个模块，可以为今后的多媒体软件工程进行进一步的开发。

其它说明：视频采集设备为日本ＫＯＮＩＤＡＫＮ－２０３８摄像头。服务器端计算机配置为ＣＰＵＩｎｔｅｌ１．８Ｇ，内存２５６Ｍ，硬盘８０（２；另外还有几台同等配置的计算机作为客户机。系统目前能够在局域网上顺利进行实时视频流的传输。３

⑧硕士学位论文

ＭＡＳＴＥＲ’ＳＴＨＦ．ＳＩＳ

第二章视频压缩及流媒体技术

２．１视频压缩技术

图像压缩编码技术已经有５０多年的历史。而近１０年来图像编码技术更是得到了迅速的发展和广泛应用。并且日臻成熟，其标志是多个关于图像编码的国际标准的制定Ｉ“】，既国际标准化组织（ｔＳＯ）和国际电工委员会ＧＥＣ）关于静止图像的编码标准ＪＰＥＧ／ＪＰＥＧ２０００，关于运动图像的编码标准ＭＰＥ（３－１，ＭＰＥＧ一２，ＭＰＥＧ－－４等，以及国际电信联盟（ｒｒｕ）下的视频编码专家组制定的视频编码标准Ｈ．２６ｘ系列。

ＭＰＥＧ－１，ＭＰＥＧ－２，Ｈ．２６３，ＭＰＥＧ－－４，Ｈ．２６４等都是目前比较常用的视频压缩技术。ＭＰＥＧ一１是由ＩｓＯ的ＭＰＥＧ组织（运动图像专家组）于１９９２年底审口定并颁布的标准。ＭＰＥＧ－１采用了基于帧间信息压缩编码的技术，在运动图像的压缩上具有较好的效果，该标准是为ｃＤ．ＲｏＭ，光盘的视频存储和藏像而制定的。编码图像的分辨率为Ｓｍ格式（３５２＊２８８），帧率为２４／２５／３０帧／秒，编码后的标准视频码率在１．５Ｍｂｉｔ／ｓ左右。由于该标准制订较早，应用广泛成熟，码率适中，比较适合监控行业的应用。并成为监控行业的主要标准【ｌ－ｑ。

ＭＰＥＧ－２是由ＩＳＯ的ＭＰＥＧ组织于１９９４年制定的视频编码标准。该标准针对高清晰数字电视制订，其基本原理与ＭＰＥＧ－１类似。编码图像的分辨率较高（７２０＊５７６或更高），视频码率为４Ｍｂｉｔ／ｓ一８０Ｍｂｉｔ／ｓ，但编码器成本较高，码率较大。应用不如ＭＰＥＧ－１广泛，ＭＰＥＧ－２标准主要被ＤＶＤ、ＨＤＴＶ、数字电视和卫星电视采纳【１ｓ－２０！。

Ｈ．２６３是由Ⅱｕ组织于１９９６年制定的一种视频会议系统标准。该标准针对远程视频传输应用而制定，因此在低带宽，低码率条件下具有较好的适应性和性能。但是Ｈ．２６３的标准框架较大，在实现上具有不确定性因素。同时，没有产业链的良好支持，在编码硬件上不是很成熟，在国内应用领域不多。为了解决这些问题，ＩｓＯ／ｍＣ和ⅡＵ两大国际化标准组织联手制定了视频新标准Ｈ．２６４。

ＭＰＥＧ于１９９８年底制定了第二阶段解码方案——．ＭＰＥＧ一４，它具有开放的编码系统，可随时扩展丰富的基于内容的编码算法，采用了包括小波变换等多种交换，高压缩率占用更小的存储空间，有更高的清晰度。特别是其对象分离的控制，交互性、重用性更强，基于内容的分级扩展，保证了同时在低高带宽下的最佳画面质量。４

⑨

２．２

（１）硕士擘位论文ＭＡＳＴＥＲ’ＳＴＨＥ￥１５ＭＰＥｆｆ－４视频压缩技术ＭＰＥＧ－４在多媒体传输、多媒体存储等领域具有广泛应用【２ｌ埘ｌ；低比特率下的多媒体通信，如视频电话、视频电子邮件、移动多媒体通信、电子新闻等。这些应用对传输速率要求较低，在４．８～６４ｋｂｉｔ／ｓ之间，分辨率为１７６ｘ１４４。ＭＰＥＧ－４利用很窄的带宽，通过帧重建技术压缩和传输数据，以最少的数据量获得最佳的图像质量。

（２）互联网上的视频流与可视游戏，如网上电影。

（３）数字电视、动态图像、万维网（ｗｗｗ）。

（４）实时多媒体监控。

（５）基于内容存储和检索的多媒体系统。

（６）基于面部表情模拟的虚拟会议。

（７）ＤＶＤ上的交互多媒体应用。

２．２，１ＭＰＥＧ－４视频压缩的优势

在ＭＰＥＧ－４制定之前，ＭＰＥＧ－１，．ＭＰＥＧ－２，Ｈ．２６１，Ｈ．２６３都是采用第一代压缩编码技术，着眼于图像信号的统计特性来设计编码器，属于波形编码的范畴。第一代压缩编码方案把视频序列按时间先后分为一系列帧。每一帧图像又分成宏块以进行运动补偿和编码，这种编码方案存在以下缺陷：

（１）将图像固定地分成相同大小的块，在高压缩比的情况下会出现严重的块

不能对图像内容进行访问、编辑和回放等操作；效应，即马赛克效应；（２）

（３）未充分利用人类视觉系统（ＨＶＳ，ＨｕｍａｎＶｉｓｕａｌＳｙｓｔｅｍ）的特性。

由ＩＳＯ／ＩＥＣ于１９９８年推出并于１９９９年正式成为国际音视频压缩标准的ＭＰＥＧ－４，其压缩方法不再局限于某种算法，可以根据不同的应用进行系统剪裁和选择，还提出了一些新的有创见性的关键技术，充分利用了人眼视觉特性【抛４】，抓住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互功能，这适应了多媒体信息的应用由播放型转向基于内容的访问、检索及操作的发展趋势。

ＩＶＩＰＥＧ－４标准提供了一系歹｛ｊ技术以满足作者、服务提供者和终潺用户酌不同需求，例如：

（１）对于作者，其作品的内容具有更大的可重复使用性，并能更好地保护作５

者的知识产权；

（２）对于网络服务的提供者，提供了透明的信息，该信息可以被转换为每一网络的本她的信息形式，铡如把语言转换为本地的语言；

（３）对于终端用户，在作者的限制范围内有着更高程度的交互性。

较之ＭＰＥＧ的前两个图像压缩标准而言，ＭＰＥＧ－４为多媒体数据压缩提供了一个更为广阔的平台，它更多定义的是一种格式和框架，而不是具体的算法。采用了基于对象（ｏｂｊ．－ｂａｓｅｄ）的编码、基于模型（ｍｏｄｅｌ－ｂａｓｅｄ）的编码等第二代编码技术是ＭＰＥＧ－４标准的主要特征。在ＭＰＥＧ＾４中把连续活动的画面及伴音内整体称之为一个场景（ｓｅｅｒｉｅ）。在场景内部按内容及相关性分割为多个媒体对象（ＭｅＡｉａＯｂｊｅｃｔ）。

因为媒体对象自身并不包含其在场景中的时回与空间信息，因此为了在重建时能准确恢复出原始的场景，在传输媒体对象自身的信息之外，我们还需要传输对象在场景中的时空信息及对象相互之间的关系，这些被称为场景描述信息。基于对象的分级功能是ＭＰＥＧ－４提供的又一个新功能，同时兼容了ＭＰＥＧ－２标准中的图像分级功能，分级工具主要用于互联两和无线网等窄带的视频通信、多质量视频服务和多媒体数据库预览等服务。ＭＰＥＧ－４提供了两种基本的分级工具：时域分级和空域分级，时域分级是降低原视频序列的帧频，空域分级是降低原视频序列的分辨率。在每类分级工具中，视频序列都可以分为两层：基层和增强层，基层提供了视频序列的基本信息，增强层提供了视频序列更高的分辨率和细节，基层可以单独传输和解码。ＭＰＥＧ４也支持时域秘空域的混合分级。

２．２．２ＩＬＯＥＧ－－４的核心思想

相比以前的编码技术，ＭＰＥＧ－４标准还支持一些新的功能，这些功能可以粗略的被划分为三类：基于内容的交互性、高压缩率和灵活多样的存取模式。

（１）基于内容的交互性

基于内容的操作与比特流编辑：支持无需编码就可进行基于内容的操作与比特流编辑。例如，使用者可在图像或比特流中选择一具体的对象（例如匿｝像中的某个人、某个建筑等），然后改变它的某些特性。

自然与合成数据混合编码：提供将自然视频图像同合成数据（如文本、图形等）有效结合的方式，同时支持交互性操作。

增强的时问域随机存取：ＭＰＥＧ－４将提供有效的随机存取方式。在有限的时问闯隔内可按帧或任意形状的对象，对音、视频序列进行随机存取。例如以一序列中的某个音、视频对象为目标进行“快进”搜索。６

（２１高压缩率

提高编码效率。与现有的或正在制定的标准相比，在可比拟速率上，ＭＰＥＧ－４标准将提供更好的主观视觉质量的图像。这一功麓可望在迅速发展的移动通信网中获得应用，但值得注意的是提高编码效率不是ＭＰＥＧ－４的唯一的主要目标。

对多个并发数据流的编码：ＭＰＥＧ－４提供对同一景物的有效多视角编码，加上多伴音声道编码及有效的视听同步。在立体视频应用方面，ＭＰＥＧ－４将利用对同一景物的多视点观察所造成的信息冗余，这～功能在足够的观察视点条件下，将有效地描述三维自然景物。

（３）灵活多样的存取

错误易发环境中的抗错性：“灵活多样”是指允许采用各种有线、无线网和各种存储媒体，在这些媒体中ＭＰＥＧ－４具有更高的抗错误能力，尤其是在易发生严重错误的环境下的低比特应用中。同时，ＭＰＥＧ－４是第一个在其音视频表示规范中考虑信道特性的标准，其目的不是取代己有通信网提供的错误控制技术，而是提供一种对抗残留错误的坚韧性。倒如：选择前向纠错（ＳｅｌｅｃｔｉｖｅＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ）、错误遏常Ｉ／（ＥｒｒｏｒＣｏｎｔａｉｎｍｅｎｔ），或错误掩盖（ＥｒｒｏｒＣｏｎｃｅａｌｍｅｎｔ）。

基于内容的尺度可变性：内容尺度可变性意味着给图像中的各个对象分配优先级。其中，比较重要的对象用较高的空间或时间分辨率表示。基于内容的尺度可变性是ＭＰＥＧ－４的核心，因为一旦图像中所含对象的目录及相应的优先级确定后，其他的基于内容的功能就比较容易实现了。对于甚低比特率应用来说，尺度可变性是一个关键的因素，因为它提供了自适应可用资源的能力。例如，这个功能允许使用者规定：对具有最高优先级的对象以可接收的质量显示，第二优先级的对象则以较低的质量显示，而其余内容（对象）则不予显示。可见，这种方式可最有效地利用有限的资源。

ＭＰＥＧ－４的编码还具有鲁棒性和纠错功能，提供在易错环境下实现安全的低码速率编码和传输。它采用３个策略来达到此目的：再同步（ｒｅｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）、数据恢复（ｄａｔａｒｅｃｏｖｅｒｙ）、错误隐藏（ｅｒｒｏｒｃｏｎｃｅａｌｍｅｎｔ）。再同步工具在检测到误码时重新在解码器和码流间建立同步点，前一个同步点和新建立的同步点间的码流就是发生误码的数据；数据恢复是通过标准中提供的一种可逆变长编码技术来恢复两个同步点之间的数据：错误隐藏通过空间的纹理相关性和视频前后帧的相关性对错误的图像区域进行隐藏。

从上面的分析我们可以看到，与前面的ＭＰＥＧ标准相比较，ＭＰＥＧ－４标准非常适合在现代网络通信中应用。７

２．２．３咿ＥＧ－４标准的构成

ＭＰＥＧ－４标准主要由如下６个部分构成

（Ｉ）多媒体传送整体框架（ＤＭＩＦ，ＴｈｅＤｅｌｉｖｅｒｙＭｕｌｔｉｍｅｄｉａＩｎｔｅｇｒａｔｉｏｎＦｒａｍｅｗｏｒｋ）［ｚＳｌ

它主要解决交互网络中、广播环境下以及磁盘应用中多媒体应用的操作问题。通过传输多路合成比特信息来建立客户端和服务器端的握手和传输。ＭＰＥＧ－４的应用可以从ＤＭＩＦ请求而建立具有特定服务质量（ＱｏＳ）的频道，以及用于每个基本数据流的带宽。

（２）数据平面

ＭＰＥＧ－４中的数据平面可以分为两部分：传输关系部分和媒体关系部分。为了使基本流和音视频对象（ＡＶＯ）在同一场景中出现，ＭＰＥＧ－４引用了对象描述符（ＯＤｌ和流图表（ＳＭＴ）的概念。０Ｄ传输与某个ＡＶＯ相关的基本数据流的数目和特性的信息。ＳＭＴ把每个数据流链接到一个信道联系标记上，用于管理携带此数据流的信道，以实现该数据流的顺利传输。

（３）缓冲区管理和实时识别

ＭＰＥＧ－４定义了一个系统解码模式（ＳＤＭ）。该解码模式描述了一种理想的处理比特流语法和语义的解码装置。它没有对设施的各种细节作不必要盼各种假定，目的是使实施者可以自由地以各种方式设计各种ＭＰＥＧ－４终端和解码设备。通过有效地管理，可以更好地利用有限的缓冲区空间。

（４）音频编码

ＭＰＥＧ－４不仅对自然声音的编码标准化，而且支持语音合成和音乐合成。（５）视频编码

与音频编码类似，ＭＰＥＧ－４也支持对自然和合成的视觉对象的编码。合成的视觉对象包括２Ｄ、３Ｄ动画和人面部表情动画等。

（６）场景描述

ＭＰＥＧ－４提供了一系列工具，用于组成场景中的一组对象。一些必要的合成信息就组成了场景描述，这些场景描述以二进制格式ＢＩＦＳ（ＢｉｎａｆｙＦｏｒｍａｔｆｏｒＳｃｅｎｄｅｓｃｒｉｐｔｉｏｎ）表示，ＢＩＦＳ与ＡＶ对象一同传输、编码。场景描述主要用于描述各ＡＶ对象在一具体ＡＶ场景坐标下，如何组织与同步等问题。同时还有Ａｖ对象与ＡＶ场景的知识产权保护等问题。ＭＰＥＧ－４为我们提供了丰富的ＡＶ场景。８

⑧硕士学位论文

ＭＡＳＴＥＲ’ＳＴＨＥＳＩＳ

２．２．４咿ＥＧ－４分层描述语法结构

ＭＰＥＧ－４标准中引入了视频对象ｆｖＯ，ｖｉｓｕａｌｏｈｊｅｔ０的概念来实现基于内容的表示。在这一概念中，根据入眼感兴趣的一些特征，如形状、纹理、运动等，将图像序列中每一帧中的场景，看成是不同视频对象面（ｖＯＰ）所组成。ＶＯ可以是视频序列中的人物或具体景物。ＭＰＥＧ－４视频码流提供了对视频场景的分层描述。层次结构中的每一层都可以通过被称为起始码的特殊码字从视频流中识别出来。对场景最直接的分层描述如图２．１所示（这里主要考虑自然视频对象的编码问题）。

视频序列●＿…‘一＿一ＶＳｌ…

（１）视频序列（ＶＳ）：完整的ＭＰＥＧ－４场景，可以包括任何二维和三维自然或合成对象以及它们的增强层。

（２）视频对象（ｖＯ）：一个视频对象对应着场景中的一个特定２－Ｄ对象。在大多数情况下视频对象都是一个矩形帧，当然也可以是任意形状的对象或是场景中的背景【２睨ｇ】。

（３）视频对象层ＷＯＥ）：根据应用的具体要求，每一个视频对象都可以用分级或不分级的方式进行编码，用视频对象层来表征。视频层提供了对分级编码的支持。一个视频对象可利用空间或时间可伸缩性进行编码使分辨率从粗糙到精确。

（４）视频对象平面组（Ｇｏｖ）：可以提供码流中独立编码的视频对象平面参考点，因此可以支持对码流的随机访问点，是任选的。

（５）视频对象面ＷＯｅ）：一个ＶＯＰ是对一个视频对象的时间采样，包括视频对象的运动参数、形状信息和纹理数据。ＶＯＰ可以是相互独立编码，也可以是通过运动补偿依靠其它ＶＯＰ编码。对ＶＯＰ编码就是针对某一时刻该帧画面ＶＯ的形状、运动、纹理等信息进行编码。９

２．２．５ＩＩＰＥ６－－４基于ＶＯＰ的视频编码

在基于对象的视频编码中，编码的基本单元是对象，主要针对纹理、形状、运动这三种信息的编码技术。视频编码框架中主要包括三个关键模块，如图２．２，即纹理、形状和运动信息编码模块。

图２．２ＭＰＥＧ－４视频编码基本结构

（１）形状编码

ＭＰＥＧ－４引入了形状信息编码，尽管形状编码在计算机图形学、计算机视觉和图像压缩领域不是什么新技术，但将其纳入完整的视频编码标准内，这还是第一次。ＶＯ的形状信息有两类；二值形状信息和灰度形状信息。二值形状信息用Ｏ。ｌ来表示ＶＯＰ的形状，０表示非ＶＯＰ区域，１表示ＶＯＰ区域。二值形状信息编码采用基于运动补偿块技术，可以是无损或有损编码。灰度形状信息用０－２５５之间的数值来表示ＶＯＰ的透明度，其中０表示完全透明（相当于二值形状信息中的ｏ），２５５表示完全不透明（相当于二值形状信息中的１）。灰度形状信息的编码采用基于块的运动补偿ＤＣＴ方法（同纹理编码相似），属于有损编码。目前标准中采用矩阵的形式来表示二值或灰度形状信息。

（２）运动信息编码

类似于现有的视频编码标准，ＭＰＥＧ－４采用运动预测和运动补偿技术去除图像信息中的时间冗余度，而这些运动信息的编码技术可视为现有标准向任意形状的ＶＯＰ延伸。ＶＯＰ编码有３种模式，即帧ｇｑ（Ｉｎｆｒａ－ｆｒａｍｅ）编码模式（Ｉ－ＶＯＰ），帧闻（Ｉｎｔｅｒ－ｆｒａｍｅ）预测编码模式（Ｐ－ＶＯＰ）和帧间双向预测圆ｉｄｉｒｅｃｔｉｏｎａｌｙ）编码模式（Ｂ－ＶＯＰ）?

在ＭＰＥＧ－４中运动估计和运动补偿可以是基于１６Ｘ１６象素宏块，或是８Ｘ８象ｌＯ

素块。为了能适应任意形状的ＶＯＰ，ＭＰＥＧ－４引入了图像填充（ＩｍａｇｅＰａｄｄｉｎｇ）技术和多边形匹配（ＰｏｌｙｇｏｎＭａｔｃｈｉｎｇ）技术。图像填充技术利用ＶＯＰ内部的象素值来外推ＶＯＰ外的象素值，以此获得运动估计的参考值。多边形匹配技术则将ＶＯＰ的轮廓宏块的活跃部分包含在多边形之内，以此来增加运动估计的有效性，

（３）纹理编码

纹理编码的对象可以是帧内编码模式Ｉ－ＶＯＰ，也可以是帧间编模式Ｂ－ＶＯＰ或Ｐ－ＶＯＰ。编码方法基本上仍采用基于８×８象素块的ＤＣＴ方法。在帧内编码模式中，对于完全位于ＶＯＰ内的象素块，财采用经典的ＤＣＴ方法：对于部分在ＶＯＰ内，部分在ＶＯＰ外的象素块则首先采用图像填充技术来获取ＶＯＰ之外的象素值，之后再进行ＤＣＴ编码。帧内编码模式中还将对ＤＣＴ变换的ＤＣ及ＡＣ系数进行有效的预测。在帧间编码模式中，为了对Ｂ－ＶＯＰ和Ｐ．ＶＯＰ运动补偿后的预测误差进行编码，可将那些位于ＶＯＰ活跃区域之外的象素值设为１２８。变换之后的ＤＣＴ系数还需经过量化、扫描及变长编码，这与现有标准基本相同。

（４）分级编码

在远程多媒体数据库检索及视频内容重放等应用中，引入分级编码可使得接收机可依据具体的信道带宽、系统处理能力、显示能力及用户需求进行多分辨率的解码及重放。ＭＰＥＧ－－４通过视频对象层ＶＯＬ的数据结构来实现分级编码。每一种分级编码都至少有两层ＶＯＬ，低层称为基本层，高层称为增强层。空间伸缩性可通过增强层强化基本层的空间分辨率来实现，因此，在对增强层中的ＶＯＰ进行编码之前，必须先对基本层中相应的ＶＯＰ进行编码。同样对于时域伸缩性，可通过增强层来增加视频序列中某个ＶＯＰ特别是运动的ＶＯＰ的帧率，使其与其余区域相比更为平滑。

可见，纹理编码、运动预测和运动补偿部分在原理上同现有标准是一致的。值得注意的是形状编码，它是图像编码标准中第一次引入的技术。为了支持基于内容的功能，编码器可对图像序列中具有任意形状的ＶＯＰ进行编码。尽管如此，从编码方案上说，ＭＰＥＧ－４仍然是以子块为基础的混合编码。因为ＭＰＥＧ－４的编码机制都是基于１６Ｘ１６象素宏块来设计的，不仅可以与现有的标准兼容，还便于对编码进行更好的扩展。标准的矩形帧可以认为是ＶＯＰ的特例，在编码过程中其形状编码模块可以被屏蔽。

２．２．６ＭＰＦ６－４的系统体系结构ＭＰＥＧ－４系统流指定了根据编码的视听信息和相关的场景描述信息来产生交互

方式的方法。这样的实体称为“视听终端”，它能复合发送并能接收和显示经过编码表示的一个交互的视听场景。系统的终端模型是对满足ＭＰＥＧ－４标准的终端行为的描述，是一种解码器模型，包括系统定时模型和系统缓冲区模型。

ＭＰＥＧ－４码流中的基本码流包括音频、视频和场景描述的编码表示。系统流和基本流表示用于识别码流、描述逻辑相关性和内容描述的信息，每种基本码流都只包含一种数据类型。基本码流将用各自的解码器进行解码，视听对象根据场景描述信息复合并由终端设备显示出来，这些过程都是根据系统解码模型中同步层所提供的同步信息同步的。ＭＰＥＧ－４系结构如图２．３。

传输层

传输，存储媒体

图２．３ＭＰＥＧ－４体系结构图

系统终端模型是对满足ＭＰＥＧ－４标准的终端行为的抽象描述，是一种解码器模型。定义该模型的目的是使发送端能够知道接收端在重构视听场景时是如何根据缓冲区管理和同步信息进行处理的。

传输层是对已经存在的各种传输协议的一般描述，ＭＰＥＧ－４系统没有定义传输层的功能，而是定义了和传输层有关的接口，这个接口就是传输媒体集成框架

⑨硕士掌位论文

ＭＡＳＴＥＲ＋ＳＴＨＥＳＩＳ

（ＤＭＩＦ）应用接口。ＤＭＩＦ应用接口不仅仅定义了传输接口，而且定义了信道建立和断开的信号。

各种数据源经过压缩碍到的数据主要是基本码流数据，它们包含内容信息，同步层将这些数据和同步信息封装成同步数据包流，再将它们送到传输层（ＤＭＩＦ），这些数据中不仅包含有定时和同步数据，而且还有随机访问信息。另一方面同步层从传输层接收数据流，从流中提取同步数据，为以后同步解码和基本流解码的合成做准备。

压缩层接收从同步层传来的压缩数据，并完成解码操作，这些解码后的信息用于终端的视听对象的合成及显示等。压缩层包括对象描述框架、场景描述码流、视听码流以及上载码流等对象。

２．３流媒体技术

在流格式媒体出现之前，人们若想从网络上双看影片或收听音乐，必须先将影音档案下载至计算机储存后，才可以点选播放，不但浪费下载时间、硬盘空间，也无法满足消费者使用方便及确切的需要。流媒体（ＳｔｒｅａｍｉｎｇＭｅｄｉａ）的发展，克服了这些不足。

流媒体简单来说就是应用流技术在网络上传输的多媒体文件（音频、视频、动画或者其他多媒体文件），而流技术就是在网络上发布多媒体数据流，把连续的影象和声音信息经过压缩处理后放上网站服务器，让用户一边下载一边观看、收听，而不需要等整个压缩文件下载到自己机器后才可以观看的网络传输技术。该技术先在使用者端的电脑上创造一个缓冲区，于播放前预先下载一段资料作为缓冲，如果网路实际连线速度小于播放所耗用资料的速度时，播放程序就会取用这一小段缓冲区内的资料，避免播放的中断，也使得播放品质得以维持【９１。

流媒体作为多媒体和网络领域的交叉学科，其技术可广泛用于实时监控、网上新闻发布、在线直播、网络广告、远程教育、视频会议等。目前应用最直接的是网上直播。作为新一代互联网的标志，宽带流媒体彻底改变了传统互联网只能表现文字和图片的缺陷，可集音频、视频及图文于一体。流媒体将成为未来互联网应用的主流，并将推动互联网整体架构的革新。

Ｉｎｔｅｒａｃｔ发展至今，新技术、新应用层出不穷，如流媒体技术所提供的播放功能、交互性能和缓冲区功能，以及其在传输声像文件时表现出的“占用硬盘小、速度快、高保真”等性能，使得网上收听广播、收看实时电视广播进入实用阶段。流媒体服１３

⑨

达。硕士擘位论文ＭＡ￥ＴＥＲ’ＳＴＨＥＳＩ￥务系统在强调对数据对象的共享使用和追求最大化的数据吞吐率的同时，更强调对高速、稳定和连续的访问流支持，强调对同步的支持，从而确保媒体数据的按时到

２．３．１流式传输基础

目前在网络上传输音视频等多媒体信息主要有两种方案：下载和流式传输，由于网络带宽的限制、音视频文件所需的存储容量大，采用下载方式需要的时间很长。流式传输则把声音、影像或动画等到信息由音视频服务器向用户计算机连续、实时传送，用户不必等到整个文件全部下载完毕，而只需经过几秒的启动延时即可进行播放，当音频、视频等媒体文件在客户机上播放时，文件的剩余部分将在后台从服务器内继续下载。流式传输不仅使启动延时成十倍、百倍地缩短，而且不需要太大的缓存容量。

流式媒体在播放前并不下载整个文件，只将开始部分内容存入内存，流式媒体的数据流随时传送随时播放，只是在开始时有一些延迟。流媒体实现的关键技术就是流式传输。实现流式传输有两种方法：顺序流式传输（Ｐｒｏｇｒｅｓｓｉｖｅｓｔｒｅａｍｉｎｇ）和实时流式传输（Ｒｅａｌｔｉｍｅｓｔｒｅａｍｉｎｇ）【２９】。

（１）顺序流式传输

顺序流式传输是顺序下载，在下载文件的同时用户可观看在线媒体，在给定时刻，用户只能观看已下载的那部分，而不能跳至４还未下载的前头部分，顺序流式传输不象实时流式传输在传输期间根据用户连接的速度做调整。由于标准的ＨｒｒＰ服务器可发送这种形式的文件，也不需要其他特殊协议，它经常被称作ＨＴＴＰ流式传输。顺序流式传输比较适合高质量的短片段，如片头、片尾和广告，由于该文件在播放前观看的部分是无损下载的，这种方法保证电影播放的最终质量。这意味着用户在观看前，必须经历延迟，对较慢的连接尤其如此。

对通过调制解调器发布短片段，顺序流式传输显得很实用，它允许用比调制解调器更高的数据速率创建视频片段。尽管有延迟，毕竟可以发布较高质量的视频片段。顺序流式文件是放在标准ＨＴＴＰ或ＦＴＰ服务器上，易于管理，基本上与防火墙无关。

顺序流式传输不适合长片段和有随机访问要求的视频，如：讲座、演说与演示。它也不支持现场广播，严格说来，它是一种点播技术。

（２）实时流式传输

实时流式传输是指保证媒体信号带宽与网络连接匹配，使媒体可被实时观看到。１４

⑨硕士学位论文

ＭＡＳＴＥＲ’ＳＴＨＥＳｌＳ

它需要用到专用的流媒体服务器与传输协议。实时流式传输总是实时传送，特别适合现场事件，也支持随机访问，用户可快进或后退以观看前面或后面的内容。理论上，实时流一经播放就可不停止，但实际上，可能发生局期暂停。

２．３．２流媒体技术原理

流式传输的实现需要缓存。因为Ｉｎｔｅｍｅｔ以包传输为基础进行断续的异步传输，对于实时音视频源或存储的音视频文件，在传输中它们要被分解为许多包，由于网络是动态变化的，各个包选择的路由可能不尽相同，故到达客户端的时间延迟就不等，甚至先发的数据包还有可能后到。为此，使用缓存系统来弥补延迟和抖动的影响，并保证数据包的顺序正确，从而使媒体数据能连续输出，而不会因为网络暂时拥塞使播放出现停顿。通常高速缓存所需容量并不大，因为高速缓存使用环形链表结构来存储数据：通过丢弃经播放的内容，流可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容。流式传输的实现需要合适的传输协议。一般来讲，由于ＴＣＰ是面向连接的传输协议，不适合大量的数据传输，故流式传输方案可采用ＲＴＰ来传输实时媒体数据，而用ＲＴＣＰ来传输控制信息【刈。

２．３．３流媒体播放方式

（１）单播

在客户端与媒体服务器之间需要建立一个单独的数据通道，从一台服务器送出的每个数据包只能传送给一个客户机，这种传送方式称为单播。每个用户必须分别对媒体服务器发送单独的查询，而媒体服务器必须向每个用户发送所申请的数据包拷贝。这种巨大冗余首先造成服务器沉重的负担，响应需要很长时间，甚至停止播放：需要大量的硬件空间和带宽来保证一定的服务质量。

（２）点播与广播

点播连接是客户端与服务器之间的主动的连接。在点播连接中，用户通过选择内容项目来初始化客户端连接。用户可以开始、停止、后退、快进或暂停流。点播连接提供了对流的最大控制，但这种方式由于每个客户端各自连接服务器，却会迅速用完网络带宽。广播指的是用户被动接收流。在广播过程中，客户端接收流，但不能控制流。例如，用户不能暂停、快进或后退该流。广播方式中数据包的单独一个拷贝将发送给网络上的所有用户。使用单播发送时，需要将数据包复制多个拷贝，以多个点对点的方式分别发送到需要它的那些用户，而使用广播方式发送，数据包的单独一个拷贝将发送给网络上的所有用户，而不管用户是否需要，上述两种传输方式会非常浪费网络带宽。

⑧硕士肇位论文

ＭＡＳＴＥＲ’ＳＴＨＥＳＩＳ

（３）组播

Ｐ组播１３１】技术构建一种具有组播能力的网络，允许路由器一次将数据包复制到多个通道上。采用组播方式，单台服务器能够对足十万台客户机同时发送连续数据流而无延时。媒体服务器只需要发送一个信息包，而不是多个；所有发出请求的客户端共享同一信息包。信息可以发送到任意地址的客户机，减少网络上传输的信息包的总量。网络利用效率大大提高，成本大为下降。

对比上面三种方式，组播吸收了上述两种发送方式的长处，克服了上述两种发送方式的弱点，将数据包的单独一个拷贝发送给需要的那些客户。组播不会复制数据包的多个拷贝传输到网络上，也不会将数据包发送给不需要它的那些客户，保证了网络上多媒体应用占用网络的最小带宽。

２．３。４流媒体广泛应用

流媒体技术改变了传统互联网的呆板形象，丰富了互联网的功能，使之成为一种有强大而有吸引力的薪媒体。这种技术在多媒体新闻发布、网络视频广告、电子商务、视频监控、视频点播、ＩＰＴＶ、网上直播、网络电台、视频会议、远程教学、远程医疗等领域得到广泛的应用１３２１。对于广电行业而言，流媒体更是拥有巨大潜力的新发展方向。流媒体不但可以播放广电媒体的所以节目内容，还可以提供更具有吸引力的多媒体内容点播、游戏等个性化的互动服务。流媒体领域涉及很多待解决的科学技术问题，其背后是数字电视、无线通信和宽带网络多媒体的广阔市场和巨大经济利益。１６

⑨硕士学位论文

＾ｌＡＳＴＥＲ’ＳＴＨＥＳＩＳ

第三章网络传输协议

３．１传输层协议

流媒体的实时传输系统要在互连网络上能够互联互通必须采用标准的ＴＣＰ／ＩＰ协议【”】，整个系统应该构建在基于ＴＣＰ／ＩＰ协议栈的基础之上。口协议是一个点对点的提供无连接数据包传输机制的协议，但是，Ｐ协议对数据报文采用“尽力传递”，它不能处理数据报的丢失，延迟，乱序等问题，必须借助于传输层协议来解决［３４１。

ＴＣＰ协议使用确认和重传机制实现了可靠的数据报传输服务，ＴＣＰ是一种端对端的，面向连接的协议，提供了一种可靠的传输服务。在ＴＣＰ建立一个连接后，ＴＣＰ协议确保数据报按顺序传递而不重复，最后终止连接。在应用程序中通过套接字（ＳＯＣＫＥＴ）来使用ＴＣＰ协议进行数据传输。用户数据报协议ＵＤＰ和ＴＣＰ一样也是建立在口协议之上，但是和口协议一样，Ｕ】）Ｐ提供无连接的数据报传输机制，但是相对于Ｐ协议来说，ＵＤＰ唯一增加的能力就是复用机制，以保证进程之间通信。ＵＤＰ协议几乎直接建立在ｍ协议之上，不提供可靠的数据报传输服务，因此有可能利用它来进行实时的数据传输服务，适合要求实时性很高的数据传输，例如音频，视频等。

ＴＣＰ协议最初是为了鼹决口数据报只提供“尽力而为”的数据传送不对数据进行检查和纠错，经常发生数据丢失或乱序现象而采取的一种保证措施。它主要采用了重传机制和拥塞控制机制来保证数据得到可靠的传输，但是正是因为它的这些特性限制了ＴＣＰ协议对于实时数据的传输。ＴＣＰ的重传机制使发送方发现有数据丢失时，它将重传丢失的数据包，这将要需要一个甚至更多的周期，这种重传对于实时性要求很高的多媒体数据传输来说是灾难性的，因为接收方不得不等待重传数据的到来，从而造成了数据回放的延迟和断点。

即使是在网络状况运行良好的情况下，没有发生丢包，由于ＴＣＰ的启动需要建立连接，因此在初始化的工作中，需要较多的时间，这样就增加了传输的延迟。由此可见，ＴＣＰ协议是不适合进行多媒体信息传输的，目前大多数系统采用用户数据报协议ＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃ０１）来进行多媒体流网络实时传输取得了比较好的效果，这是根据实时多媒体流自身的特点所决定的。不同的通信业务对传输网络的要求是不同的，数据文件，静止图像等非实时信息传输，对时延无严格要求，但是对误码率要求很高。而语音和视频业务则要求实时传输，对时延十分敏感，但可１７

⑧硕士擎住论文

ＭＡＳＴＥＲ’ＳＴＨＥＳＩ￥

以容忍一定程度的误码，只要在不影响人的视觉感受的情况下，甚至在网络状况恶劣的情况下可以容许传输方进行丢弃图像帧的情况下来满足实时性。所以如果使用ＵＤＰ协议来传输实时数据，不对数据报进行校验，重组，可以使传输延迟时阀大大减小，虽然会出现乱序现象，但是可以通过一些处理（最简单的处理就是丢帧），比如在接收端可以利用图像信息具有相关性的特点通过接收到的一些数据将原来的信息全部或部分恢复的方法来使信息的获取不受影响，使解码回放的质量得以保障。

然而ＵＤＰ协议毕竟是一个不可靠的传输层协议，它缺乏流量控制和足够的差错控制能力使程序有可能出现问题，比如不使用流量控制，接收端如果接收的报文过多的话有可能出现溢出。所以，ＵＤＰ协议可靠性问题，需要由应用层协议提供相应的差错控制机制给予解决。

现有基于ｍ协议的互联网难以有效支持实时应用，对于实时传输、服务质量ＱｏＳ等问题难以解决。因此，在这种情况下，ｍＴＦ音视频工作小组（ＩＥＴＦ—ＡＣＴ）制订了一些新的协议，实时传输协议ＲＴＰ（Ｒｅａｌ—ＴｉｍｅＰｒｏｔｏｃ０１）［∞ｊ和实时传输控制协议ＲＴＣＰ（Ｒｃａｌ．Ｔｉｍｅ

３ＣｏｎｔｒｏｌＰｒｏｔｏｃ０１）…ｊ便是其中之一。２实时传输协议

ＲＴＰ由ＩＥＴＦ的ＡＶＴ工作组于１９９６年公布为ＲＦＣ正式文档，编号为ＲＦＣｌ８８９。是专门为交互式语音、视频等实时数据而设计的传输协议，用于ｖｏ口、视频传输等实时多媒体应用。ＲＴＰ协议与ＴＣＰ协议十分相似，只是当差错造成分组丢失时，不要求重发，同时ＲＴＰ规范中还定义了实时传输控制协议ＲＴＣＰ，用于提供ＱｏＳ监视机制。ＲＴＰ协议位于传输层之上，它没有连接的概念，虽然它既可以建立在面向连接的协议上，也可以建立在面向无连接的协议上，但是一般来说，ＲＴＰ作为实时数据传输而设计的，而建立在ＵＤＰ协议之上，Ｒ１■刚陀Ｐ，ＵＤＰ协议一起用于视频音频流的实时传输闻。ＲＴＰ用于ＵＤＰ数据封装时的情景如图３．１所示。１８

Ｉ数据（净荷类型）ｊｂ＆ａ。。』《＆ｔ２＝§￡。ｇ＿＿２；。剜

厨丽蟊那磊罱溺

盛盏＆＆址ｇｄ＿盔≈ｉ蛐。２《２－ｏ。ｏ止丘＆￡ｏ出。＆盆ｍ山划

图３．１Ｒ口数据封装

ＲＴＰ协议对于实时多媒体数据的传输的特点有如下：

两头｝数菇（净蘅类型＞驾睦ｔｏ＿ｋ＿‘‘‘三‘．＆ｔ＝ｔｉｔ＆∞—２＆＿４＿ｔ趔

睦盏墅噔：ｌ。翌噔色苎：堡登磬耋

１．ＲＴＰ是一种轻型的传输协议，其提供端到端的实时媒体传输功能，但并不提供机制来确保实时传输和服务质量。协议本身相对轻型、快捷，常常与具体应用结

合在一起。

２．灵活性：ＲＴＰ协议将数据实时传输与控制策略分开。协议本身只提供实时传输机制，不具体规定控制策略。开发者可以根据不同的应用环境，选择实现效率较

高的算法及控制策略。

３．独立性：ＲＴＰ协议与下层协议无关，可以在ＵＤＰ／ＩＰ、ＩＰＸ、ＡＴＭ的ＡＡＬ层上实现。

４．良好的扩展性：不仅支持单播，还支持组播。

ＲＴＰ数据分组由固定的ＲＴＰ数据头，一个可能空的作用资源表和净荷数据

（ｐａｙｌｏａｄ，如实时的音频或视频压缩编码后的数据）组成，如图３．２

静１

２Ｐ

３Ｘ

４５６７。８ＣＣ

９０

Ｉ

２３４

５｛６

７８

９疗‘ｔ～２§４

５６７ｇ９０董

！

抛

。

ＭＰＴ（狰荷类型）

序剜号

时矧黢

同步源（ｓｓＲｃ）标识符

，

、

《

ｉ

；

等

ｌ

一

≤

≥

遗

≯

，

贡献源（ＣＳＲＣ）

。

”

ｉ”。

‘

～

．

≤

§

《４

ｉ

￡“

。≤

ｌ

，

；

；

’Ⅺ悖分组净荷（ｐａｙｔｏａｄ）

，

《

鬟

￡，：？？：ｍ‰｛～ｔ？…ｊ；

图３．２

…，：ｏ。。。．；｛一ｊ？捌

ＲＴＰ分组的数据格式

１９

⑨

ＲＩＰ分组；硕士学位论文ＭＡＳＴＥＲ’ＳＴＨＥＳＩＳ在ＲＴＰ数据头中，前五项９位数据分别表示：Ｖ，ＲＴＰ版本号，２位：Ｐ，填充标识。ｌ位，置“１”表示用户数据最后有填充位，用户数据中最后一个字节是填充位计数，它表示一共加了多少个填充位。在两种情况下可能要填充，一是某些加密算法要求数据块大小固定；二是在一个低层协议数据包中装载多个

ｘ，扩展位标识，１位，置“ｌ”表示ＲＴＰ报头后紧随一个扩展报头；

ＣＣ，ＣＳＲＣ计数，４位，表示在定长的ＲＴＰ报头后的ＣＳＲＣ标识符的数量：Ｍ，标记，１位，置。１”对于视频标识表示最后一帧；对于音频表示谈话开始。接下来，提供了分组内数据类型的标志（ＰａｙｌｏａｄＴｙｐｅ，ＰＴ）７位，用以说明多媒体信息所采用的编码方式：在多媒体数据头部加上时间戳（ＴｉｍｅＳｔａｍｐ），依靠时间戳可使用在接收端的数据包的定时关系得以恢复，从而降低了网络引起的延时和抖动；根据序列号（ＳｅｑｕｅｎｃｅＮｕｍｂｅｒ）可以在接收端进行正确排序和定位，以及统计分组丢失率。

在ＲＴＰ分组格式中，与实时传输密切相关的字段是：序列号（ＳｅｑｕｅｎｃｅＮｕｍｂｅｒ）、时间戳和同步源标识（ＳｙｎｃｌｌｒｏｍｚａｔｉｏｎＳｏｕｒｅｅ（ＳＳＲＣ）Ｉｄｅｎｔｉｆｉ砷。

序列号是一个１６位的序列空间，其初始值随机产生。在发送数据时，每个ＲＴＰ数据将前一个分组的序列号加１作为自己的序列号。接收方通过检测收到的分组序列号，进行数据分组序列的重建和定位。

时同戳为３２位，是ＲＴＰ数据分组第一个字节的采样瞬间。这个采样时间是从一个时间单调增长的时钟获得，以便于同步和抖动计算。可以通过时间戳来提供合适传送实时信息和不同媒体之间的同步的控制机制。

同步源（ＳＳＲＣ）：３２位，是ＲＴＰ分组码流的源，由一个３２位的ＳＳＲＣ数字标识符来识别的，该标识符由ＲＴＰ头所携带。ＳＳＲＣ域用以识别同步源，标识符被随机生成，以使在同一个ＲＴＰ会话期中没有任何两个同步源有相同的ＳＳＲＣ识别符。来自一个同步源的所有的分组构成了部分相同的定时和顺序空间，在接收端用它来区分不同的源。

贡献源（ＣＳＲＣ）：０劭１５项，每项３２位，对一个ＲＴＰ混合器（Ｍｉｘｅｒ）产生的组合流有贡献的ＲＴＰ分组源。ＣＳＲＣ列表识别在此包中负载的有贡献源，识别符的数目在Ｃｃ域中给定。若有贡献源多于１５个，仅识别１５个。

ＲＴＰ协议本身不能为按顺序传送数据分组提供可靠的传送机制，也不提供流量控制或拥塞控制，但是，ＲＴＰ协议包含两个紧密相连的部分，即负责多媒体数据实时传送的ＲＴＰ，和负责反馈控制，提供ＱｏＳ检测和传递相关信息的实时传输控制协议ＲＴＣＰ。２０

硕士学位论文

ＭＡＳＴ￡Ｒ’ＳＴＨＥＳＩＳ

３．３实时传输控制协议

当应用程序开始一个ＲＴＰ会话时将使用两个端口：一个绘ＲＴＰ，一个绘ＲＴＣＰ。在会话期问，各参与者周期性地传送ＲＴＣＰ分组。ＲＴＣＰ分组中含有已发送的数据包的数量，丢失的数据包的数量等统计资料，因此，服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型。ＲＴＰ和ＲＴＣＰ配合使用，它们能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时数据。３．３．１ＲＴｃＰ盼功能

ＲＴＣＰ协议的基本思想是采用和数据分组同样的分发机制向ＲＴＰ会话中的所有参与者周期性地传送控制分组，从而提供数据传送ＱｏＳ的检测手段，并获知参与者的身份信息。ＲＴＣＰ主要实现以下功能：

（１）向应用程序提供数据发布质量的反馈

这是ＲＴＣＰ最基本的功能。ＲＴＣＰ包提供监控ＱｏＳ所必须的信息，这些参数包括包丢失率、抖动、延迟、接收到的最大顺序号等。ＱｏＳ监视和网络阻塞控制，这个控制信息无论对发送端、接收端，还是第三方监视都很有用。发送端可以根据接收端反馈的信息调整数据的发送，而接收端可以得到网络阻塞的情况。

（２）提供永久标识

ＲＴＣＰ为每一个ＲＴＰ资源传送ＲＴＰ源传输层永久标识，即ＣＮＡＭＥ。接收方可根据它来跟踪每个与会成员，还可以用它来关联同意与会者由一种ＲＴＰ会话发出的多个相关的数据流。除了提供ＲＴＰ时间戳还包含绝对时间ＮＴＰ戳，接收者可以据此实现多种媒体同步。

（３）确定发送速率

Ｉ玎ＣＰ数据包在多个会话参与者之间周期性的发送，当参与者数量增加的时候，我们需要在缛至４最新的控靠４信息和限制控制通信之间调节。为了放大多点传送成员数，ＲＴＣＰ必须防止调节通信量占用全部的网络资源。ＲＴＰ限制调节通信量最多能达到整体会话通信的５％，而ＲＴＣＰ可根据可用带宽和应用规模确定其发送速率。

（４）传送尽可能少的控制信息

３．３．２ＲＴｃＰ数据包

在一个ＲＴＰ会话中，参与者均可以周期性的相互发送ＲＴＣＰ数据包，从而得到数据传送质量的反馈以及对方的状态信息。ＲＴＣＰ数据包是一个控制包，它由一个固定报头和结构元素组成。其报头与ＲＴＰ数据包的报头相类似，一般都是将多个ＲＴＣＰ数据包合成为一个数据包在底层协议中传输。ＲＴＣＰ根据携带控制信息的不２１

⑨

硕士学位论文

ＭＡＳＴＥＲ’ＳＴＨＥＳｔＳ

同，分为５种类型：

（１）ＳＲ：ＳｃｎｄｅｒＲｅｐｏｒｔ（发送端报告）由活动的发送端产生，它包含发送端信息部分、媒体阔的同步信息、数据包累计计算、发送的字节数等。

（２）ＲＲ：ＲｅｃｅｉｖｅｒＲｅｐｏｒｔ（接收端报告）由非活动的发送端产生，主要是数据传输

的接收质量反馈，包括接收的最大数据包数、丢失的数据包数、计算发送端和接收

端的往返延迟等。

（３）ＳＤＥＳ：（ＳｏｕｒｃｅＤｅｓｃｒｉｐｔｉｏｎ源描述）包含源描述的信息。（４）ＢＹＥ：表示结束参与。

（５）ＡＰＰ：应用特殊功能。

图３＿３给出了ＲＴＣＰ发送方报告（ＳＲ）数据包的格式。该数据包分三部分，如果需要还可以根据具体应用加上扩展部分。

融ｌ｝２

３４Ｓ６７

Ｒｃ

８９０

ｌ’２芎４

悄ｉＰ

；

ｐ

十

ＰＴ＝ＳＲ＝２００

５｜６ｌ

７｛９ｏ１２３４１５６７８９０ｉ

长度

。ｌ

ｉ

；

发送者的ｓｓＲｃ

！Ｎ冲时阁戳，离位

ｒ

ｉ

ｊ

≯

§ｉ

§

ｍ时翔戳，低位

ＲＴＰ时阔戳

发送分组数臣

一

童

｛

《

。

发送字节数目

ＳＳＲＣ１

ｌ§

二

丢包率累计丢包率

＃

；．

扩展的最大顺序号

到达抖动

一

二

ｊ

。

爹

乳

ｉ

Ｆ

最近发送方报告的时翔裁（Ｌｓ黔

自最近发送方报告之后的延迟（ＤＬｓＲ）

ＳＳＲＣ２

：：

ｌ，

ｉ

１４？

ｊ

。

｛

１

?．．

ｗ

＃

；缸《二Ａ“、．～

川，～

ｄ

特定的扔始化文件扩展

，

。

、一，．。‰；＆…二。。

：

一＃

图３．３ＳＲ分组的数据格式

⑨硕士学位论文

ＭＡＳＴＥＲ’ＳＴｔｉＥＳＩＳ

（１）头部，８字节分别是：版本号（Ｖ）：２位，表示ＲＴＰ版本；补充位口）：１位，若此位置被设置，ＲＴＣＰ的尾部包含一些附加的补充位；接收报告计数（ＲＣ）：５位，此包中的接收报告块数，０是允许的；包类型（ＰＴ）位，发送方报告的Ｒ．ＴＣＰ包定义为２００；长度：１６位，ＲＴＣＰ以３２位计的长度；同步源（ＳＳＲＣ）：３２位，ＳＲ包发起者的同步源标识符。

（２）包体，共２０字节，它描述发送方的数据传送。

ＮＴＰ时间戳：６４位，定义本包发送时间，可以与接收方报告包中的时间戳比较，估计往返时间；ＲＴＰ时间戳：３２位，与ＮＴＰ时间戳对应，而且与数据

包中的ＲＴＰ时间戳有相同的单位和相同的偏移值；发送ＲＴＰ包计数：３２位，发送方从开始发送到发送本报通告为止共发送的负载字节数，如果ＳＳＲＣ定义符被改变，本字段被重置；发送字节计数：３２位，发送方从开始发送到发送本报告为止发送的负载字节数，如果ＳＳＲＣ定义符被改变，本字段被重置。

（３）包含０个或多个接收报告块，它取决于发送方从上次报告起知道的其它源数，每个接收报告块要表示从一个同步源ＲＴＰ包的接收统计。当源由于冲突改变它的ＳＳＲＣ标识符时，接收方不发送统计。统计项包括：

ＳＳＲＣｎ（源标识符）：３２位，ＳＳＲＣ源标识符；

丢包率：８位，自上一次发送ＳＲ或ＲＲ后，源ＳＳＲＣ＿＿ｎ的ＲＴＰ数据丢包率；累计丢失包数：２４位，接收开始后丢失包数的累计：

扩展的最大顺序号：３２位，低１６位包含来自源ＳＳＲＣ１１的ＲＴＰ数据包的最大顺序号，高１６位使用相应的顺序号循环计数时顺序号的扩展；

间隔到达抖动：３２位，使用无符号整数；

最近发送方报告的时间戳（ＬｓＲ）：３２位，最近接收的ＲＴＣＰ发送方报告包中ＮＩＰ时间戳的中问３２位，如无ＳＲ被接收，此字段为Ｏ：

自最近发送方报告之后的延迟（ＤＬＳＲ）；２位，从源ＳＳＲＣｎ接收的最后的ＳＲ包到发送次接收报告块之间的延迟，如无ＳＲ包从源ＳＳＲＣｎ被接收，则ＤＬＳＲ字段置０；接收方报告包（ＲＲ）的格式同ＳＲ包基本相同。不同点在于ＲＲ的包类型为２０１，并且５个发送者信息被省略（ＮＴＰ和ＲＴＰ时间戳，发送者的包和字节计数＞，其它字段均相同。其他几种数据包定义类似，在此不再赘述。

３．４ＲＴＰ／ＲＴＣＰ协议的特性ＲＴＰ和ＲＴＣＰ就像一对姐妹，两者配合，能以有效的反馈和最小的开销使传输效

⑨硕士荦位论文

ＭＡＳＴＥＲ’ＳＴＨＥＳＩＳ

率最佳化，特别适合于在Ｉｎｔｅｒｎｅｔ上传输实时数据｛３６１。

（１）协议简单灵活

透过上面的介绍我们知道ＲＴＰ协议相对笱单，比如它的包头固定部分只有１２字节，所以开销小，有利于提高传输效率。灵活性体现在把协议机制与控制策略的具体算法分开。协议本身只提供完成实时传输的机制，对控制策略的有关算法实现不作具体规定。开发者可以根据不同的应用环境，选择实现效率较高的算法与合适的控制策略。

（２）协议独立性

ＲＴＰ的最初设计目标是Ｉｎｔｅｒｎｅｔ，但它更倾向于发展成为独立于底层协议的传输机制。ＲＴＰ协议一般建立在ＵＤＰ协议上，充分利用了ＵＤＰ协议的多路复用服务，它也可以建立在其它的传输协议上，像ＡＴＭ，ＩＰＶ６．ＡＡＬ５等，所以Ｒ］哼具有很好的独立性。

（３）同步机制

ＲＴＰ采用时间戳（Ｔｉｍｅ，ｔａｍｐ）来控制单一媒体数据流的同步，但它本身并不能控制不同媒体数据流间的同步。若要实现不同数据流之间的同步，必须由应用程序参与完成。

“）不可靠性

由于ＲＴＰ的设计目的是传输实时数据流，而不是可靠的数据流，因此它不提供有关错误检测和包顺序监控的机制。

３．５ＲＴＰ／ＲＴＯＰ在实时传输中的适用性

ＲＴＰ／ＲＴＣＰ协议是ＩＥＴＦ小组专门设计用来对实时多媒体数据进行网络传输而设立的【３７】，它的特点决定了其适用性：

（１）协议简单使传输效率高：ＲＴＰ协议不具备传输层协议的完整功能，其本身也不提供任何机制来保证实时的传输数据，不支持资源预留，也不保证服务质量。ＲＴＰ报文头甚至不包括长度标识和长度限制。另外，ＲＴＰ协议将部分传输层协议功能（比如流量控制）上移到应用层完成，简化了传输层处理，提高了该层效率。

（２）支持多点投递：ＲＴＰ协议一般运行在ＵＩ）Ｐ协议之上，两者共同完成传输层协议功熊。ＲＴＰ协议利用ＵＤＰ协议的多路复用支持显示的多点投递，可以满足多媒体会话的需求。

（３）数据流和控制流分离：ＲＴＰ协议的数据报文和控制报文使用相邻的不同套接字端口，这样就大大提高了协议的灵活性和处理的简单性

（４）协议的可扩展性：ＲＴＰ协议通常为一个具体的应用提供服务，通过一个具体的应用进程实现，而不是通过ＯＳＩ体系结构中独立的一层来实现，ＲＴＰ只提供协议框架，开发者可以根据应用的具体要求对协议进行充分的扩展。ＲＴＰ的控制报文ＲＴＣＰ，通过在会话用户之间周期性的递交控制报文来完成监听质量和交换会话用户信息等功能，根据用户间的数据传输反馈信息，可以指定流量控制的策略，而会话用户信息的交互，可以制定会话控制的策略ｐｓｉ。目前ＲＴＰ的设计和研究主要用来满足用户之间对多媒体实时传输控制上使用，尤其是多媒体会话和会议型业务，但是其在交互式分布仿真和控制，测量的应用中也有非常重要的作用ｐ川。

（５）ＲＴＰ协议的自适应性：多媒体实时数据的传输，对网络拥塞控制也是非常重要的，往往可以通过估计信道带宽的要求在发送端调整编码的压缩比率等策略。其中信道带宽的估计是一个比较重要的方面。而ＲＴＰ协议可以辅助我们对网络可用带宽进行估计。协议的自适应性主要体现在两个方面：一、就是ＲＴＣＰ控制报文发送周期的可调节性；二、是指发送方根据来自接收方的ＲＴＣＰ接收报告，计算报文丢失，确认接收方看到的髓络状况，然后根据当翦网络状况动态地调整发送方的编码策略或是传输策略，使得基于工作站的分布式多媒体应用，有能力在一个较大的范围内调节媒体传输质量和数据传输速率。由多媒体应用端进行的适应性调整基于ＲＴＰ协议中的接收报告反馈信息，包括用于计算报文丢失和报文延时抖动的信息。网络中引起报文丢失的主要有两个原因：～是由于拥塞的链路或工作站的网络接口发生缓冲区溢出造成的报文丢失：二是因为位错误而造成的报文丢失。在大多数的网络中，发生位错误的可能性很小，所以假设报文丢失的主要原因是由于网络拥塞造成的，发送端根据反馈信息评价报文丢失及确认网络运行状况，并进行相应的带宽调节Ｍ。

发送端收到ＲＴＰ接收报告时，首先分析所有接收成员报告，并计算报文丢失，延迟抖动和往返时间等等。然后根据报文丢失率将接收方观察到的网络状况分为拥塞，满载，轻载三类。这是一种基于已丢失报文的控制策略，也是目前最常用的，更积极的策略是根据接收报告中的延迟抖动预测即将出现的网络状况，并进行适当的带宽调整，这样有可能在报文丢失发生之前预先发现可能出现的网络拥塞。通过以上的分析，ＲＴＰ协议无论从功能上还是性能上都能较好的适应实时数据流的传输。３．６ｉｌＰＥＧ－４的ＲＴＰ封装分析

本系统采用ＭＰＥＧ－４作为流媒体的编码方式，针对它的ＲＴＰ分组净荷格式的研究仍在进行中，并且有许多不同的观点和意见【４１４３１。ＭＰＥＧ＿４的ＲＴＰ封装，可以说是ＭＰＥＧ－４流进行语法分析的过程，从ＭＰＥＧ－４流中搜索一些重要的信息填充到ＲＴＰ

⑧

硕士学位论文

ＭＡ８ＴＥＲ’ＳＴＨＥＳＩ￥

包中几个重要的数据结构中，如图３．４。对应ＭＰＥＧ－４体系结构的层次，封装的层次越高，其所需要的附加载荷就越多，相应的解包和封包的复杂度就越大：封装的层次越高，对媒体的感知能力就越低，对于媒体的差错处理能力越低。但封装的层次越高，其支持的ＭＰＥＧ－４的特性就越多Ⅲ】。

目前比较常用的ＭＰＥＧ－４视频流封装方案主要有以下几种：

（１）在不使用ＭＰＥＧ一４系统的情况下，将ＭＰＥＧ．４音频／．视频码流直接映射到ＲＴＰ净荷中，对于视频，该封装方案以视频对象平面（ＶｉｄｅｏｏｂｊｅｃｔＰｌａｎｅ，ＶＯＰ）作为封装的基本单元；对于音频，该方案采用了低耗ＭＰＥＧ－４音频复合传输

（Ｌｏｗ－ｏｖｅｒｈｅａｄＭＰＥＧ－４

｛１５】。

Ａｕｄｉｏ

ＴｒａｎｓｐｏｒｔＭｕｌｔ硒ｌｅ】【，ＬＡＴＭ）来管理音频数据序列

（２）将ＭＰＥＧ－４基本码流ＥＳ直接映射到ＲＴＰ净荷，同样也不使用ＭＰＥＧ－４

系统的同步层。由于许多早期的ＭＰＥＧ－４应用并不完全实现ＭＰＥＧ－４系统规定的同步层，所以这种应用无须知道同步层的概念，从ＭＰＥＧ－４系统的压缩层输出的ＥＳ流直接映射到ＲＴＰ净荷是最好的解决方法１４５】。

醪ｊ

２

’

４５６７

‘ｇｆ９

０１４２３４５‘６“，￥’９０１２３ｆｓ

６，８旷０ｌ＝！

ｉ

ｌ霹?ｊ｛

【

暂＝２ＰＸ

ｒ

ＣＣ

Ｍ泌Ｈ净荷类型）

时间戳

序列号

ｊ

ｉ‘

：￡“

。

同步源（ＳＳＲＣ）标识符

芷

珠

贡献源（ＣＳＲＣ）

§

ｊ

；

ｒ

ｉ

一‘

”

Ｆ

：

≯鏊

ＭＰＥＧ－－４视频流

一

一“

ｌ！撼赫。。二舰。。…裱Ⅶ。。。．童。蜥娥：。㈣。：。：船…；｝～可选ｌＨ’Ｐ霉￡充馕ｉ

图３．４

ＭＰＥＧ＿４的ＲＴＰ封装

：

（３）它也是针对基本流数据封装定义的方案，以访问单元（Ａｃｃ嚣Ｕｎｉｔ，Ａｉｄ）

为封装的基本单元，访问单元是ＭＰＥＧ－４中拥有时间信息的最小逻辑单元㈨

（４）将ＭＰＥＧ－４同步层的ＳＬ分组码流映射到ＲＴＰ净荷明。

（５）将ＭＰＥＧ－４传送层的经ＦｌｅｘＭｕｘ工具复用后的ＦｌｅｘＭｕｘ流映射到ＲＴＰ

净荷【档ｌ。

其中第一种方案是本文研究的重点。对于视频，该封装方案以视频对象平面（ＶｉｄｅｏＯｂｊｃｃ￡Ｐｌａｎｅ，＇ｃｏＰ）作为封装的基本单元，ＭＰＥＧ－４中对同一对象连续的ＶＯＰ称为ＶＯ（视频对象），ＶＯＰ是ＶＯ在某一个时刻的表象。ＭＰＥＧ－４对每个ＶＯＰ进行独立编码，那么以ＶＯＰ为单位进行封包既提高了效率，又充分利用ＭＰＥＧ－４的编码特性。很明显，包越大，生成包的数量就相应减少，但包大小不能超过最大传输单元ＭＴＵ（ＭａｘｉｍｕｍＴｒａｎｓｍｉｓｓｉｏｎＵｎｉｔ，从信源到目的间所有连接通道最大传输单位中的最小值），因为任何大于ＭＴＯ的包在网络上传输都会进行口分割，并为每个分割包加上包头，造成了口碎片。更稽的是，一个分割包的丢失会影响到同一个原始包的其他分割包。对于ＭＰＥＧ－４视频，两个不同时的ＶＯＰ数据不能组成一个ＲＴＰ包，即同一ＲＴＰ包中没有不同时刻的ＶＯＰ，并且同一时刻来自不同视频对象的ＶＯＰ不能打成一个包，即空间不一致的ＶＯＰ也不能在同一个包中。包的大小是当前ＶＯＰ和ＭＴＵ中较小的一个。当一个ＶＯＰ太大无法放入一个ＲＴＰ包，就需要将ＶＯＰ分割，用多个包发送。

主要封包策略如下：若当前ＶＯＰ能够放入单个ＲＴＰ包，就把此ＶＯＰ单独封装到一个ＲＴＰ包；若放不下，则把ＶＯＰ分段成多个宏块，就把尽可能多的宏块放入一个ＲＴＰ包；但即使最后一个ＲＴＰ包仍有空间，也不能把另外一个ＶＯＰ的宏块放入此包中．如图３．５所示。

图３．５ＶＯＰ的ＲＴＰ打包流程

具体算法描述如下：

Ｗｈｉｌｅ（ＭＰＥＧ－４视频流未结束１

｛

Ｉｆ【发现下一个ＶＯＰ起始码）

｛

城当前分段长度《＝去除头部字段长度的路径ＭＴＵ值）

｛

把此段数据打入ＲＴＰ包

，

ｅｌｓｅ

｛

把尽可能多的宏块打入ＲＴＰ包

）

）

ｅｌｓｅ

｛

对剩余数据打包

）

）

３．７基于ＲＴＰ／ＲＴＯＰ协议的组播传输方案

流媒体数据在口网上传输，首先数据需要打包成ＲＴＰ数据报，然后，利用ＵＤＰ协议将其封装成ＵＤＰ报，随后系统将数据交给Ｐ层，在Ｐ层中打成口包后发送到网络上进行传输，传输时所以客户端都在接收相同的流媒体数据，与此同时ＲＴＰ／ＵＤＰ／ＩＰ中也发送和接收ＲＴＣＰ分组，通过ＲＴＣＰ反馈控制模块的交互来完成对流量的调控和丢包的统计。图３．６便是该传输方案【４９．５ｌｌ。该图的客户端只描绘了一个，实际上一个ＲＴＰ会话可以包括多个这种同样的客户端。图３．６组播传输方案

⑨硕士学位论文

ＭＡＳＴＥＲ’ＳＴＨＥＳＩＳ

其流程可划分为以下几步：

（１）流媒体数据获取

（２）流媒体数据封装成ＲＴＰ包

（３＞ＲＴＰ包经ＬｒＤｐ层，口层封装成Ｐ数据报发送（４）Ｉ聊，Ｐ协议逆程解包

（５）ＲＴＰ协议解包（６）获取流媒体数据

⑨硕士学位论文

ＭＡＳＴＥＲ‘ＳＴＨＥＳＩＳ

第四章基于ＲＴＰ协议的实时流媒体传输在网络中的实现４．１开发环境和相关技术

系统的编码部分采用的ＡＶ８００硬件编码，网络传输部分采用的是ＲＴＰ／ＲＴＣＰ实时传输协议，视频流的解码、播放采取的是软件解码方式。本系统在ｗｉｎｄｏｗｓｘｐ，ｖｃ＋＋６．０环境下编译实现，采用典型的客户机／服务器结构，网络支持为局域网。４．１．１系统硬件设备

本系统所用的视频采集设备，摄像机为日本ＫＯＮＩＤＡＫＮ－２０３８；视频采集卡为ＡＶＳ００。ＡＶ８００是一款由美国ＴｏｐＳｔｅｐ公司推出的多功能ＭＰＥＧ产品，它可以接收来自视频输入端的模拟视频信号，并对该信号进行采集、量化成数字信号，然后压缩编码成数字视频，便于计箅杌直接处理。视频采集时首先在卡上对模拟视频信号进行Ａ／Ｄ转换，接着将视频信号进行压缩，然后再通过ＰＣＩ接口把压缩的视频数据传送到主机上，能减少ＣＰＵ的负担，并能得到较快的速度。在同等价格水平的产品中，ＡＶ８００具有很强的功能适用于各类视频应用场合。Ａｖ８００涵盖了ＭＰＥＧ．１，ＭＰＥＧ－２．ＭＰＥＧ－４三个视频标准的编码和解码。与主机为ＰＣＩ接口，一个ＢＮＣ复合视频接口用于接收来自摄像机的视频信号。

４．１．２ＪＲＴＰＬＩＢ库

目前国外有很多组织或者个人，提供了一些开源的ＲＴＰ栈，如：ＧＵＮｃｃＲＴＰ、ＲＴＰｌｉｂ、ｌｉｂｒｔｐ、ｏｒｔｐ和ＪＲＴＰＬＩＢ俐等。

本系统采用的是ＪＲＴＰＬＩＢ来实现ＲＴＰ传输。ＪＲＴＰＬＩＢ是一个用Ｃ十＋语言实现ＲＴＰ的开发码源库，目前已经可以运行在Ｗｉｎｄｏｗｓ、Ｌｉｎｕｘ、ＦｒｅｅＢＳＤ、Ｓｏｌａｒｉｓ、Ｕｎｉｘ和ＶｘＷｏｒｋｓ等多种操作系统上。用户可通过编译源码中提供的库函数来实现ＲＴＰ／ＲＴＣＰ的网络传输。它提供了若干个建立ＲＴＰ应用的相关类，我们可以很方便的根据库提供相关类的方法建立ＲＴＰ会话，发送ＲＴＰ包和ＲＴＣＰ控制包，而不用担心ＳＳＲＣ的冲突。

本系统采用的是ＪＲＴＰＬＩＢ３。６版本，目前该源码的最新版本是３．７。

４．１．３Ｄｉｒｃ昭ｔＳｈｏｗ技术ＤｉｒｅｃｔＳｈｏｗｐ习是微软公司提供的一套在Ｗｍｄｏｗｓ平台上进行流媒体处理的

⑨硕士学位论文

ＭＡＳＴＥＲ’ＳＴＨ￡ＳＩＳ

开发包，可以在Ｗｉｎｄｏｗｓ操作平台上处理各种格式的媒体文件的回放、音视频采集等高性能要求的多媒体应用，

ＤｉｒｅｃｔＳｈｏｗ为多媒体流的捕捉和回放提供了强有力的支持。运用ＤｉｒｅｃｔＳｈｏｗ，我们可以很方便地从采集卡上捕获媒体数据，并且进行相应的后期处理、播放乃至存储到文件中。

ＤｉｒｅｃｔＳｈｏｗ的设计初衷是为了让应用程序开发人员从复杂的数据传输、硬件差异、同步性等工作中解脱出来，总体应用框架和底层工作由Ｄｉｒｅ圮ｔＳｈｏｗ来完成。Ｄ／ｒ（，ｃｔ；Ｓｈｏｗ使用一种叫ＦｉｌｔｅｒＧｒａｐｈ的模型来管理整个数据流的处理过程；参与数据处理的各个功能模块叫做Ｆｉｌｔｅｒ：各个Ｆｉｌｔｅｒ在ＦｉｌｔｅｒＧｒａｐｈ中按一定的顺序连接成一条“流水线”协同工作。按照功能来分，Ｆｉｌｔｅｒ大致分为三类：源过滤器（ＳｏｕｒｃｅＦｉｌｔｅｒｓ）、转换过滤器（ＴｒａｎｓｆｏｒｍＦｉｌｔｅｒｓ）和渲染过滤器（ＲｅｎｄｅｒｉｎｇＦｉｌｔｅｒｓ）。ＳｏｕｒｃｅＦｉｌｔｅｒｓ主要负责取得数据，数据源可以是文件、因特网、或者计算机里的采集卡，数字摄像机等，然后将数据往下传输；ＴｒａｎｓｆｏｒｍＦｉｔｌｃｒｓ主要负责数据的格式转换、传输；ＲｅｎｄｅｒｉｎｇＦｉＲｅｓ主要负责数据的最终去向——将数据送给声卡、显卡进行多媒体的演示，也可以输出到文件进行存储。

在ＤｉｒｅｃｔＳｈｏｗ系统之上，是应用程序（Ａｐｐｌｉｃａｔｉｏｎ）。应用程序要按照一定的意图建立起相应的ＦｉｌｔｅｒＧｒａｐｈ，然后通过ＦｉｌｔｅｒＧｒａｐｈＭａｎａｇｅｒ的ＣＯＭ对象来控制整个的数据处理过程。ＤｉｒｅｃｔＳｈｏｗ能在ＦｉｌｔｅｒＧｒａｐｈ运行的时候接收到各种事件，并通过消息的方式发送到应用程序。这样，就实现了应用程序与ＤｉｒｅｃｔＳｈｏｗ系统之间的交互。

图４．１ＤｉｒｃｃｔＳｈｏｗ系统过滤器与过滤器的连接点称为针（ｐｉｎ），是一个由过滤器生成的ＣＯＭ对象，

⑧硕士学位论文

ＭＡＳＴＥＲ’ＳＴＨＥＳＩＳ

支持接口ＩＰｉｎ。针负责与其他针相连并提供传送数据的接口，如图４．２，有方向性，或者输入或者输出。输入针接收数据进入过滤器，输出针向其他过滤器提供数据。一个针只能与其相反的针相连。媒体样本从输出针流向输入针，这种方向为下游（ｄｏｗｎｓｌｒｅａｍ），反之为上游（ｕｐｓｔｒｅａｍ）。控制信息通常沿上游移动。

源过滤器为文件中的每个数据流提供一个输出针。典型的转换过滤器，如压缩／解压缩（ｅｏｄｅｃ）过滤器，提供一个输入针和一个输出针。而音频输出等渲染过滤器仅拥有一个输入针。

图４．２针连接示意图

４．２系统的功能模块划分

本系统从总体上可划分为服务器端和客户端，图４．３为系统结构图。服务器端主要完成视频采集、压缩、播放以及与客户端的通信、流媒体数据的发送等功能。客户端主要完成与服务器的通信、流媒体数据的接收、解压、播放等功能。

其中服务器端处理模块主要完成以下的功能：（１）能对接收到的客户端请求进行分析和处理。（２）能完成客户端的登陆系统和退出系统功能。（３）能同时向多个不同客户端发送流媒体数据。（４）在组播开始的时刻自动计时。（５）可调节图像的对比度、明亮度、色度、饱和度等。（６）能对图像编码格式进行选择。（７）保存图像数据。

一‘；啄南冒孚示器凰冒客户端客户端客户蛸

…冒ｎ曳自一圆服务器

３２ｎｎ图４．３系统结构图

客户端处理模块主要完成以下的功能：（１）能对接收到的服务器端的消息进行分析和处理。（２）能向服务器发出接收数据消息和退出系统消息，并完成相关的处理工作。（３）接收服务器发出的流媒体数据并播放ａ

４．３系统工作流程

Ｗｉｎｄｏｗｓ是一个多任务的操作系统，既系统在竞争线程中间分配ＣＰＵ时间。线程是操作系统为其分配ＣＰＵ时间的基本实体。在应用程序有几个任务需要异步执行的情况下，进程有多个线程是必要的。

对于服务器端，它包括主线程，视频读取线程，ＲＴＰ／ＲＴＣＰ包发送线程和反馈控制线程。服务器主线程流程为：一开始启动主线程，完成初始化（如系统信息存储缓冲区，ｓｏｃｋｅｒ建立和初始化等），开启ＭＰＥＧ－４视频源，等待用户命令，启动ＲＴＰ，ＲＴＣＰ包发送，同时ＲＴＣＰ接收线程不断检查数据，启动反馈控制线程。关闭服务器线程前发送ＢＹＥ包，并通知客户端，关闭所有线程。如图４．４所示。图４．４服务器主线程流程

对于客户端，它包括主线程，视频解码播放线程，ＲＴＰ／ＲＴＣＰ包接收线程和反馈控制线程。客户端主线程：开启初始化，开启ＭＰＥＧ－４解码和视频回放线程，ＲＴＰ，ＲＴＣＰ包接收和ＲＴＣＰ包发送线程。除非客户端退出主播，否则主线程将一直执行下去。如图４．５所示。

图４．５客户端主线程流程

本系统采用多线程来提供服务，所以多线程的管理十分重要。在网络传输过程中，不同客户的请求和反馈由服务器的ＲＴＰ／ＲＴＣＰ发送线程和反馈控制线程处理，由于实时数据的独有性，不同实时客户可以共用一个ＲＴＰ／ＲＴＣＰ发送线程和反馈控制线程，这样可以相对减小服务器的负担。

ＲＴＰ／ＲＴＣＰ发送线程负责流媒体数据的封装和发送，在发送ＲＴＰ包的同时，判断发送ＲＴＣＰ包。反馈控制线程主要由ＲＴＣＰ包配合工作，对ＲＴＰ数据包进行信息分析，以便构成新的即将发送的ＲＴＣＰ数据包。调整ＲＴＰ视频数据发送速率，以适应网络可用带宽。

本系统的服务器端能够同时响应多个用户的请求，把本地实时媒体数据流发给客户端。主要过程为：首先打开设备，分配资源。当设备准备好时，创建ＲＴＰ瓜ＴＣＰ

发送线程和反馈控制线程。接着反复调用接收模块，接收来自客户的ＲＴＣＰ报告，根据其请求做出响应并根据ＲＴＣＰ报告的内容调整服务。

下面对服务器端和客户端的具体设计过程进行阐述。

４．４服务器端的实现

４．４．１服务器端的网络传输过程

本系统实现网络传输的过程分为以下几步：获取ＩＰ地址和端口号；建立ＲＴＰ会话：指定客户端；设置参数；发送数据；结束会话。流程图见图４．６所示。

图４．６网络传输过程

４．４．２ＩＩＰＥＧ－４视频数据的ＲＴＰ封装

３．６节分析了ＭＰＥＧ－４的ＲＴＰ封装的几种方案，在涉及其具体封装之前，必须了解针对ＭＰＥＧ－４视频码流的ＲＴＰ封装需要注意的规则：

（１）配置信息和Ｇｒｏｕｐ＿ｏｆ＿ＶｉｄｅｏＯｂｊｅｅｔＰｌａｎｅ０字段应位于ＲＴＰ负载的开始位置或在语法上的上层函数头之后。

（２）如果ＲＴＰ负载中存在一个或多个头，则Ｒ，ｒＰ负载应从语法上的最高函数头开始。注意：ｖｉｓｕａｌ．＿ｏｂｊｅｅｔ＿ｓｅｑｕｅｎｅｅｅｎｄｃｏｄｅ作为最低函数。

（３）一个头不应分到多个ＲＴＰ包中。３５

Ｏｅｃｒｃｊｂｕｏ＿头ｔ数函ｘ点入ｅ进ｔ的流＿本基。束结

⑧硕士学位论文

ＭＡ￥ＴＥＲ’ＳＴＨｆＥＳＩＳ

（４）不同的ＶＯＰ应该分片为不同的ＲＴＰ包，一个ＲＴＰ包只包括与唯一ＶＯＰ的时间相关的数据（在ＲＴＰ包头的时问戳字段中指出）。例外情况是如果ＶＯＰ很小，则单个ＲＴＰ包携带多个按解码顺序连续的ＶＯＰ。注意：当一个ＲＴＰ负载携带了多个ＶＯＰ时，第一个ＶＯＰ后的ＶＯＰ时间戳在解码时通过计算得到。该操作仅当ＲＴＰ包标志位为ｌ且ＲＴＰ负载开始符合起始码时才是必须的。

戳和标志位）（见３．２节时间

（５）建议一个视频包组成一个ＲＴＰ包进行发送。视频包的大小应该按如下方式来决定，即ＲＴＰ包大小不得超过路径ＭＴＵ的大小。注意：规则（５）不适用于以下场合，编码器配置禁止视频包（通过将ＶＯＬ头中的ｒｅｓｙｎｃｍａｒｋｅｒｄｉｓａｂｌｅ设置为１），或者编码工具不支持视频包。在此情况下，一个ＶＯＰ可能得经过在任意字节位置进行分片后才能发送。视频包从ＶＯＰ头或视频包头开始，后面紧接着是

ｍｏｔｉｏｎｓｈａｐｅ，以ｎｅｘｔｒｃｓｙｎｃ或

上文中提到的头表示如下信息，配＿置＿ｍ信ａｒｋ息ｃ。Ｏ（视觉ｎｅ对ｘｔ象ｓｔ序ａｒｔ列ｃ头ｏｄｃ，Ｏ视觉对象头和视频对象层头），ｖｉｓｕａｌｔｓｃｑ咄ｃ－ｅｎｄｃｏｄｅ；

ｗｉｔｈｓｈｏｒｔ（Ｇｒｏｕｐ＿ｏｆ．ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ０，ｖｉｄｅｏ＿ｐｌａｎｅｈｅａｄｅｒ０，ＭｅｓｈＯｂｊｅｃ《）或

ＦａｃｅＯｂｊｅｃｔ０）；视频包头（ｖｉｄｅｏｐａｃｋｅｔ＿ｈｅａｄｅｒ０，ｎｅｘｔ．ｒｅｓｙｎｃ＿ｍａｒｋｃｒ０除外）：ｇｏｂｌａｙｅｒ０头。

通过前面２．２．４的介绍，ＭＰＥＧ－４分层语法由ＶＳ、ＶＯ、ＶＯＬ、ＧＯＶ、ＶＯＰ构成，那么针对它们的ＲＴＰ封装，见图４．７，可以分为以下几种方式：

（ａ）表示包含了配置信息的ＭＰＥＧ－４视觉码流中第一个ＲＴＰ包或随机访问点。根据上文提到的规则（１），视觉对象序列头应位于ＲＴＰ负载的开始处，视觉对象头和视频对象层头（ｖｏｈｅａｄｅｒ，ＶＯＬｈｅａｄｅｒ）之前。从ｖｉｓｕａＬｏｂｊｅｃｔ＿ｓｃｑｕｅｎｃｃｓｔａｒｔ＿ｃｏｄｅ开始的配置信息通常都位于ＲＴＰ负载的开始位置，ＲＴＰ接收端可通过检查ＲＴＰ负载的头３２位字段是否是ｖｉｓｕａｌｏｂｉｅｃｔｓｃｑｕ％ｃｅｓｔａｒｔｃｏｄｅ来检测随机访问点。

（ｂ）是另一种包含配置信息的ＲＴＰ包。它同（ａ）的区别为该ＲＴＰ包在配置信息后还包含有视频包。由于配置信息长度很短（一般为数十字节），一个ＲＴＰ包如果仅含有配置信息会造成系统开销的上升，因此配置信息和其后视频包可以打包到同一个ＲＴＰ包中。

（ｃ）是ＲＴＰ包中包含了ＧｒｏｕｐｏｆＶｉｄｅｏＯｂｊｅｅｔＰｌａｎｅ（ＧＯＶ）的例子。根据上文规则（１），ＧＯＶ位于ＲＴＰ负载的开始位置。一个仅有ＧＯＶ字段的ＲＴＰ包大小只有７个字节，这是对ＲＴＰｆｌＰ头开销的极大浪费。因此后续的ＶＯＰ（或部分地）可以如本例所示打到同一个ＲＴＰ包中。

ｒｅｋｒａｍ．。包频视用使止禁而从为置设

（ｄ）一个视频包被打包到一个ＲＴＰ包中。当网络中包丢失率很高时采用该方法。甚至当包含有ＶＯＰ头的ＲＴＰ包被丢弃时其它ＲＴＰ包还可通过使用视频包头中的ＨＥＣ信息进行解码。无需任何额外的ＲＴＰ头字段。

（ｅ）为多个视频包打在一个ＲＴＰ包中的情况。在底层网络速率很低时这种组包方式可高效地节约ＲＴＰ／ＩＰ头开销。不过，由于一个ＲＴＰ包的丢失会导致将多个视频包同时丢失，这种方法会降低丢包恢复率。一个ＲＴＰ包中理想的视频包数目和ＲＴＰ包长度可通过丢包率和底层网络传输的比特率来决定。

（ｆ）示例为在ＶＯＬ头中将ｒｅｓｙｎｃｄｉｓａｂｌｅ１

在此情况下，一个ＶＯＰ可按照任意字节位置分为多个ＲＴＰ包。比如将一个ＶＯＰ按照固定长度进行分片。这种编码配置方法和ＲＴＰ分片可应用于能提供极低错误率保证的网络。

∥ＲＴＰ

Ｉｉｅａｄ”

Ｆｊ砌瞪。４４‘ｖｓ｝ＶＯ“１ｆ’ｖｏＬ。］。ｊｅａ８蟹』ｈｅａｄｅｒ』垮！ｄ司（ａ）

ＶＳ

ｈｅａｄｅｒ”≮ｄ…ｈｅａｄｅｒ０萌弹磊茜’菇ｃ安词豳ｅａｄｅｒｊｅａｄｅ芝ｊ。。。…。。。囊

（ｂ）

（ｃ）

ＦＲＴＰ１ＶＯＰＶｉｄｅｏ’。Ｐａｃｋｅｔ；Ｒ＇Ｐ２｛ＷＶＰ］ｖｉｄｅ０Ｐａｃｋｅ司

｛ｌ｝目臣！ａｄ！ｅｒ』ｉｅ８ｄ曼，。。。一乞。。…』“警ｄ８量ｈｅａ８嚆ｌ…。。乏。。‰。翻

（ｄ）

ＦＲ幡一：一订ｌＶｉｄｅｏＰａｃｋｅｔｌ。。讳”猕Ｏｌｅｏ兆ｃ蠢ｔｒＶＰ”≯ｉｄｅｏＰａｃｋｅ司融酬篡，，｝删ｅｔｌ～。】…ｉｈｅ！ｄｅｒＬ…２。ｉｈｅ．ａｄｅｌ＂｝，。一曼～；委

（ｅ）

Ｆ砷

臣ｅ嚣ｄｅｒＶＯＰＶＯＰｊ４ｊｆｒａ、ｊ？ｇｍｅｎｔ。

ｈｅａｄｅｒ～ＶＯＰ［ｖｏＰ。番遍嗣，ｂ酬旺』…一２一。。ｇｌ

（ｆ）

图４．７ＲＴＰ封装的几种格式３７

⑧硕士学位论文

ＭＡＳＴＥＲ’ＳＴＨＥ￥１Ｓ

４．４．３服务器端网络传输的实现

下面是关于网络传输的具体实现过程：

（１）初始化

在使用ＩＲＴＰＬＩＢ进行实时流媒体数据传输之前，首先需要对ＲＴＰ会话进行初始化的过程，生成一个ＲＴＰＳｅｓｓｉｏｎ类的实例，然后调用Ｃｒｅａｔｅ０／弱数，来实现初始化操作。但此时函数并未指定ＲＴＰ／ＲＴＣＰ的发送目标地址，这项工作是由其接下来的步骤完成的。实现代码如下：

ＲＴＰＳｅｓｓｉｏｎｓｅｓｓｉｏｎ：

ｓｅｓｓｉｏｎ．Ｃｒｅａｔｅ０；

如果ＲＴＰ会话创建失败，Ｃｒｅａｔｅ０将会返回一个负数。ＪＲＴＰＬＩＢ采用了统一的错误处理机制，它提供的所有函数如果返回负数就表明出现了某种形式的错误，而具体的出错信息则可以通过调用ＲＴＰＧｅｔＥｒｒｏｒＳｔｒｉｎ９０／函数得到。ＲＴＰＧｅｔＥｒｒｏｒＳｔｒｉｎ９０ｉ弱数将错误代码作为参数传入，然后返回该错误代码所对应的错误信息。

（２）缺省参数设置

在ＲＴＰＳｅｓｓｉｏｎ类中有一些函数用于缺省参数的设置，一般包括负载类型、标识、时间戳等。负载类型由ＲＴＰ传输的数据内型决定，在具体实现时，可以采用缺省的方式。时间戳是ＲＴＰ会话初始化过程所要进行的另外一项重要工作，本系统通过调用的ＳｅｔＴｉｍｅｓｔａｍｐＵｎｉｔ０方法来实现的。

Ｓｅｓｓｉｏｎ．ＳｅｔＤｅｆａｕｌｔＰａｙｌｏａｄＴｙｐｅ０；／／负载内型设置

Ｓｅｓｓｉｏｎ．ＳｅｔＤｅｆａｕｌｔＭａｒｋ０；／／ｍ标识

Ｓｅｓｓｉｏｎ．ＳｅｔＤｅｆａｕｌｔＴｉｍｅＳｔａｍｐｌｎｃｒｅｍｅｎｔ０；／／时间戳

（３）建立连接

当ＲＴＰ会话建立成功后，接下去就可以开始进行流媒体数据的实时传输了。首先获取客户端的目标地址，ＲＴＰ协议允许同一会话存在多个目标地址，具体实现可通过调用ＲＴＰＳｅｓｓｉｏｎ类的ＡｄｄＤｅｓｔｉｎａｔｉｏｎ０来获取用户端的地址和端口号等信息。例如：

ＲＴＰＩＰｖ４Ａｄ＆ｅ蹒ｒｔｐＡｄｄｒ（ｉｎｔＩＰ，ＭＣＡＳＴ．．ＰＯＲＴ）；

ｓｅｓｓｉｏｍＡｄｄＤｅｓｔｉｎａｔｉｏｎ（ｒｔｐＡｄｄｒ）；

其中ＲＴＰＰｖ４Ａｄ＆ｅｓｓ类的成员函数可以用来获取口地址及端口号。通过以上步骤后，服务器端就可用向客户端发送流媒体数据了。

（４）数据发送通过调用ＲＴＰＳｅｓｓｉｏｎ类的ＳｅｎｄＰａｃｋｅｔ０方法，可以向客户端发送需要的数据。

⑨

ｉｎｔ

ｉｎｔ硕士擘位论文ＭＡＳＴＥ鐾’ＳＴＩ－ＩＥＳ［Ｓ实现代码如下：ｓｅｓｓｉｏｎ．ＳｅｎｄＰａｃｋｅｔＯ其中ＳｅｎｄＰａｅｋｅｔ０是一个重载函数，它具有如下形式：ＳｅｎｄＰａｃｋｅｔ（ｖｏｉｄ。ｄａｔａ，ｉｎｔｌｅｎ）ＳｅｎｄＰａｃｋｅｔ（ｖｏｉｄ’ｄａｔａ，ｉｎｔｌｅｎ，ｕｎｓｉｇｎｅｄ

ｔｉｍｅｓｔａｍｐｉｎｅ）ｃｈａｒｐＬｂｏｏｌｍａｒｋ，ｕｎｓｉｇｎｅｄｌｏｎｇ

第一个参数ｄａｔａ就是载荷，而第二个参数则指明载荷的长度，再往后依次是ＲＴＰ负载类型、标识和时戳增量。这些参数可以通过刚才介绍的ＳｅｔＤｅｆａｕｌｔＰａｙｌｏａｄＴｙｐｅ０、ＳｅｔＤｅｆａｕｌｔＭａｒｋ０和ＳｅｔＤｅｆａｕｌｔＴｉｍｅＳｔａｍｐｌｎｅｒｅｍｅｎｔ０来获取。为ＲＴＰ会话设置这些默认参数的好处是可以简化数据的发送，对于同～个ＲＴＰ会话来讲，负载类型、标识和时戳增量通常来讲都是相同的，ＪＲＴＰＬＩＢ允许将它们设置为会话的默认参数。如果用于发送的流媒体数据从缓存区读出，调用函数：

ｓｅｓｓｉｏｎ．ＳｅｎｄＰａｃｋｅｔ（ｂｕｆｆｅｒ，ｂｕｆｓｉｚｅ）

（５）控制信息

ＪＲＴＰＬＩＢ是一个高度封装后的ＲＴＰ库，我们在使用它时很多时候并不用关心ＲＴＣＰ数据报是如何被发送和接收的，因为这些都可以由ＪＲＴＰＬＩＢ自己来完成。只要会话建立和数据发送成功，ＪＲＴＰＬＩＢ就能够自动对到达的ＲＴＣＰ数据报进行处理，并且还会在需要的时候发送ＲＴＣＰ数据报，从而能够确保整个ＲＴＰ会话过程的正确性。（６）会话结束

当客户端完成流媒体数据的接收或者服务器要结束对客户端数据的发送，通过ＲＴＰＳｅｓｓｉｏｎ类的Ｄｅｓｔｒｏｙ（）就可以结束对话了。

ｓｅｓｓｉｏｎ．Ｄｅｓｔｒｏｙ０；

上面是对网络传输主流程，接下来讨论本系统传输过程中所涉及到的其他一些重要过程，和该过程中用到的一些重要的类和函数。

（Ｉ）ＲＴＰ包

ＲＴＰ包通过ＪＲＴＰＬＩＢ的ＲＴＰＰａｃｋｅｔ类来表述，其中的ＲＴＰＰａｃｋｅｔ（）是一个重载函数，它具有如下几种形式

ＲＴＰＰａｅｋｅｔ（ｕｉｎｔ８ｔｐａｙｌｏａｄｔｙｐｅ．ｃｏｎｓｔｖｏｉｄ＋ｐａｙｌｏａｄｄａｔａ，ｓｉｚｅｔｐａｙｌｏａｄｌｅｎ，Ｕ

ｉｍｌ６ｔｓｅｑｎｒ，ｕｉｎｔ３２ｔｔｉｍｅｓｔａｍｐ，１１ｉｎｔ３２

１１ｔｓｓｒｃ，ｂｏｏｌｇｏｔｍａｒｋｅｒ，ｎｉｎｔ８ｔｎｕｍｃｓｒｃｓ，ｃｏｎｓｔｉｎｔ３２ｔ＋ｃｓｒｃｓ，ｂｏｏｌｇｏｔｅｘｔｅｎｓｉｏｎ，ｕｉｎｔｌ６ｔ

ｅ）【ｔｅｎｓｉ砌ｄ，ｕｉｎｔｌ６ｔｅｘｔｅｎｓｉｏｎｌｅｎ＿ｎｕｍｗｏｒｄｓ，ｃｏｎｓｔｖｏｉｄ

’ｅｘｔｅｎｓｉｏｎｄａｔａ，ｓｉｚｅｔｍａｘｐａｃｋｓｉｚｅ＝Ｏ）

其中各个参数的所代表的意义分剐为：负载内型、净荷数据在本系统中就是我们的流媒体数据、净荷长度、序列号、时间戳、同步源标识、长度标识、ＣＳＲＣ贡献源

⑧硕士擘位论文

ＭＡＳＴＥＲ’ＳＴＨＥＳＩＳ

数目、贡献源，紧接着的四个是用于有扩展数据的情况，最后一个参数标识ＲＴＰ包所允许的最大包尺寸。

ＲＴＰＰａｅｋｅｔ（ｕｉｎｔ８ｔｐａｙｌｏａｄｔｙｐｅ，ｅｏｎｓｔｖｏｉｄ‘ｐａｙｌｏａｄｄａｔａ，ｓｉｚｅｔｐａｙｉｏａｄｌｅｎ，ｕ

ｉｎｔｌ６ｔｓｅｑｎｒ，ｉ１ｉｎｔ３２ｔｔｉｍｅｓｔａｍｐ，Ｕｉｎｔ３２ｔｓｓ坞，ｂｏｏｌｇｏｔｍａｒｋｅｒ，ｕ

ｉｎｔ８ｔｎＵＩｌｌＧｓｒＧｓ，ｃｏｎｓｔｕｉｎｔ３２ｔ’ｃｓｒｃｓ，ｂｏｏｌｇｏｔｅｘｔｅｎｓｉｏｎ，ｕｉｎｔｌ６ｔ

ｅｘｔｅｎｓｉｏｎｉｄ，ｕｉｎｔｌ６ｔｃｘｔｅｎｓｉｏｎｌ钮ｎｕｍｗｏｒｄｓ．ｃｏｎｓｔｖｏｉｄ

ｂｕｆｆｅｒｓｉｚｅ）＊ｅｘｔｅｎｓｉｏｎｄａｔａ，ｖｏｉｄ＊ｂｕｆｆｅｒ，ｓｉｚｅｔ

函数在这种形式下前面１３个参数和上一种形式下的参数是一致的，只是最后两个参数用读取缓冲区内的数据，分别用来指定缓冲区的位置和大小。

（２）ＲＴＣＰ报表

在ＪＲＴＰＬＩＢ中，ＲＴＣＰＰａｅｋｅｔ类用来表述ＲＴＣＰ所携带的信息。该类含有一个重要的枚举：

ｅｌｌｌｌｍＰａｅｋｅｔＴｙｐｅ｛ＳＲ，ＲＲ，ＳＤＥＳ，ＢＹＥ，ＡＰＰ，Ｕｎｋｎｏｗｎ｝；

上面这个枚举分别包含了ＲＴＣＰ包中的发送方报告、接收方报告、资源描述项、结束指示分组，特别应用功能以及用户自己扩展部分。同时ＲＴＣＰＰａｃｋｅｔ类通过它的几个继承类来具体定义以上各个报表中的具体内容，分别为：ＲＴＣＰＳＲＰａｃｋｅｔ、

ＲＴＣＰＲＲＰａｃｋｅｔ、ＲＴＣＰＳＤＥＳＰａｃｋｅｔ、ＲＴＣＰＢＹＥＰａｅｋｅｔ、ＲＴＣＰＡＰＰＰａｃｋｅｔ、

ＲＴＰＵｎｋｎｏｗＰａｅｋｅｔ．

（３）ＲＴＰ包的建立

ＲＴＰ包的建立主要是依靠ＲＴＰＰａｃｋｅｔＢｕｉｌｄｅｒ这个类，下面ＲＴＰ包生成过程中比较重要的几个函数：

ｉｎｔＡｄｄＣＳＲＣ（ｕｉｎｔ３２ｔｃｓｒｃ）／／在ＣＳＲＣ列表中添加一个新的ＣＳＲＣ

型标识ｉｎｔＳｅｔＤｅｆａｕｌｔＰａｙｌｏａｄＴｙｐｅ（ｕｉｎｔ８ｔｐ０／／设置用于说明多媒体内型的，数据内

ｉｎｔ

ｈａｔＳｅｔＤｅｆａｕｌｔＭａｒｋ（ｂｏｏｌｍ）／／ｍ标识ＳｅｔＤｅｆａｕｌｔＴｉｍｅｓｔａｍｐｌｎｃｒｅｍｅｎｔ（ｕｉｎｔ３２ｔｔｉｍｅｓｔａｍｐｉｎｃ）／／名Ｅ媒体数据头部

加上时间戳

ｕｉｎｔ３２ｔＣｒｅａｔｅＮｅｗＳＳＲＣ０／／Ｊｔ星始包中创建一个新的ｓｓＲｃ同时也会产生新

的时闯戳和序列号

Ｕｉｎｔｌ６ｔＧｅｔＳｅｑｕｅｎｃｅＮｕｍｂｅｒ０／／得到包的序列号

ｔｉｎｔＢｕｉｌｄＰａｅｋｅｔ（ｅｏｎｓｔｖｏｉｄ＊ｄａｔａ，ｓｉｚｅｌｅｎ）／／将媒体数据封装成ＲＴＰ包

ｔｐｔ，ｂｏｏｌｍａｒｋ，ｕｉｎｔ３２ｔｈａｔＢｕｉｌｄＰａｃｋｅｔ（ｅｏｎｓｔｖｏｉｄ’ｄａｔａ，ｓｉｚｅｔｌｅｎ，ｕｉｎｔ８

ｔｉｍｅｓｔａｍｐｉｎｃ）／／与上面的函数构成一对重载函数，它增加４０

⑨硕士学位论文

ＭＡＳＴＥＲ’ＳＴＨＥＳＩＳ

了负载类型、ｍ标识、时间戳参数

（４）ＲＴＣＰ组包

ＲＴＣＰ组包的具体实施过程依靠的是ＲＴＣＰＰａｃｋｅｔＢｕｉｌｄｅｒ来完成。

（５）参与源的管理

ＲＴＰＳｏｕｒｃｅｓ管理所有参与源，是参与源管理者的抽象。

（６）Ｒ四会话参数设置

建立Ｒ１呼会话包括很多参数，ＲＴＰＳｅｓｓｉｏｎＰａｒａｍｓ类用来对其中的各个参数进行设置，并可得至Ⅱ这些参数的值。

（７）ＲＴＣＰ的发送机制

ＲＴＣＰＳｃｈｅｄｕｌｅｒ用于决定何时ＲＴＣＰ被发送。

ＲＴＰＳｅｓｓｉｏｎ宣接或间接关联着以上列举的这几个类，ＲＴＰ本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠ＲＴＣＰ提供这些服务。ＲＴＣＰ的数据的发送和接收都由类内部来处理。

４．５客户端的实现

客户端的网络接收部分和服务器端的网络发送部分是相互对应的两个流程，其中网络接收的过程可划分为获取服务器礤地址和端口号：建立ＲＴＰ会话；设置接收模式和接收流媒体数据这几个部分。流程图如图４．８。下面是网络接收过程中的几个重要部分，获取ｍ地址和初始化的过程和服务器端的一致，这里就不重复介绍了。尹

设置接收模式

ｉ

－接ｔＦＺＲＴＰ数据

ｌ

检测ＲＴＰ数据

ｌ

获取ＲＴＰ数据

图４．８网络接收过程

４１

⑧硕士学位论文

＾ｌＡＳＴＥＲ’ＳｎｉＥ￥１Ｓ

（１）数据接收

通过调用ＹＲＴＰＬＩＢ库的函数，可以使流媒体数据的接收工作相对简化。对于接收端，首先需要调用ＲＴＰＳｅｓｓｉｏｎ类的ＰｏｌｌＤａｔａ０Ｊ薮数来接收发送过来的ＲＴＰ或者ＲＴＣＰ数据报。接下来调用ＲＴＰＳｅｓｓｉｏｎ类的ＧｏｔｏＦｉｒｓｔＳｏｕｒｃｅＷｉｔｈＤａｔａＯ和ＧｏｔｏＮｅｘｔＳｏｕｒｅｅＷｉｔｈＤａｔａ０来判断ＲＴＰ数据源是否达到。从ＲＴＰ会话中检测出有效的数据源之后，调用ＲＴＰＳｅｓｓｉｏｎ类的ＧｅｔＮｅｘｔＰａｅｋｅｔ０函数抽取ＲＴＰ数据报，当接收到的ＲＴＰ数据报处理完之后，需要及时释放缓存区空间。下面的代码示范了对接收到的ＲＴＰ数据报进行处理的过程：

ｓｅｓｓｉｏｎ．ｐｏｌｌＤａｔａ０；

ｉｆ（ｓｅｓｓｉｏｎ．ＧｏｔｏＦｉｒｓｔＳｏｕｒｃｅＷｉｔｈＤａｔａＯ）

｛

ｄｏ

｛

ＲＴＰＰａｅｋｅｔ＊ｐａｃｋ；

ｐａｃｋ＝ｓｅｓｓｉｏｎ．ＧｅｔＮｅｘｔＰａｅｋｅｔ０；

ｄｅｌｅｔｅｐａｃｋ；

＇

ｗｈｉｌｅ（ｓｅｓｓ．ＧｏｔｏＮｅｘｔＳｏｕｒｃｅＷｉｌｈＤａｔａＯ）；

｝

（２）模式选择

３ＲＴＰＬＩＢ为ＲＴＰ数据报定义了三种接收模式，其中每种接收模式都具体规定了哪些到达的ＲＴＰ数据报将会被接收，而哪些到达的ＲＴＰ数据报将会被拒绝。通过调用ＲＴＰＳｅｓｓｉｏｎ类的ＳｅｔＲｅｃｅｉｖｅＭｏｄｅ０方法可以设置这三种接收模式。

ＲＥＣＥＩＶＥＭＯＤＥＡＣＣＥＰＴＳＯＭＥ：除了某些指定数据，所有至Ⅱ达的ＲＴＰ数

据报都将被拒绝。

ＲＥＣＥＩＶＥＭＯＤＥＩＧＮＯＲＥＳＯＭＥ：除了某些指定数据，所有到达的ＲＴＰ数

据报都将被接收。

ＲＥＣＥＩＶＥＭＯＤＥＪｕ工：缺省的接收模式，所有到达的ＲＴＰ数据报都将被

接收，一般情况下都是采用这种模式。

（３）ＲＴＣＰ包的接收

ＲＴＰ数据到达客户端之后，首先进行ＲＴＰ解包。ＲＴＰ对ＲＴＰ包的版本、长度等信息进行验证，若为合法包，则解封装，提交给上层进行解码等其它的相关处

⑧硕士学位论文

ｌｌＡＳＴＥＲ’ＳＴＨ￡ＳＩＳ

理，当客户端接收到ＲＴＰ包后还需要进一步的处理，其步骤如下：

（ａ）分析ＲＴＰ包头，判断其版本、长度、负载类型等信息的有效性。

（ｂ）按照ＲＴＰ时间戳和包序列号等进行信源同步，整理ＲＴＰ包顺序，重构视频帧。客户端接收到数据后，为了减轻网络抖动的影响，必须进行一定量的缓冲，才能交给后面的视频解码做进一步处理。动态地一边继续从网络接收数据，一边将得至４的ＲＴＰ包进行重组。如图４．９所示建立两个队列，第一队歹ｎ是空闲的缓冲队列，用以接收存放网络数据。每次接收前，先要申请一个Ｂｕｆｆｅｒ，如果暂时没有可用的Ｂｕｆｆｅｒ，则挂起，直到有其他线程释放并通知该网络接收进程，再分配给它一个空余的Ｂｕｆｆｅｒ。第二个缓冲队列存放经重组恢复后的媒体数据等待后面的进一步处理。ＲＴＰ包重组函数从第一队列的头部依次取出Ｂｕｆｆ盯进行重组恢复成媒体数据同时将该缓冲清空。

善姗数据接收ｉ

ｌ

ｒ

ｉ《视频解码播放篓ｆ≥一媒体数据“≮ＲＴＰ数据包一麓ＲＴＰ数据包；；

ｉ

！媒体数据媒体数据媒体数据ｔｉ！ｉＲＴＰ数据包ｉ；ＲＴＰ数据包：：

豳亟圈［蟹壅］◇宴Ｔ暾据包●≥一媒体数据…ｌ

＼＼—霪Ⅳ图４．９ＲＴＰ数据处理过程

４．６视频播放的实现

４．６．１ＩｔｌＰＥＧ－＇－４编码的控制和播放

在服务器端，视频信号进入视频采集卡后，通过Ｄｉｒｅ℃ｔＳｈｏｗ来完成对视频卡的控制和对视频信号的提取、处理、播放。４．１．３节已经介绍ＤｉｒｅｃｔＳｈｏｗ对硬件的支持是通过特定的Ｆｉｌｔｅｒ来实现的。本系统操控视频卡和提取视频卡中数据的基本步

骤可以分为以下几步：创建Ｄｉｒ蛐ｗ

（１）初始化⑧硕士学位论文ＭＡＳＴＥＲ。ＳＴＨＥ５１５ＦｉｌｔｅｒＧｒａｐｈ；加载的媒体数据到ＦｉｌｔｅｒＧｒａｐｈ中；连接Ｆｉｌｔｅｒ的Ｐｉｎ；运彳亍建立好的ＦｉｌｔｅｒＧｒａｐｈ。

由于ＤｉｒｅｃｔＦｉｌｔｅｒ本身也是ＣＯＭ组件，需要编译过程中分别调用Ｃｏｌｎｉｔｉａｌｉｚｅ和ＣｏＵｎｉｎｉｔｉａｌｉｚｅ对ＣＯＭ库初始化和关闭。实现代码如下：

ＣｏｌｎｉｆｉａｌｉｚｅＯ；

ＣｏＵｎｉｎｉｔｉａｌｉｚｅＯ；

（２）建立ＦｉｌｔｅｒＧｒａｐｈ。

为了创建ＦｉｌｔｅｒＧｒａｐｈ，必须首先建立一个实例，取得一个ＩＧｒａｐｈＢｕｉｌｄｅｒ接口指针。

ＩＧｒａｐｈＢｕｉｌｄｅｒ’ｍ＿ｐＧｒａｐｈ；

ＨＲＥＳＵＬＴｈｒ＝

ＣＨＥＣＫ＿ＨＲ（ｈｒ＝ＣｏＣｒｅａｔｅｌｎｓｔａｎｃｅ（ＣＬＳＩＤ＿ＦｉｌｔｅｒＧｒａｐｈ，ＮＵＬＬ，ＣＬＳＣＴＸＩＮＰＲＯＣ，Ｉ／Ｄ＿ＩＧｒａｐｈＢｕｉｌｄｅｒ，（ｖｏｉｄ”）蛳Ｇｒａｐｈ））；

（３）获取接口代码

通过ｐＳｒｅ的ＱｕｅｒｙＩｎｔｅｒｆａｃｅ调用获得该组件所支持的接口的代码。

ＩＢａｓｅＦｉｌｔｅｒ＋ｐＳｒｃ；

ＩｓｒｅＣｏｎｔｒｏｌ＋ｐ－ＪＳｒｃ；

ｐＳｒｃ－＞ＱｕｅｒｙＩｎｔｅｒｆａｅｅ（ＩＩＤ＿ＩＳｒｃＣｏｎｔｒｏｌ，（ｖｏｉｄ”）＆ｐ＿ＩＳｒｃ）；

获得接口指针后就可以调用ＩＳｒｃＣｏｎｔｒｏｌ的方法对系统视频卡进行操控了。

（４）建立属性对话框

创建一个ＰｒｏｐｅｒｔｙＰａｇｅｓＯ＂函数，实现视频卡中压缩的数据类型和性质进行控制，之后通过调用ＰｒｏｐｅｒｔｙＰａｇｅｓ即可出现该对话框，属性对话框共包括两个部分：编码参数属性和视频调整属性。

（５）视频信号的属性设置

下面列举一些在本系统中比较重要的，用于设置视频属性的函数

（ａ）首先通过～个接口函数判断视频卡是否接通：

ＨＲＥＳＵＬＴＶｉｄｅｏＳｉｇｎａｌＰｒｅｓｅｎｔ（ｕｎｓｉ印ｅｄｌｏｎｇ。ｐｒｅｓｅｎｔ，ｕｎｓｉｇｎｅｄｌｏｎｇ

’ａｅｔｕａｌａａｎｄａｒｄ）

（ｂ）设置当前ＭＰＥＧ流的类型，本系统支持ＭＰＥＧ－４码流，同时向下兼容，也支持ＭＰＥＧ－和ＭＰＥＧ－２，实现函数为：

ＳｅｔＳｔｒｅａｍＴｙｐｅ（ｕｎｓｉｇｎｅｄｌｏｎｇｓｔｒｅａｍｔｙｐｅ）（ｃ）设置视频分辨率，实现函数为：

⑨

×１２０硕士擘住论文姐ＡＳＴＥＲ’Ｓ１ＨＥＳＩＳＳｅｔＶｉｄｅｏＲｅｓｏＩｎｔｉｏｎ（ｕｎｓｉｇｎｅｄｌｏｎｇｒｅｓｏｌｕｔｉｏｎ）；可调范围从７２０Ｘ４８０至Ｕ１７６

（ｄ）设嚣图象编码的水平一垂直比率，实现函数为：

ＳｅｔＡｓｐｅｃｔＲａｔｉｏ（ｕｎｓｉｇｎｅｄｌｏｎｇｒａｆｔｏ）

（ｅ）设置ＭＰＥＧ视频编码位速率，实现函数为：

ＳｅｔⅥｄｅｏＢｉｔｒａｔｅ（ｕｎｓｉｇｎｅｄｌｏｎｇｖｉｄｅｏＢｉｔｒａｔｅ）

（ｆ）检测是否有视频信号，实现函数为：

ＳｅｔＰａｕｓｅＷｈｅｎＮｏＳｉｇｎａｌ（ｕｎｓｉｇｎｅｄｌｏｎｇｅｎａｂｌ曲

（６）视频播放

为了程序的简单明了，本系统对于采集，播放定义两个创建ＦｉｌｔｅｒＧｒａｐｈ的函数，ＣｒｅａｔｅＣａｐｔｕｒｅＧｒａｐｈ（＞用来获取ＭＰＥＧ－４数据，ＣｒｅａｔｅＰｌａｙｂａｅｋＧｒａｐｈ（）用来播放视频数据。当需要某种操作时，调用相应的函数创建ＦｉｌｔｅｒＧｒａｐｈ，操作完毕即释放它。

为了能在系统运行时根据具体的操作来完成视频数据的采集与播放，再定义ＲｕｎＧｒａｐｈ

４．６．２０和ＳｔｏｐＧｒａｐｈ０用于运行ＦｉｌｔｅｒＧｒａｐｈ和停止ＦｉｌｔｅｒＧｒａｐｈ。ＮＰＥＧ－－４解码的软件实现

客户端接收到数据后，为了减轻网络抖动的影响，必须进行一定量的缓冲，才能交给下面的解码ｆｉｌｔｅｒ解码处理。动态地一边继续从网络接收数据，一边将得到的ＲＴＰ包进行重组。

此时，客户端开始播放的任务，要播放ＭＰＥＧ．４视频流，必须用ＭＰＥＧ－４解码器，在本系统中我们调用ｆｆｄｓｈｏｗ作为解码器。一个ＦｉｌｔｅｒＧｒａｐｈ要负责捕获视频，需要如下几步，如图４．１０，源过滤器（ＳｏｕｒｃｅＦｉｌｔｅｒ），读取从网络传到客户端接收缓冲区的视频数据；视频解码器（ｆｆｄｓｈｏｗＭＰＥＧ４ＶｉｄｅｏＤｅｃｏｄｅｒＦｉｌｔｅｒ）解压视频

Ｒｅｎｄｅｒｅｒ数据，最后在视频输出设备上显示视频数据，也就是通过视频渲染（Ｖｉｄｅｏ

Ｆｉｌｔｅｒ）后在显示器上显示。

图４．１０视频解码过程４５

第五章总结

随着视频压缩技术和网络传输技术的飞速发展，流媒体网络传输技术的日趋成熟，该技术已经深入到人们日常生活的方方面面。流媒体传输成为现代多媒体技术及网络技术的一个重要研究方向。随着该技术的成熟和发展，它还将对我们盼生活产生更加深远的影响。

在本设计中，本人通过收集、查阅相关资料，了解了视频压缩技术、网络协议、流媒体传输技术的基本原理。在研究了ＭＰＥＧ．４视频压缩技术的基础上，对它的几个关键技术环节进行了深入的学习和研究。对传输层协议进行研究比较分析，理解了它在流媒体实时传输系统中的应用特点，为系统设计奠定了充实的理论基础。在老师的指导下，拟定了系统的设计方案。

论文首先在对各个视频压缩技术进行比较后，选择ＭＰＥＧ－４运动图像压缩编码标准作为本系统的视频压缩技术，并详细研究了ＭＰＥＧ－４标准的内容和优势，它广泛应用于低码率传输。接着对网络传输协议进行分析比较，选用ＲＴＰ／ＲＴＣＰ协议作为本系统传输层协议，并深入分板了ＲＴＰ／ＲＴＣＰ的特点、内容。最后给出了本系统的总体结构和系统各个模块的解决方案，包括网络传输模块，网络接收模块，视频编码控制模块和视频播放模块等。本系统具有视频采集、播放、网络传输、网络接收、解压等功能，达到了ＭＰＥＧ－４网络组播的基本要求，能实时传输视频图像。

在设计实现阶段，本人通过编写、调试程序，提高了自己的系统分析和设计能力以及编写调试程序的能力，增加了系统开发的实际经验，同时在实践中增长了硬件、软件知识，加深了对计算机系统的认识。最后，完成了基于ＲＴＰ协议的视频流媒体实时传输系统的设计，所编写的代码能初步完成其功能，基本达到事预想的方案要求。

系统整体设计具有成本低廉，便于扩充，升级容易等优点。由于时间有限，该系统还有一些不完善之处：

（１）在设计过程中没有考虑安全性问题，任何安装了客户终端的用户均可

接收实时视频数据，在服务器端没有迸行客户验证。

系统只是在局域网内实现，同一时间容纳的客户端数量有限。

对网络上的时延、抖动、丢包等因素对于数据的实时传输质量的影响（２）（３）

还有待作深入的分析和研究，当网络情况比较差的时候必将对客户端

的播放质量产生较大影响。

（４）本系统实现点到多点的实时传输，但多点到多点的传输形式有待进一步研究实现。

参考文献

［１】ＬＩＵＤａｃｈｅｎｇ，ＺＨＥＮＧＹｏｎｇ，ＣＨＥＮＧＬｉｈｕｉ，ｃｔａ１．Ｍｏｎｉｔｏｒｅｆｆｅｃｔｉｖｅｉｎｆｏｒｍａｔｉｏｎ

ｍｅｔｈｏｄａｎｄｉｔｓａｐｐｌｉｃａｔｉｏｎ．ＭａｎｕｆａｃｔｕｒｉｎｇＴｅｏｈｎｏｌｏｇｙ＆ＭａｃｈｉｎｅＴｏｏｌ，２００４，５０４（７）：１５—１９（ｉｎＣｈｉｎｅｓｅ）

【２】林福宗．多媒体技术基础．北京：清华大学出版社，２０００

【３】Ｄ．Ｗｕ，Ｙ．Ｔ．Ｈｏｕ，ＹＱ．Ｚｈａｎｇ．ＳｔｒｅａｍｉｎｇｖｉｄｅｏＯＶｆｆｆｔｈｅＩｎｔｅｍｅｔ：ａｐｐｒｏａｃｈ铬ａｎｄ

ｄｉｒｅｃｔｉｏｎｓ．ＩＥＥＥＴｒａｍＯｌｌＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓＦｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，２００１，１１（１）：１．２０

［４】詹慧静．ＭＰＥＧ－４编码特性剖析及应用研究．武汉理工大学学报，２００５，（６）：

１０２．１０５

［５】薛文通，宋建社，袁礼海．图像压缩技术的现状与发展．计算机工程与应用，２００３，

３９（２）：６５．６７

【６】钟玉琢，王琪，贺玉文．基于对象的多媒体数据压缩编码匿际标准ＭＰＥＧ－－４及校

验模型．北京：科学出版社，２０００

［７】ＩＳＯ／ＩＥＣＪＴＣｌ／ＳＣ２９ＡＶＧｌ１ＤｏｃｕｍｅｎｔＮ２５０１．ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ－Ｇｅｎｅｒｉｃ

ＣｏｄｉｎｇｏｆＡｕｄｉｏ－ＶｉｓｕａｌＯｂｊｅｃｔｓ。Ｐａｒｔ２：Ｓｙｓｔｅｍｓ．［ＳＯ／／ＥＣ１４４９６—１，ＦｉｎａｌＤｒａｆｔＩｎｔｅｒｎａｔｉｏｎａｌＳｔａｎｄａｒｄ，Ｎｏｖ，１９９８

【８】ＩＳＯ／ＩＥＣＪＴＣｌ／ＳＣ２９／ＷＧｌ１ＤｏｃｕｍｅｎｔＮ２５０１．ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ－Ｇｅｎｅｒｉｃ

ｃｏｄｉｎｇｏｆＡｕｄｉｏ—Ｖｉｓｕａｌｏｂｊｅｃｔｓ，Ｐａｒｔ２：Ｖｉｓｕａｌ．ＩＳＯｆｌＥＣ１４４９６．２，ＦｉｎａｌＤｍｎＩｎｔｅｒｎａｔｉｏｎａｌＳｔａｎｄａｒｄ，Ｎｏｖ，１９９８

［９】李太君，吴泽晖．流媒体传输协议及其应用开发．计算机工程与应用，２００４，４０（３）：

１３８．１４１．

【１０】ＲＴＰ：ＡＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌｆｏｒＲｅａ－ＴｉｍｅＡｐｐｌｉｃａｔｉｏｎｓ．ＲＦＣ１８８９，１９９６．

（１１】ＳｃｈｕｌｚｒｉｎｎｅＨ，ＣａｓｎｃｒＳ，ＦｒｅｄｅｒｉｃｋＲ，ｅｌ讲．ＲＴＰ：ＡＴｒａｍ；ｐｏｒｔＰｒｏｔｏｃｏｌ

Ｒｅａｌ—ＴｉｍｅＡｐｐｌｉｃａｔｉｏｎｓ【ＥＢ，ｏＬ】．ＲＦＣ３５５０，２００３ｆｏｒ

【１２】ＲＴＰＰａｙｌｏａｄＦｏｒｍａｔ

【１３】础哼ＰａｙｌｏａｄＦｏｒｍａｔ

【１４１

２００３ｆｏｒＡＣ?３Ａｕｄｉｏ．ＲＩ＇Ｃ４１８４，２００５ｆｏｒＨ．２６４Ｖｉｄｅｏ．砌＇ｃｏｆ３９８４２００５ＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍｓ．ＲＦＣ３６４０，ＲＴＰＰａｙｌｏａｄＦｏｒｍａｔｆｏｒＴｒａｎｓｐｏｒｔＭＰＥＧ－４

【１５】ＲＴＰＰａｙｌｏａｄＦｏｒｍａｔｆｏｒＭＰＥＧ－４Ａｕｄｉｏ／ＶｉｓｕａｌＳｔｒｅａｍｓ．ＲＦＣ３０１６，２０００

［１６］董振亚，张拥军，彭字行．基于ＲＴＰ的ＭＰＥＧ－４视频传输．计算机应用研究，

２００３（７）；５２－５５

【１７】ＤａｐｅｎｇＷｕ，ＹｉｗｅｉＴｈｏｍａｓＨｏｕ．ＴｒａｎｓｐｏｒｔｉｎｇＲｅａｌ－ＴｎｎｅＶｉｄｅｏｏｖｅｒｔｈｅＩｎｔｅｍｅｔ：

ＣｈａｌｌｅｎｇｅｓａｎｄＡｐｐｒｏａｃｈｅｓ．ＰＲＯＣＥＥＤ玳ＧＳ

ＶｉｄｅｏＯＦＴＨＥ砸ＥＥ，Ｄｅｃｅｍｂｅｒ２０００，８８０孙：１８５５－１８７４，ｆ１８１ＣａｉＮ＇ＣＫｕＤ．ＴｒａｎｓｐｏｒｔｏｆＭＰＥＧ－２

ＮｅｔｗｏｒｋＣｏｎｇｅｓｔｉｏｎ

１９９９ｏｎｉｎＲｏｕｔｅｄＩＰＮｅｔｗｏｒｋｓ：ＥｆｒｅｃｔｓｏｆＴｒａｎｓｐｏｒｔＳｔｒｅａｍＥｒｒｏｒｓ．ＦｒａｎｃｅＩＤＭＳ’９９Ｃｏｎｆ，Ｏｃｔｏｂｅｒ

ａｎｄＣｏｎｆｃｒｍｃｅｓｗｉｔｈ［１９】ＳｃｈｕｌｚｒｉｎｎｃＨ．ＲＴＰＰｒｏｆｉｌｅｆｏｒＡｕｄｉｏＶｉｄｅｏＭｉｎｉｍａｌ

Ｃｏｎｔｒ０１．ＩⅡ’Ｃ１８９０．１９９６

ｆ２０１ＨｏｆｆｍａｎＤ＇ＦｅｍａｎｄｏＧ．ＲＴＰＰａｙｌｏａｄＦｏｒｍａｔｆｏｒＭＰＥＧ．１，ＭＰＥＧ－２Ｖｉｄｅｏ．

ＲＦＣ２２５０．１９９８

［２１】ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧｌｌＤｏｃｕｍｅｎｔＮ２５５２．ＭＰＥＧ－４

Ｖｅｒｓｉｏｎ１２．１．Ｄｅｅ１９９８ＶｉｄｅｏＶｅｒｉｆｉｃａｔｉｏｎＭｏｄｅｌ

ｏｆ【２２】ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧｌｌＤｏｃｕｍｅｎｔＮ３０５６．ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ－Ｃｏｄｉｎｇ

Ａｕｄｉｏ－ＶｉｓｕａｌＯｂｊｅｃｔｓ，Ｐａｒｔ２：ＶｉｓｕａｌＡｍｅｎｄｍｅｎｔ１：Ｖｉｓｕａｌｅｘｔｅｎｓｉｏｎｓ．ＩＳＯ／ＩＥＣ１４４９６－２，１９９９／Ａｍｄ．１，２０００（Ｅ），Ｊａｎ２０００

【２３】ＣＨＥＮＧＩ，ＢＡＳＵＡ．ＱｏＳｂａｓｅｄｖｉｄｅｏｄｅｒｉｖｅｒ），谢ｔｈｆｏｖｅａｔｉｏｎａｎｄｂａｎｄｗｉｄｔｈ

ｍｏｎｉｔｏｒｉｎｇ．ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＬｅｔｔｅｒｓ，２００３，２４（１５）：２６７５—２６８６．

【２４】ＷＩＥＢＥＫ，ＢＡＳＵ久Ｍｏｄｅｌｌｉｎｇｅｏｏｌｏｇｉｔａｌｌｙｓｐｅｃｉａｌｉｚｅｄ

Ｐａｔｔｅｒｎｂｉｏｌｏｇｉｃａｌｖｉｓｕａｌｓｙｓｔｅｍｓ．Ｒｅｃｏｇｎｉｔｉｏｎ，１９９７，３０（１）：１６８７－１７０３．

ｏｆａｕｄｉｏ?ｖｉｓｕａｌ【２５】ＩＳＯ／ＩＥＣ１４４９６－６．Ｃｏｄｉｎｇ

Ｉｎｔｅｇｒａｔｉｏｎｏｂｊｅｃｔｓ—Ｐａｒｔ＆ＤｅｌｉｖｅｒｙＭｕｌｔｉｍｅｄｉａ

ｏｂｊｅｃｔｓ．ＩＥＥＥＦｒａｍｅｗｏｒｋ（ＤＭＷ）Ｈ，ＷａｎｇＹ．ＭＰＥＧ－４

Ｍ，Ｊａｕｒｅｇｕｉｚａｒｒａｔｅｃｏｎｔｒｏｌｆｏｒｍｕｌｔｉｐｌｅｖｉｄｅｏ【２６】Ｖｅｔｒｏ【２７１Ａ，ＳｕｎＴｒａｎｓ，ＣｉｒｃｕｉｔｓＳｙｓｔ，ＶｉｄｅｏＲｏｎｄａＪＩ’ＥｃｋｅｒｔＴｅｃｈｎｏｌ，１９９９，９（１）：１８６?１９９．Ｆ，ｅｔａ１．Ｒａｔｅｃｏｎｔｒｏｌａｎｄｂｉｔａｌｌｏｃａｔｉｏｎｆｏｒ

ＭＰＥＧ－４．ＩＥＥＥＴｒａｎｓ，ＣｉｒｃｕｉｔｓＳｙｓｔ，ＶｉｄｅｏＴｃｃｈｎｏｌ，１９９９，９（８）：１２４３—１２５８．

ａｒｃｈｉｔｅｃｔｕｒｅｆｏｒｌｘａｎｓｐｏｒｔｉｎｇ

Ｓｙｓｔ，Ｖｉｄｅｏ【２８】ＷｕＤ，ＨｏｕＹＴ’ＺｈｕＷ，ｅｔａ１．Ｏｎｅｎｄ—ｔｏ—ｅｎｄＭＰＥＧ－４ｖｉｄｅｏｏｖ盯ｔｈｅ

９２３—９４１．ｉｎｔｅｍｅｔ．ＩＥＥＥＴｒａｍ，ＣｉｒｃｕｉｔｓＴｅｃｈｎｏｌ，２０００，ｌＯ（６）：

［２９】宋冈Ⅱ，杨显富．实时流媒体传输及其协议．成都大学学报（自然科学版），２００５（３）

【３０】钟玉琢，向哲，沈洪．流媒体和视频服务器．北京：清华大学出版社，２００３．

【３１】ＢｅａｕＷｉｌｌｉａｍｓｏｎ．Ｄｅｖｅｌｏｐｉｎｇ

版社。２０００ＩＰＭｕｌｔｉｃａｓｔＮｅｔｗｏｒｋｓ，顾金星译．北京：电子工业出

ｆ３２］鲁士文．多媒体网络技术与应用．北京：清华大学出版社，２００２

［３３】Ｋｅｎｎｅｔｈ

【３４】Ｈｅｎｎｉｎｇ

（３５】ＣｏｌｉｎＤＲｅｅｄ．ＴＣＰ佃基础．北京：电子工业出版社，２００２．Ｓｃｈｕｌｚｒｉｎｎｅ，ＲＴＰ：ＡｂｏｕｔＲＴＰａｎｄｔｈｅＡｕｄｉｏ－ＶｉｄｅｏＴｒａｎｓｐｏｒｔＷｏｒｋｉｎｇＧｒｏｕｐ．ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｃｏｌｕｍｂｉａ．ｅｄｕ／－ｈｇｓ／ｒｌｐ

４８Ｐｃｒｋｉｎｓｌ．Ｉｍ：ＡｕｄｉｏａｎｄＶｉｄｅｏｆｏｒｔｈｅＩｎｔｅｒｎｅｔ．ＮｅｗＹｏｒｋ：ＡｄｄｉｓｏｎＷｅｓｌｅｙ，

⑨

２００３

２００２硕士荦位论文ＭＡＳＴＥＲ’ＳＴｌ－ＩＥＳＩＳ【３６】余兆职，李晓飞，陈来春．ＭＰＥＧ标准及其应用．北京：北京邮电大学出版社，

【３７】ＲａｏＫＲ’ＺｏｒａｕＳＢ，ＤｍｇｏｒａｄＡＭＩ．多媒体通信系统技术、标准及网络（影印版）

北京：清华大学出版社，２００３

【３８】ＲｏｓｅｎｂｅｒｇＪ，ＳｃｈｕｌｚｒｉｎｎｅＨ．Ｓａｍｐｌｉｎｇ

２７６２，２０００ｏｆｔｈｅＧｒｏｕｐＭｅｍｂｅｒｓｈｉｐｉｎＲＴＰ．ＲＦＣ

【３９］邱小燕，吴产乐，叶刚等．ＲＴＰ协议中ＲＴＣＰ传输间隔算法．武汉大学学报（理学

版），２００５（２），７４－７６

【４０】ＲｏｓｅｎｂｅｒｇＪ，ＳｃｈｕｌｚｒｉｎｎｅＨ．ＴｉｍｅｒＲｅｃｏｎｓｉｄｅｒａｔｉｏｎｆｏｒＥｎｈａｎｃｅｄ彤ｒＰ

Ｓｃａｌａｂｉｌｉｔｙ［Ａ］．Ｓ?ｅｖｅｎｔｅｅｎｔｈＡｎｎｕａｌＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅｏｆｔｈｅＩＥＥＥＣｏｍｐｕｔｃｒａｎｄＣｏｍｍｕｎｉｅａｔｉｏｎｓＳｏｃｉｅｔｉｅｓ，１９９８，１，２３３－２４１．

（４１］黄家传，王福豹，段渭军．ＭＰＥＧ－４的ＲＴＰ封装技术及其应用．计算机应用研究，

２００５（８）：１５８－１６０

［４２】许先斌等．运用ＲＴＰ协议实时传输ＭＰＥＧ－４流．计算机工程与设计，２００３（２）：

５７．５９

［４３】董振亚，张拥军，彭字行．基于ＩＨＰ的ＭＰＥＧ－４视频传输．计算机应用研究，２００３，

２０（７）：５２—５５

［４４】Ｂａｓｓｏ气Ｖａｒａｋｌｉｏｔｉｓ

ＩｎｔｅｒｎａｔｉｏｎａｌＳ．，ＴｒａｎｓｐｏｒｔｏｆＭＰＥＧ２４ｏｖ豇口／ＲＴＰ．２０００砣ＥＥＣｏｎｆｅｒｅｎｃｅ，２０００，１０６７－１０７０．

ｏｆＭＰＥＧ－４ＥｌｅｍｅｎｔａｒｙＳｔｅａｍｓ．ＲＦＣ３６４０，２００３

ＭＰＥＧ－４ＥｌｅｍｅｎｔａｒｙＳｔｅａｍｓ．ｄｒａｆｌ－ａｖｔ－ｍｐｅ９４．

ＭＰＥＧ－４Ｓ位ｅａｍｓ．Ｄｒａｆｔ－ｉｅｔｆ－ａｖｔ－ｍｐｅ９４．［４５】ＲＴＰ【４６】ＶａｎＰａｙｌｏａｄＦｏｒｍａｔｆｏｒＴｒａｎｓｐｏｒｔＤｅｒＭｅｅｒ，ｅｔａ／Ｔｒａｎｓｐｏｒｔｏｆｓｉｍｐｌｅ一０５，２００２［４７】Ｂａｓｓｏ，ｅｔ

【４８】Ｃｕｒｅｔ，ｅｔａ１．ＲＴＰＰａｙｌｏａｄＦｏｒｍａｔｆｏｒｍｕｌｔｉｓｌ－０４，２００２ａ１．ＲＴＰＰａｙｌｏａｄＦｏｒｍａｔｆｏｒＭＰＥＧ－４ＨｅｘＭｕｌｔｉｐｌｃｘｅｄＳｔｒｅａｍｓ．ｄｒａＲ．

ｃｕｒｅｔ?ａｖｔ－ｒｔｐ－ｍｐｅ９４－ｆｌｅｘｍｕｘ－０３，２００２

【４９】郝智泉，吕汉兴，程臻．基于局域网的视频图像传输与监视系统．计算机应用研

究，２００３（６）：６１．６３

【５Ｉ叩沈进棋，阮锋，诸静．基于Ｗｅｂ的视频图像的实时传输．计算机工程，２００５（Ｉ）：

１８７—１８８

［５１］赵进，叶梧，冯穗力．基于ＲＴＰ协议族的流媒体系统设计和实现．计算机工程，

２００５（１）：１９５—１９７

【５２］ｈｔｔｐ：／／ｒｅｓｅａｒｃｈ．ｅａｒｎ．ｕｈａｓｓｅｌｔ．ｂｅ／～ｊｏｒｉ／ｐａｇｅ／ｉｎｄｃｘ．ｐｈｐ？ｎ＝ＣＳ．Ｊｒｔｐｌｉｂ［５３】陆其明．ＤｉｒｅｃｔＳｈｏｗ开发指南．北京：清华大学出版社，２００３

⑨顽士擎位论文

ＭＡＳＴＥＲｌＳＴＨＥＳｔＳ

硕士期间发表的论文

１葛镜，张国平，王磊．基于蹦ＩＦ体系的ｂＩＰＥＧ－４传输．有线电视技术，２００６，１２２周金友，张国平，沈亚琦，付晓军。葛镜．基于ＲＴＰ协议的ＩＰＴｖ电视机顶盒．有线电视技术，２００６，０１

３吴四清，张国平，葛镜．基于内容检索的视频分割技术的研究．电脑与信息技术２００６，０５

４吴四清，张国平，葛镜，ＭＰＥＣ，－４视频编码核心思想与关键技术．科技咨询２００６，０７５王保存，张国平，，葛镜，王磊．一种改进的小波变换方法对喇曼光谱去噪．２００７，０７

６张燕，张国平，刘文冈，葛镜．ＩＰＴＶ中基于集群技术的ＬＶＳ的研究与应用．微计算机信息，２００８，０５

７熊伦，张国平，葛镜．基于自相关函数的激光散斑尺寸的测量．光学与光电技术，２００８。０６

⑨硕士学位论文

ＭＡＳＴＥＲ’ＳＴＨＥＳＩＳ

致谢

在此硕士论文完成之际，我衷心感谢所有关心、帮助和支持我的人。

首先，我要感谢我尊敬的导师张国平教授。三年来，张老师给予我悉心的指导和亲切的关怀。张老师知识渊博，治学严谨，他不仅传授给我理论知识和实践经验，更以严谨的治学态度和实事求是、认真勤勉的工作作风为我树立了表率。在学习上，张老师对我悉心指导，鼓励我大胆创新，抓住机会，扩展研究领域；在思想上，他对我循循善诱，让我时时感到前进的动力。感谢张老师对我的进步付出的心血。从他的言传身教中我不仅学到了知识，而且懂得了做人的道理。耳濡目染饱废寝忘食的科研精神、一丝不苟的工作作风、认真负责的教学品格也将使我终生受益。在此，谨向张老师表示衷心的感谢和诚挚的谢意。

其次，我要感谢三年来给予我关心和帮助的华中师范大学电信系的各位老师们，还要感谢余泽太老师在程序设计过程中给与我的专业指导。

我还要感谢华中师范大学光电予实验室，那里有着良好的实验条件和舒适的工作环境，活跃的学术氛围。感谢实验室的每一位同学，正是同他们的相互切磋和讨论，使我在遇到困难时总是能很快地找到解决的途径，感谢我的师姐陈明宏同学为我提供的一些有用资料。同时，也希望我们实验室能多出优秀的学术成果，希望实验室的师弟师妹们能把我们实验室的优秀传统发扬光大！

最后，我要特别感谢我的父母，感谢他们对我学业的鼓励与督促，让我～路坚持下来。５ｌ

基于RTP协议的视频流媒体实时传输

作者：

学位授予单位：葛镜华中师范大学

相似文献(9条)

1.期刊论文 许先斌.朱平.安晖 运用RTP协议实时传输MPEG-4流 -计算机工程与设计2003,24(2)

在简述RTP协议原理的基础上介绍了用于MPEG-4流实时传输的RTP载荷格式,详细阐明了MPEG-4视觉和音频RTP载荷格式的定义原则、相关RTP头部字段的使用方法及分片原则,给出了基于RTP的MPEG-4流实时传输系统的基本体系结构及其实现.

2.会议论文 戴琼海.谭仕勇 MPEG-4视频流的实时传输 2002

MPEG-4是一个全新的多媒体编码标准,采用了基于对象和模型的编码方法.本文简要总结了MPEG-4视频编码标准的各种特点,对MPEG-4视频流的网络实时传输提出了各种评估标准,并针对MPEG-4视频流在实时传输中面临的各种困难介绍了相应的解决方案.MPEG-4视频流的实时传输

3.学位论文 邓家义 基于MPEG-4的视频实时传输关键技术研究 2002

该针对目前互联网的现状,就如何有效利用网络带宽以及降低丢包对视频质量的影响进行了研究,提出一种基于IP协议的端到端的MPEG-4视频实时传输框架.该框架由三个部分组成:网络端到端的实时传输控制、MPEG-4自适应的视频编码和端到端的差错控制.端到端的传输控制采用实时传输协议(RTP)来传输MPEG-4视频,同时利用实时传输控制协议(RTCP)获取网络丢包状况,通过反馈机制来估计网络可用带宽.基于率失真模型的码率控制理论,MPEG-4视频编码器自适应地调整编码输出速度,获得与网络可用带宽匹配的视频流.最后在局域网上设计了一个实时视频传输的模拟系统,模拟结果表明系统能够在不同的网络条件下获得较好的MPEG-4视频质量,并较好利用了网络带宽资源.

4.学位论文 余兆钗 基于MPEG-4的网络视频监控系统视频实时传输的研究 2005

本文首先介绍了MPEG-4标准及其特性，比较深入地分析了MPEG-4压缩算法，阐述了实时传输和实时传输控制协议RTP/RTCP。然后根据网络视频监控系统的特性选择了合适的网络传输方案，对传输网络做了设计。 　　本文分析了以VOP为单位的组包算法，并且作了改进，为了最大限度减少包数同时兼顾监控系统的实时性要求，采用一个RTP包装载多个VOP的策略；提出了交叉组包的策略。阐述了改进后的组包算法，对装载MPEG-4视频流的RTP包的载荷格式进行设计。 　　本文通过分析适用于MPEG-4视频的网络拥塞控制算法，提出了网络拥塞反馈控制算法的改进和优化思想，为了减小因为拥塞控制而产生的抖动问题，采取平稳增长因子的策略，阐述了改进后的拥塞控制算法。通过实验表明了改进后的组包算法大大降低了RTP包的数量，改进后的拥塞控制算法比较有效地减小了视频传输的抖动。

5.期刊论文 余兆钗.刘维娜 基于MPEG-4的网络视频监控系统实时传输的设计 -福建电脑2007(9)

本文介绍了MPEG-4视频压缩算法的一般过程,描述了实时传输协议(RTP)和实时传输控制协议(RTCP)的原理,设计了视频实时传输系统,针对MPEG-4视频编码的特性,使用以VOP进行封装数据包的策略,并对RTP数据包的格式进行了详细的设计.

6.期刊论文 谭仕勇.戴琼海.陈慧蓉 MPEG-4视频的实时传输 -计算机工程2001,27(11)

MPEG-4是一个全新的多媒体标准,采用了基于对象和模型的编码方法.简要总结了MPEG-4视频编码的各种特点,对网络实时传输MPEG-4视频提出了各种评估标准,并针对面临的困难介绍了相应的解决方案.

7.期刊论文 丁兵.张占军.DING Bing.ZHANG Zhan-jun 基于RTP MPEG-4视频流传输的研究 -装甲兵工程学院学报2005,19(1)

视频传输是当前国内外研究的重要课题,尤其就对传输过程中Qos的控制,在当前网络质量不高的情况下进行视频传输具有重要的作用.研究了RTP、RTCP等多媒体实时传输技术的原理,具体阐述和讨论了RTP的实时传输MPEG-4技术以及RTCP的传输控制技术,探讨了RTP/RTCP在战术互联网中MPEG-4视频实时传输中的实现.

8.学位论文 李安明 基于Internet的MPEG-4视频流实时传输系统研究 2004

随着Internet的流行,个人计算机处理能力的提高,以及视频压缩技术的发展,人们对实时Internet视频服务,如视频电话、视频会议和远程教学等的需求不断增长,因此,对Internet视频实时传输的研究,无论在科研还是在应用领域都具有非常重要的意义.本文介绍了一种基于Internet的点对点MPEG-4视频流实时传输系统.我们以实时传输协议(RTP)和实时传输控制协议(RTCP)为基础,以RTP/UDP/IP为传输协议体系,采用最新的视频编码标准MPEG-4,实现了以校园网为基本应用环境,实际可以面向Internet的,编码速率自适应可调的点对点视频传输系统.系统的主要特点是利用RTP/RTCP协议的相关信息,设计出了优良的MPEG-4视频数据封装策略,从而最小化了视频数据包丢失对视频回放质量的影响,同时,根据RTP/RTCP协议报文头部提供的信息,提出了根据数据包丢失率自适应调节视频编码器编码速率的算法,实现了随网络带宽变化在一定范围内调节码率的功能,尽可能的利用了网络闲置带宽和防止网络的拥塞.本文在结构安排上,首先介绍与视频传输相关的技术,分析在Internet上传输视频的性能要求,接着给出最新的视频编码标准MPEG-4的特点和一组多媒体传输协议,并比较这些协议优缺点,最终确定RTP和RTCP协议作为本系统的选择.然后从系统的整体结构着手,详细描述了系统的开发环境、协议体系和工作流程,并分别对缓冲器设计、RTP/RTCP协议、算法设计等各部分进行了程序实现.经过对系统进行测试,证实了本文的方案效果良好,视频传输质量具有很高的稳定性和自适应性,最后指出了系统的优缺点以及后续改进方向.

9.期刊论文 张宛方.苏鸿根 基于RTP/UDP/IP协议实时传输MPEG-4流媒体文件 -计算机工程与设计2004,25(8)

在简述RTP/RTCP的协议原理的基础上,介绍了基于RTP/UDP/IP实时传输MPEG4流媒体文件的方法,并给出了一个实时传输系统的基本体系结构及其实现.

本文链接：http://d..cn/Thesis_Y1122128.aspx

下载时间：20xx年11月18日