北京联合大学
嵌入式系统设计与应用
调研报告
学 院：
专 业：
课 程：
班 级：
姓 名：
学 号：
年 月 日
基于流媒体技术的网络化嵌入式视频监控系统
北京联合大学 XXX
原作者：陈耀武,伍 鹏, 汪乐宇
(浙江大学仪器科学与工程学系,浙江杭州310027)
摘 要:视频监控系统是日常生产生活中的重要辅助设备,提出并研究设计了基于流媒体技术的网络化嵌入式视频监控系统.以高性能嵌入式处理器、DSP处理器和嵌入式Linux操作系统为核心进行系统设计.系统通过DSP处理器进行视频信号的MPEG4数据压缩,在嵌入式处理器上采用流媒体技术通过网络传播实时视频流.详细论述了系统设计、硬件设计和软件设计,并给出了实际运行结果.
关键词: 视频监控系统; 流媒体; MPEG4; 嵌入式系统
Stream media technology based network embedded video monitoring system
CHEN Yao-wu, WU Peng, WANG Le-yu
Abstract: The video monitoring system is an important assistant device in our life. A network embedded video monitoring system based on the stream media technology is presented and developed. The system is designed of the embedded processor, the DSP processor and embedded Linux operating system. The video compression part of the system is based on the MPEG4 algorithmia the DSP processor, while multicasting the real time video stream to the network based on the stream media technology via embedded processor. The system design, hardware design, software design, and the practical operating results are discussed in detail.
Key words: video monitoring system; stream media; MPEG4; embedded system
视频监控系统是日常生产生活中的重要辅助设备,应用十分广泛.当前视频监控系统正逐步由模拟化走向数字化.随着视频压缩技术和网络技术的发展,开发新一代的基于计算机网络和多媒体MPEG4压缩算法的视频监控系统已成为整个行业技术发展的主要方向之一[1,2].本文提出并研究设计了一种基于流媒体技术的网络化嵌入式视频监控系统.该系统采用目前计算机领域最为活跃的嵌入式系统技术,以高性能嵌入式处理器、DSP处理器和嵌入式Linux操作系统为核心对嵌入式视频监控模块进行设计,并采用流媒体技术,通过IP多播技术、RTP/RTCP协议[3]实时传送视频监控流.该系统跟传统的模拟监控系统和基于PC组合的计算机数字监控系统相比有以下优势:(1)布控区域广泛.嵌入式数字监控系统的服务器和终端设备可直接连入网络,没有线缆长度和信号衰减的限制,同时网络是没有距离概念的,因此彻底抛弃了地域的概念,扩展了布控区域.(2)可组成非常复杂的监控网络.如果采用基于嵌入式流媒体服务器为核心的监控系统,由于流媒体服务器输出已完成模拟到数字的转换并压缩,采用统一的协议在网上传输,支持跨网关,跨路由器的远程视频传输,所以其在组网方式上和基于PC平台的监控方式有极大的不同,能支持更为复杂的监控网络.(3)性能稳定可靠,无需专人管理.嵌入式数字监控系统用嵌入式实时多任务操作系统,视频压缩和流媒体服务功能集中到一个体积很小的设备内,直接连入局域网或广域网,即插即看,系统的实时性、稳定性、可靠性大大提高.所以,无需专人管理,适合于无人值守的环境.
1 系统的设计原理
1.1 系统总体设计
基于流媒体技术的网络化嵌入式视频监控系统如图1所示.安装在现场的嵌入式视频监控模块从摄像头获得原始的视频信号,经过硬件压缩成MPEG4视频数据,然后通过流媒体服务器转换成流媒体格式,从以太网接口实时传送到计算机网络上;实时监控客户端连接到计算机网络上,从嵌入式视频监控模块获得MPEG4视频数据,通过流媒体视频播放软件实时地解压MPEG4视频数据并播放,而且该系统支持多客户端同时监控.
1.2 嵌入式视频监控系统硬件设计
嵌入式视频监控系统的硬件主要分为两大部分:DSP视频硬件压缩子模块和嵌入式处理器子模块.DSP视频硬件压缩子模块以美国ANALOGDEVICES公司最新推出的DSP处理器BlackfinBF533[5]为核心,实现硬件的MPEG4视频数据压缩.Blackfin BF533是一款新型的高性能、低功耗的音视频DSP,其片内有Blackfin处理器核,主频高达600 MHz,完全适合MPEG4等复杂音视频的压缩运算;并且片上的增强型动态电源管理模块实现了极低功耗的解决方案,所以该DSP主要面向消费类电子、音视频处理、VoIP等应用领域.在BF533芯片外围扩展了1 Mbyte闪存(Flash),用于存放MPEG4视频压缩算法程序代码和参数变量;扩展32 Mbyte的同步动态数据存储器(SDRAM),用于存放数据和运行程序.嵌入式处理器子模块需要运行嵌入式操作系统和嵌入式流媒体服务器,并扩展本地MPEG4视频数据回放,所以选用了INTEL公司的最新嵌入式处理器XScale PXA261[6]作为整个系统的控制.PXA261是XScale PXA26x新系列中的一款高度集成化的嵌入式处理器,它集成了Intel XScale Mi-croarchitecure处理器核心,16 Mbyte的片内闪存,LCD控制器,USB从端控制器,I2S,SSP,AC97等一系列多媒体处理模块.由于其高度的集成性和低功耗特性,PXA261十分合适多媒体处理、手持设备、PDA等应用领域.在PXA261周围还外扩了32Mbyte的SDRAM用于存放数据和运行程序;外扩了USB主端控制器,这样可以为系统加入多种USB设备;外接LCD控制器可以本地回放视频数据和提供人机交互;外扩的以太网接口可以实现视频网络传输的需要.
图2表明了整个硬件系统的框架结构和数据流程.首先通过摄像头获得原始视频信号,送入视频A/D采样输入Blackfin BF533作MPEG4压缩;然后BF533把压缩得到的MPEG4数据通过高速SPI接口送入XScale嵌入式处理器;运行有嵌入式Linux操作系统的XScale处理器把MPEG4数据转化为流媒体数据格式,通过以太网接口传送到计算机网络.XScale嵌入式处理器通过串口向DSP发送命令.
1.3 嵌入式视频监控系统软件设计
在该系统高性能的硬件基础上,嵌入式视频监控系统软件包括两个大的层次:嵌入式Linux操作系统和嵌入式流媒体服务器软件(不包括DSP固件MPEG4压缩算法程序),如图3所示.
嵌入式Linux操作系统越来越多地成为嵌入式系统设计的主流.其具有任务调度、存储管理、消息队列、中断处理等现代操作系统特征;并且针对嵌入式系统进行了优化,具有体积小、固化容易、现场实时反应能力强、可靠性好等特点;而且操作系统本身包含TCP/IP协议栈,以及大量跟硬件相关的驱动程序.另外Linux操作系统上的开发资源十分丰富,为嵌入式软件开发人员提供了良好的开发平台.硬件驱动程序位于嵌入式Linux操作系统之中,是上层应用软件和下层嵌入式硬件之间的唯一桥梁.对于特定的嵌入式硬件就需要编写特定的驱动程序.在该系统中主要开发了高速SPI接口驱动程序模块,这样上层嵌入式流媒体服务器就可以通过SPI接口驱动来接受DSP压缩好的MPEG4视频数据.嵌入式流媒体服务器是系统嵌入式软件设计的核心部分.首先通过串口驱动程序来设置DSP的压缩过程并启动压缩,接着通过高速SPI驱动程序获得DSP压缩好的MPEG4数据,转换其为适于流式传输的数据后通过基于IP多播技术的实时传输协议RTP(realtime transfer protocol)、实时传输控制协议RTCP(RTP control protocol)、会话描述协议SDP(session description protocol)[4]等一系列标准的IP实时多媒体数据传输协议传送到网络上.
1.4 嵌入式流媒体服务器软件详细设计
嵌入式流媒体服务器整个软件采用C++语言编写,图4是该软件的静态UML类图设计.
如图4所示,整个系统其实就是由CMediaFlow类所代表的视频媒体数据流.数据流由一系列节点串连而成.抽象类CMediaNode类抽象代表这些一系列的节点,每一个节点其实就是一个线程,而每个线程都有一个消息队列(CMsgQueue类),用来接受相应的消息(CMsg类)作出处理动作.具体来讲,CMediaSource类派生至CMediaNode类代表所有数据流源头的节点,也就是数据流的入口点.同样的,CMediaSink类也派生至CMediaNode类代表所有数据流的接受节点,可以用来表示数据流的出口点.CMediaFrame类代表这个数据流中真正的数据,它从数据源流向数据流的出口.CVideoSource类是派生至CMediaSource类,代表视频数据的入口点,它调用嵌入式Linux操作系统的SPI驱动来获得实时的视频数据.CRtpTransmitter类派生至CMediaSink类,代表视频数据的出口点,它封装了基于流媒体技术的网络化嵌入式视频监控系统对网络RTP/RTCP协议的操作,把视频数据流直接发送到网络上.CHttpServer类实现了一个简单的HTTP服务器的功能,主要是可以通过HTTP协议传送SDP文件给客户端,客户端获得SDP文件后就可以根据SDP文件的描述信息来获得视频流的IP多播包.CSdpFile类实现了对SDP会话描述协议文件的操作,根据当前的视频流配置信息产生SDP文件.图5为嵌入式流媒体服务器软件UML动态序列图.具体的动态流程描述如下:
(1)系统初始化过程
程序入口main函数首先创建CMediaConfig类对象pConfig,并从配置文件里获得配置信息而初始化该对象.pConfig对象里面包含了整个系统的配置信息,比如视频源类型、视频压缩编码器类型、网络传输的设置等等.根据pConfig对象的配置来创建类CMediaFlow的对象pFlow,并且Start这个数据流.pFlow对象会去创建视频数据源对象CVideoSource和数据流的出口对象CRtpTransmitter.用CVideoSource的AddSink操作告诉CRtpTransmiter类的对象是数据源的接收者.启动CRtpTransmitter的对象,同时创建CSdpFile类对象,并通过GenerateSdpFile操作来产生SDP描述文件.创建CHttpServer类对象,并启动HTTP server服务,提供SDP文件下载.
(2)视频流处理发送过程.
pFlow对象调用CVideoSource类对象的StartVideo操作来启动视频流.从SPI驱动获得MPEG4的数据帧,接着创建CMediaFrame类的对象pFrame,用ForwardFrame操作把MPEG4数据帧送入接受者CRtpTrans-mitter类的对象.CRtpTransmitter类的对象调用DoSendFrame函数通过网络发送该MPEG4数据帧.CVideoSource类对象通过RealseFrame操作释放该MPEG4数据帧,并销毁pFrame对象.重复以上过程就可以得到连续的视频流数据.
(3)中止该视频流的过程.
Main函数调用pFlow对象的Stop操作来中止该视频流.pFlow对象会依次去停止和销毁CVideoSource类对象和CRtpTransmitter类对象,删除SDP文件,销毁CS-dpFile类对象,停止和销毁CHttpServer类对象.Main函数销毁pFlow对象,销毁pConfig对象并结束程序.
1.4 客户端视频监控软件的设计
由于服务器端采用标准的RTP协议,客户端播放软件只要遵循该协议,就可以获得视频流.服务器端采用IP多播技术,只需发送一份数据包就可以支持多客户端同时监控,而不会增加服务器的负担.一般来说,客户端只要安装有与DSP的MPEG4压缩算法相应的解码器,然后使用Re-alOne等标准播放软件都可以作视频流的播放了.也可以根据RTP协议,自己编写客户端播放软件来进行视频监控.
2 系统实践
该系统已经在实验室和一些现场进行过系统实践,如图6和图7的屏幕截图所示.
3 结 论
根据当前计算机网络技术和视频数据压缩技术的发展现状,提出并研究设计了一个基于流媒体技术的网络化嵌入式视频监控系统.该系统以高速发展的嵌入式网络技术为核心进行设计,具有很好的可靠性和性能价格比.该系统在一定应用场所已得到了试验应用.
参考文献:
[1]GREIFFENHAGEN M,COMANICIU D,NIEMANNH,et al.Design,analysis and engineering of videomonitoring systems: an approach and a case study[J].Proceedings of the IEEE, 2001,90(10):1498-1517.
[2] Zingirian Baglietto Maresca, Migliardi.MPEG Coding of Highway Monitoring Video Sequences[M]. Univer-sity of Genoa, Italy: Internal Report DIST,1996.
[3]SCHULZRINNE H, CASNER S, FREDERICK R,et al. RTP: a transport protocol for real-time applica-tions[J].RFC3550, 2003.
[4] HANDLEY M, JACOBSON V. SDP: session descrip-tion protocol[J].RFC2327, 1998.
[5]ADSP-BF531/ADSP-BF532/ADSP-BF533.BLACKfinEmbedded Processor Preliminary Data Sheet[M].Ana-log Devices, Inc, 2003.
[6] Intel Corporation.Intel PXA26x Processor Family Developer's Manual[M], 2003.
论文认识体会
这篇论文写的是关于基于流媒体技术的网络化嵌入式系统在视频监控中的应用。通过阅读这篇论文，我认识到现如今随着网络、通信和数字信息技术的不断进步，监控系统的组成模式也在快化和发展中。视频监控系统是安全防范系统的组成部分，它是一种防范能力较强的综合系统。视频监控以其直观、方便、信息内容丰富而广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，涌现出大量的嵌入式视频监控系统。视频监控技术的发展大致可分为四个阶段：闭路电视系统构建的模拟系统、数字信号控制的模拟视频监控系统、数字硬盘录像设备为核心的视频监控系统和现在的数字网络视频监控系统。
我认为论文中设计的视频监控之所以采用嵌入式Linux系统是因为嵌入式Linux操作系统越来越多地成为嵌入式系统设计的主流.其具有任务调度、存储管理、消息队列、中断处理等现代操作系统特征;并且针对嵌入式系统进行了优化,具有体积小、固化容易、现场实时反应能力强、可靠性好等特点;而且操作系统本身包含TCP/IP协议栈,以及大量跟硬件相关的驱动程序.另外Linux操作系统上的开发资源十分丰富,为嵌入式软件开发人员提供了良好的开发平台.硬件驱动程序位于嵌入式Linux操作系统之中,是上层应用软件和下层嵌入式硬件之间的唯一桥梁.对于特定的嵌入式硬件就需要编写特定的驱动程序.在该系统中主要开发了高速SPI接口驱动程序模块,这样上层嵌入式流媒体服务器就可以通过SPI接口驱动来接受DSP压缩好的MPEG4视频数据.嵌入式流媒体服务器是系统嵌入式软件设计的核心部分。
通过这篇论文我体会到嵌入式系统已经涉及到生活中各项领域，不仅是视频监控领域，还有手机，PDA，机顶盒，高清电视，路由器，汽车电子，智能家电，医疗仪器，航天设备等等这些都是嵌入式系统的典型应用。嵌入式系统将会有更加广阔的发展空间。
课程总结
通过8周的嵌入式系统课程学习，我对嵌入式系统以及ARM微处理器有了更加深刻的认识。以往我对嵌入式系统是极其陌生的，并且认为这是非常难理解和学习的。但经过了上学期微机原理和本学期的嵌入式系统课程，我对这个系统有了全新的认识。
课本对该系统的描述：嵌入式系统是“控制、监视或者辅助装置、机器和设备运行的装置”。这主要是从应用上定义的，从中可看出嵌入式系统是软件和硬件的综合体。但上述定义并不能充分体现出嵌入式系统的精髓，目前国内一个普遍被认同的定义是：以应用为中心、以计算机技术为基础、软件硬件可裁剪、适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。
我对这个系统的理解是这样的：嵌入式系统是集系统的应用软件与硬件于一体，类似于 PC 机中 BIOS 的工作方式，具有软件代码小、高度自动化、响应速度快等特点，特别适合于要求实时和多任务的体系。不仅如此，我认为嵌入式系统是面向用户、面向产品、面向应用的，嵌入式系统是与应用紧密结合的，它具有很强的专用性，必须结合实际系统需求进行合理的裁减利用。嵌入式系统和具体应用有机地结合在一起，它的升级换代也是和具体产品同步进行，因此嵌入式系统产品一旦进入市场，具有较长的生命周期；嵌入式系统是将先进的计算机技术、半导体技术和电子技术和各个行业的具体应用相结合后的产物。这一点就决定了它必然是一个技术密集、资金密集、高度分散、不断创新的知识集成系统；
除了嵌入式系统，我对ARM微处理器的印象也不错。这个处理器具有以下优点：体积小、低功耗、低成本、高性能；支持 Thumb(16位)/ARM(32位)双指令集，能很好的兼容 8/16 位器件；大量使用寄存器，指令执行速度更快；大多数数据操作都在寄存器中完成；寻址方式灵活简单，执行效率高；指令长度固定。
除了课程，在实验课上我也广泛接触了嵌入式技术和ARM，实验中用到但是OURS-A8RP 教学实验机硬件平台，实验机核心板上使用的 OMAP3530 芯片是 TI 公司推出的一款多核处理器，是专门为智能手机、GPS 系统和笔记本电脑等低功耗便携式应用而设计。实验课中，我做了通过 SD 卡烧写镜像到 NAND Flash，数码管实验和LED点阵实验，我感受到了以 Linux 操作系统作为教学实验机软件平台的强大的功能。从而让我更加深刻的理解了嵌入式系统是以应用为中心，以计算机技术为基础、软硬件均可裁剪、适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。
通过这次课程学习，我知道了学习并不是一件简单的事情，只有努力去做了，才会有收获，不管收获大小，付出的过程总是有的。有些事情只有亲身感受，才知道它的价值有多大。同时在学习中遇到困难的时候要沉着冷静，首先要冷静分析问题，对于很难解决的问题要学会积极请教他人。虽然这次嵌入式系统课程的学习仅有短短的八周时间，但是我知道我得到的收获远远不是这些时间可以衡量的，它将给我今后的学习和工作带来更多的收益。