关于监控视频中的图像预处理技术简要解析
在视频监控领域,提高监控图像质量和编码传输效率一直是我们最为重要的追求目标。提高视频质量意味着提高最终用户的观看满意度,提高编码效率则意味着在同样的码率限制下可以传输更高质量的视频。这涉及到监控系统中的多个环节,从上游的实际场景,到中间的传输网络,再到下游的用户终端,主要包括图像的采集、压缩处理、传输或存储、解压缩和显示等部分,其中任何一个上游环节出了问题,对图像质量的影响都不是下游环节能够纠正或补救的。视频信号的预处理处在系统最上游,是针对主处理而言的,如图1所示。在视频监控中,主处理一般是指视频的压缩编码和传输,此前的处理一般称之为预处理,常将它归并在视频采集部分。无疑,视频采集中的预处理是一个重要环节,处理的好坏将直接影响采集图像质量以及后续编码传输处理的效率。
有一个现象可以有力地说明预处理在改进图像质量方面的作用:对同样场景、采用相同的码率,不同厂家的网络摄像机解码输出视频的质量往往存在较大的差别。尤其是在比较恶劣的环境下,其差别更为显著。产生这种差别的一个重要原因在于:在监控系统中,虽然大家都采用标准化的视频压缩方法,但最后解码输出图像的质量高低很大程度上取决于有无预处理、预处理的好坏,有时还包括适当的后处理。
近来,随着人们对预处理重要性认识的不断提高,随着集成芯片和信号处理器能力的不断增强,业界对视频信号的预处理越来越重视,市场上高质量的监控产品一定离不开高质量的视频预处理方法。
预处理的作用
视频预处理的第一个作用是提高编码视频的质量。在实际的视频监控的应用中,不像娱乐视频,往往有高质量的摄像机、良好的演播室拍摄环境和专业技术人员的时时人为干预,因此可以保证得到的高质量的采集视频。而视频监控系统由于成本、环境等因素影响,所获取的原始视频质量并不高,甚至很低。例如,由于环境、噪声、光照、运动等影响,往往所采集的图像常常出现模糊、扭曲、噪点、太亮或太暗、彩色不鲜明、……。对于这样比较差的视频,再进行压缩、传输、解码显示,用户所看到的监控视频常常不能令人满意的。如何在现有的条件下提高采集视频质量的问题就实在地放在我们面前。对此,一个重要的应对措施就是在视频采集环节进行预处理(preprocessing),以利于提高采集视频质量,有利于后续的视频处理,以利于用户提取视频中感兴趣的信息。
视频预处理的第二个作用是提高编码效率和有利于码率控制。我们知道,无论是有线还是无线视频传输,都是基于IP的包传输方式,信号的传输速率不稳定,速率会随用户的拥挤程度、信道的物理介质而不断变化。要在这样速率变化的信道上稳定、高效地传输压缩视频图像,除了依赖编码器的码率控制之外,还可以利用预处理的方法来辅助实现。在编码前对图像进行预处理,控制输入到编码器的视频数据量,从而来间接控制编码器输出的码率,其过程仍可参见图1。
由图1可见,不仅通过缓冲区的满溢程度来控制量化步长,同时也加上了预处理对输入的视频数据进行控制。例如,当信道变窄时,我们可以根据信道带宽信息对输入视频进行一定程度的平滑滤波,减少细节,甚至进行下采样处理、跳帧处理,使编码视频的码率能与信道带宽相匹配。当然,由于信道状况信息的获得比较麻烦,可以经统计学习建立信道带宽变化的近似模型,再依据这个模型来决定预处理的方法和程度。
最早的视频预处理是在模拟域进行的,包括对模拟视频信号的限带滤波、噪声抑制、自动增益控制、白平衡以及r校正等。随着视频采集技术的数字化进程,这些简单的预处理方法大多已经集成到芯片中去了。现在,视频预处理都是在数字域进行的,即在视频数字化采集以后进行,充分发挥了数字信号处的方便、高效、灵活和一致的优越性。目前,在视频监控中常见的预处理方法除了基本的图像滤波、图像去噪和多种图像增强处理外,还出现了多种针对特殊应用环境的预处理方法,如背光或暗光处理、雨雾烟处理、感兴趣区间的处理等。