数字视频处理原理及DSP实现.pdf

ADI 处理器实用丛书 数字视频处理原理及数字视频处理原理及 DSP 实现实现 邢延超 皇甫伟 编著 Publishing House of Electronics Industry 北京BEIJING 内 容 简 介 本书在介绍数字视频信号处理基本概念和常用算法的基础上，从实用性的角度出发，借助 ADI 公司的Blackfin 系列 DSP 处理器平台，讨论了嵌入式视频处理的相关问题。主要内容包括：绪论、数字视频基础、数字信号处理与嵌入式开发、基于 Blackfin 处理器的最小视频系统、视频应用设计原则及基础应用简介、图像与视频处理软件开发包、视频运动分析及应用、视频编解码理论及实现、视频时空滤波及实现。后面几部分中包含了运动跟踪、H.264 编解码和视频去交错应用等具体应用。本书可作为对视频处理和 DSP 开发感兴趣的科研技术人员的参考，也可作为信息与信号处理方向研究生和高年级本科生的参考书。未经许可，不得以任何方式复制或抄袭本书之部分或全部内容。版权所有，侵权必究。图书在版编目（CIP）数据 数字视频处理原理及 DSP 实现邢延超，皇甫伟编著.北京：电子工业出版社，2011.12（ADI 处理器实用丛书）ISBN 978-7-121-15417-1.数 .邢 皇 .数字视频系统数字信号处理 .TN941.1 中国版本图书馆 CIP 数据核字（2011）第 253409 号 策划编辑：竺南直 徐蔷薇 责任编辑：谭丽莎 文字编辑：王凌燕 印 刷：装 订：出版发行：电子工业出版社 北京市海淀区万寿路 173 信箱 邮编 100036 开 本：7871 092 1/16 印张：18 字数：461 千字 印 次：2011 年 12 月第 1 次印刷 印 数：3 000 册 定价：39.00 元 凡所购买电子工业出版社图书有缺损问题，请向购买书店调换。若书店售缺，请与本社发行部联系，联系及邮购电话：（010）88254888。质量投诉请发邮件至 ，盗版侵权举报请发邮件至 。服务热线：（010）88258888。前 言 近年来，数字视频处理在智能监控、消费类电子、机器人视觉、工业检测与控制及网络视频会议等领域的应用发展迅猛。同时，许多视频应用产品都在朝着小型化、便携化、低功耗和易升级等方向发展。随着高速数字处理器技术的发展，嵌入式数字视频处理已经成为重要的发展方向，具有客观的市场前景。DSP 不仅具有高性能的数字信号处理能力，同时还具有开发速度块、升级方便且成本低等明显优势，在该领域发挥着越来越重要的作用。Blackfin 系列 DSP 是 ADI 公司开发的基于微信号结构的高性能数字信号处理器，非常适合于各种音频、视频、通信及复杂控制等领域，市场占有率也名列前茅。本书从实用性的角度出发，首先介绍了数字视频处理的基本概念和典型算法，以及Blackfin DSP 的基础知识和基本使用方法。然后就视频处理系统的硬件搭建和软件开发进行详细介绍，实现了一个包括视频输入、输出和传输等基本功能的最小视频系统，作为进一步开发复杂系统的基础。接下来讨论了视频开发过程中应遵循的设计原则，提供了典型的参考开发模板。考虑到复杂图像处理系统的开发已经进入模块化、集成化的开发阶段，充分利用已有的、经过优化的开发包则是快速、高效开发高性能视频处理产品的必然趋势，本书最后部分结合 ADI 公司提供的 Blackfin 图像和视频开发包（类似于 OpenCV），介绍了运动分析、视频编解码、视频滤波的基本原理，以及在 Blackfin 处理器上的实现方法。本书共 9 章。第 1 章是绪论，介绍数字视频处理的概念、历史、应用和主要研究内容。第 2 章介绍数字视频处理的基本理论和处理模型。第 3 章介绍 Blackfin DSP 的结构、特性和工作原理，还讨论了 DSP 应用开发的一般过程和集成开发环境 VisualDSP+的基本使用。第4 章是基于 Blackfin 处理器的最小视频系统，实现了视频的输入、输出和数据传输，为更复杂的处理系统的开发打好了基础。第 5 章讨论了视频系统的设计原则，提供了典型的视频开发模板，并用具体例子进行了说明。第 6 章介绍 Blackfin 图像与视频处理开发工具包，它提供了丰富的软件模块，能够显著加速学习和开发过程，文中还介绍了一些典型模块的使用。第 7 章视频运动分析及应用，介绍运动估算、运动分割和运动跟踪的理论和算法，以及基于图像视频开发包的实现方法。第 8 章介绍视频编解码的基本理论和算法，并针对 H.264 基线类介绍了基于 Blackfin 的代码移植和优化策略，并详细介绍了 Blackfin 提供的 H.264 编解码器的使用方法。第 9 章介绍视频时域和空域滤波的基本理论，并介绍了基于运动检测的自适应去交错效应的实现算法。本书的编写得到了 ADI 公司的大力支持，为本书提供了丰富的文档和网络资源。邢延超主要负责第 1 章至第 3 章及第 7 章至第 9 章的撰写；皇甫伟主要负责第 4 章至第 6 章的撰写。在材料整理、录入和校对方面，王治中、庞秀娟、王清贵等做了大量的工作。另外，本书的完成更离不开家庭作为坚强的后盾。在此一并向他们表示衷心感谢！由于本人水平有限，书中错误之处在所难免，恳请广大读者批评指正。编著者 2011 年 4 月 序 言 这些年，在与电子技术领域的工程师、学者以及大学师生交流的时候，他们的聪明才智和创新能力给我留下了深刻的印象。而他们所做的设计和项目，无一不让我感觉到中国工程师队伍成长之快，和中国电子行业巨大的发展潜力。但另一方面，他们的经历和成功，也带给了我很多思考。ADI 在模拟和数字信号领域中已经发展了 40 多年。在这几十年间，我们不断推动技术的创新和进步，不断提高相关领域的各类产品性能以满足客户的广泛需求，包括消费类、通信、医疗、运输和工业等方面。令人欣慰的是，至 2009 年，ADI 已经拥有遍布世界各地的60,000 余家客户。而通过大学计划、培训、研讨会等活动所积累起来的资源更是不计其数。如何让我们的客户，让 ADI 技术产品的使用者和爱好者，真正准确、有效、快捷地掌握相关知识与设计技巧，是我们需要考虑的，也是我们为所有用户提供的非常重要的服务之一。经过多年的运行和完善，ADI 已经拥有了一整套对中国工程师以及在校工科类学生的培养计划，如每年一届的中国大学创新设计竞赛，在高校建立的联合实验室，各类线上线下研讨会，还有在多个城市开展的高水平培训课程等等。这些计划架起了 ADI 与用户之间最直接、最有效的沟通桥梁。同时，为了使更多的电子技术领域从业者和爱好者了解数字信号处理和电子产品设计理念，我们还邀请了业内具有较深影响力的专家、学者、教授共同编写并出版一套基于 ADI 模拟和数字产品的应用技术丛书。该丛书详细介绍了 ADI 产品在医疗电子，通信，工业仪器仪表，汽车电子等行业的应用，以理论与实际案例相结合的方式为读者们讲解了世界先进处理器的设计与使用。丛书的出版凝聚了来自清华大学、西安电子科技大学、青岛理工大学、解放军理工大学、厦门大学、天津大学、黑龙江大学、中国科学技术大学、辽宁工业大学等多所院校老师丰富的经验和智慧。在此，感谢他们对 ADI 出版计划的大力支持。同时，也感谢电子工业出版社的竺南直博士对本丛书的出版所作出的贡献！衷心希望能得到读者朋友的意见反馈，在你们提出的问题和建议下，我们将不断完善ADI 丛书，不断完善 ADI 的产品和技术，与客户们一起共同开拓中国市场。ADI 公司亚太区副总裁 V 目 录 第 1 章 绪论1 1.1 数字视频处理概述1 1.2 数字视频的发展历史2 1.3 数字视频处理的应用3 1.4 数字视频处理的研究内容 5 1.5 数字视频处理系统概述 8 1.5.1 视频信号采集15,228 1.5.2 数字视频编解码20,2110 1.5.3 数字视频存储10 1.5.4 数字视频显示1511 1.5.5 数字视频处理13 1.6 嵌入式数字视频处理系统34,35,3613 1.7 研究现状与发展前景16 第 2 章 数字视频基础17 2.1 人类视觉机理17 2.1.1 人眼视觉特性14,1717 2.1.2 人类视觉系统模型20 2.2 颜色感知与表示模型5122 2.2.1 颜色感知机理22 2.2.2 颜色模型23 2.3 视频获取与显示25 2.3.1 彩色视频成像原理1325 2.3.2 视频摄像机26 2.3.3 视频显示26 2.3.4 复合视频与分量视频5127 2.3.5 伽马校正28 2.4 模拟视频技术1328 2.4.1 模拟视频信号28 2.4.2 视频光栅扫描29 2.4.3 模拟电视系统30 2.5 数字视频技术15,16,2131 2.5.1 模拟视频信号数字化表示31 2.5.2 数字视频的特点及应用32 2.5.3 ITU-T BT.601 数字视频标准33 2.6 视频模型13,1433 VI 2.6.1 照明模型34 2.6.2 摄像机模型34 2.6.3 物体模型37 第 3 章 数字信号处理与嵌入式开发39 3.1 数字信号处理基础及 DSP 系统应用49,28,3739 3.2 Blackfin 处理器简介28,373942 3.3 Blackfin 处理器架构 46 3.3.1 Blackfin 处理器架构概述46 3.3.2 Blackfin 处理器内核基础知识49 3.3.3 数据运算指令简介51 3.3.4 地址运算指令简介54 3.3.5 Blackfin 内存结构 55 3.3.6 事件处理57 3.3.7 DMA 控制器59 3.3.8 系统接口63 3.4 ADSP 开发过程67 3.5 集成开发套件 VisualDSP+简介31,3274 3.5.1 开发工具及其特点74 3.5.2 利用 IDDE 进行 DSP 程序开发76 3.5.3 调试工具80 第4章 基于Blackfin处理器的最小视频系统87 4.1 数字视频处理系统构成 87 4.2 Blackfin 处理器与评估板简介38,3990 4.2.1 ADSP-BF533：高性能的通用 Blackfin 处理器91 4.2.2 ADSP-BF561：用于消费者多媒体的 Blackfin 对称多核处理器92 4.2.3 EZ-KIT Lite for ADSP-BF53393 4.2.4 EZ-KIT Lite for ADSP-BF56194 4.3 Blackfin 处理器与视频外设之间的连接94 4.3.1 Blackfin 处理器上的视频接口PPI95 4.3.2 将 Blackfin 处理器连接至视频源5096 4.3.3 连接至显示设备4997 4.3.4 连接视频源和显示设备的原则和技巧 98 4.4 数字视频信号标准简介192199 4.5 基于 ADSP-BF561 的视频采集 100 4.5.1 Blackfin 系统服务39101 4.5.2 Blackfin 设备驱动模型103 4.5.3 视频采集硬件组成105 4.5.4 视频输入数据流106 4.5.5 视频输入实现过程107 VII 4.6 基于 Blackfin 处理器的视频输出112 4.6.1 视频输出数据流112 4.6.2 视频显示实现过程112 4.6.3 基于 Blackfin 处理器的视频传输 115 4.7 基于 ADSP-BF533 的视频采集与显示116 4.7.1 硬件平台初始化部分 116 4.7.2 初始化中断服务117 4.7.3 初始化 DMA117 4.7.4 初始化 PPI118 4.8 视频采集回放及编码系统的实现118 4.9 视频 Sobel 边缘提取系统 124 第 5 章 视频应用设计原则及基础应用简介133 5.1 视频应用开发模板133 5.1.1 视频开发模板综述133 5.1.2 视频开发模板类型134 5.1.3 针对 Blackfin 处理器的优化136 5.1.4 使用