智能信息处理与应用.pdf

先进制造新技术丛书 智能信息处理与应用 李 明 王燕 年福忠 编著 王家驹 王 杨倩 副主编 Publishing House of Electronics Industry 北京BEIJING 内 容 简 介 智能信息处理涉及信息学科的诸多领域。本书从理论方法和实践技术角度，论述了智能信息处理技术的主要概念、基本原理、典型方法及新的发展。本书共 11 章，包括不确定性信息处理、模糊集与粗糙集理论、人工神经网络、支持向量机、遗传算法、群体智能、人工免疫、量子算法、信息融合技术，以及智能信息处理技术在人脸识别和说话人识别中的应用。本书适合从事智能信息处理研究的科研人员和智能系统开发与应用的工程技术人员阅读，也可作为研究生的相关课程或专题的参考书。未经许可，不得以任何方式复制或抄袭本书之部分或全部内容。版权所有，侵权必究。图书在版编目（CIP）数据 智能信息处理与应用/李明，王燕，年福忠编著北京：电子工业出版社，2010.9 ISBN 978-7-121-11798-5 I.智 .李 王 年 .人工智能信息处理 .TP18 中国版本图书馆 CIP 数据核字（2008）第 176333 号 策划编辑：李 洁 （）责任编辑：侯丽平 印 刷：装 订：出版发行：电子工业出版社 北京市海淀区万寿路 173 信箱 邮编：100036 开 本：787980 1/16 印张：18.25 字数：397 千字 印 次：2010 年 9 月第 1 次印刷 印 数：3 000 册 定价：39.00 元 凡所购买电子工业出版社图书有缺损问题，请向购买书店调换。若书店售缺，请与本社发行部联系，联系及邮购电话：（010）88254888。质量投诉请发邮件至 ，盗版侵权举报请发邮件至 。服务热线：（010）88258888。前 言 智能信息处理涉及信息学科的诸多领域，是现代信号处理、人工神经网络、模糊系统理论、进化计算，以及人工智能等理论和方法的综合应用，它是计算机科学中的前沿交叉学科，也是应用导向的综合性学科。“智能信息处理”的前身是以人工神经网络、进化计算和模糊系统为代表的“软计算”，它兴起于 20 世纪 90 年代后期。由于“软计算”方法可以有效地分析和处理不完备信息，因此它的理论日益受到国际学术界的重视，并且在模式识别、机器学习、决策支持、过程控制、故障诊断、预测建模等许多科学与工程领域得到了成功应用。进入 21 世纪后，人们逐渐用“智能信息处理”一词来表述“软计算”及其应用。近年来，以人脸识别和说话人识别为代表的生物认证成了智能信息处理应用领域的一个研究热点。在各种利用人体生物特征进行身份识别的方法中，人脸识别以其直接、友好、方便的特点得到了越来越多的重视。同时，由于利用人脸来进行识别可以将其他方法无法获得的人物表情和心理特征考虑在内，也使人脸识别具有了其他识别方法无法比拟的有效性、适应性和灵活性。说话人识别技术是从语音波形中提取信息反应说话人的个性特征的，通过对语音个性特征参数的建模和识别，从而确定或鉴别说话人的身份。说话人识别具有不会被遗失和忘记、无须记忆、使用方便等特点。另外，由于语音信号采集方便，系统集成成本低，使说话人识别具有广泛的应用前景。无论是人脸识别还是说话人识别，其在经济、安全、社会保障、犯罪、军事等领域都有着巨大的潜在应用价值。从 2005 年起，作者先后承担了多项相关的科研项目，对智能信息处理的一些理论和应用进行了研究和探索。我们的写作初衷就是结合自己的研究成果，反映出智能信息处理中的一些新方法、新应用。全书共 11 章，包括不确定性信息处理、模糊集与粗糙集理论、人工神经网络、支持向量机、遗传算法、群体智能、人工免疫、量子算法、信息融合技术等当前智能信息处理领域内的一些经典理论和新方法，以及智能信息处理技术在人脸识别和说话人识别中的应用。本书是作者多年来在从事该领域研究工作的基础上，参阅了国内外有关文献资料，结合作者的科研成果和学习心得，经过反复修改而成的。本书第 3、4、9、10、11 章由李明执笔，第 1、5、6、7、8 章由王燕执笔，第 2 章由年福忠执笔。张亚芬、郝元宏、邢玉娟、李伟娟、孙向风等研究生为本书的编写做出了许多贡献，对他们的工作表示感谢。本书的出版，得到了兰州理工大学学术专著出版基金的资助，在此表示感谢！由于作者水平所限，书中难免有不妥之处，欢迎读者不吝指正。作 者 2010 年 3 月 目 录 第 1 章 不确定性信息处理（1）1.1 知识的不确定性（1）1.1.1 随机性（1）1.1.2 模糊性（2）1.1.3 自然语言中的不确定性（2）1.1.4 常识的不确定性（2）1.1.5 知识的其他不确定性（3）1.2 不确定性的度量方法（3）1.2.1 概率度量和贝叶斯公式（3）1.2.2 模糊度量及性质（5）1.2.3 其他度量方法（6）1.3 不确定性推理方法（6）1.3.1 主观贝叶斯推理（6）1.3.2 模糊逻辑推理（10）1.3.3 证据理论（12）1.4 挖掘不确定知识的方法（14）1.5 小结（18）参考文献（18）第 2 章 模糊集与粗糙集理论 （20）2.1 模糊集合及其运算（20）2.1.1 模糊集合的概念（21）2.1.2 模糊集合的运算（23）2.1.3 模糊集合的扩张原理（24）2.1.4 隶属函数的建立（25）2.2 粗糙集经典理论（26）2.3 知识约简（28）2.3.1 一般约简（29）2.3.2 相对约简（29）2.3.3 分辨矩阵（30）2.4 决策表的约简（31）2.4.1 决策规则和决策算法（32）2.4.2 决策规则中的不一致性和不可分辨性（32）2.4.3 属性的依赖性（33）2.4.4 一致决策表的约简（33）2.4.5 非一致决策表的约简（37）2.5 基于属性值的约简算法（42）2.5.1 什么是属性值的约简（42）2.5.2 属性值的约简在决策表当中的应用（43）2.5.3 属性值的直接约简及应用（46）2.6 粗糙集的扩展模型（49）2.6.1 可变精度粗糙集模型（49）2.6.2 概率粗糙集模型（51）2.7 小结（53）参考文献（54）第 3 章 人工神经网络（55）3.1 人工神经网络概述（55）3.1.1 神经元理论（56）3.1.2 神经网络的拓扑结构（57）3.1.3 人工神经网络的学习和训练（58）3.2 BP 神经网络（59）3.2.1 BP 人工神经网络结构（59）3.2.2 BP 算法的基本思想（62）3.2.3 BP 网络学习算法（62）3.3 RBF 神经网络（65）3.3.1 RBF 神经网络结构（65）3.3.2 RBF 神经网络的映射关系（66）3.3.3 RBF 网络学习算法（68）3.4 概率神经网络（71）3.4.1 概率神经网络结构（71）3.4.2 概率神经网络训练（72）3.5 小结（73）参考文献（74）第 4 章 支持向量机 （76）4.1 机器学习问题（76）4.2 统计学习理论（79）4.2.1 VC 维（79）4.2.2 推广性的界（82）4.2.3 结构风险最小化理论（82）4.3 支持向量机的工作原理（84）4.3.1 最优分类面（84）4.3.2 广义最优分类面（87）4.3.3 核函数（87）4.4 支持向量机的训练法（89）4.4.1 分块算法（90）4.4.2 多变量更新算法（93）4.4.3 序列算法（93）4.5 小结（94）参考文献（95）第 5 章 遗传算法（96）5.1 遗传算法概述（97）5.1.1 遗传算法的发展（97）5.1.2 遗传算法的特点和应用（99）5.2 遗传算法的基本流程及实现技术（102）5.2.1 遗传算法的基本流程（102）5.2.2 遗传算法的实现技术（104）5.3 遗传算法的基本原理（109）5.3.1 模式定理（109）5.3.2 积木块假设（111）5.3.3 收敛性理论（112）5.4 遗传算法的改进（115）5.4.1 混合遗传算法（115）5.4.2 自适应遗传算法（116）5.4.3 变长度染色体遗传算法（117）5.4.4 小生境遗传算法（118）5.4.5 并行遗传算法（119）5.5 小结（121）参考文献（122）第 6 章 群体智能（124）6.1 粒子群优化算法（124）6.1.1 粒子群优化算法的基本原理（125）6.1.2 改进的粒子群优化算法（127）6.1.3 粒子群优化算法的应用（133）6.2 蚁群算法（137）6.2.1 蚁群算法的原理（137）6.2.2 改进型蚁群算法（139）6.2.3 蚁群算法的应用（142）6.3 小结（144）参考文献（145）第 7 章 人工免疫（149）7.1 AIS 的生物原型和免疫机理（149）7.1.1 AIS 的生物原型（149）7.1.2 AIS 的免疫机理（150）7.2 AIS 的模型及算法（152）7.2.1 AIS 的模型（152）7.2.2 AIS 的算法（153）7.3 人工免疫系统的应用（156）7.4 小结（157）参考文献（158）第 8 章 量子算法（161）8.1 量子及基本特性（161）8.1.1 量子位（162）8.1.2 量子纠缠（163）8.1.3 量子克隆（163）8.2 量子智能算法（164）8.2.1 量子神经网络（164）8.2.2 量子进化算法（166）8.3 小结（172）参考文献（173）第 9 章 信息融合技术（174）9.1 信息融合技术的形成与发展（174）9.1.1 信息融合的定义及其必要性（174）9.1.2 信息融合的发展历史（177）9.1.3 信息融合的研究现状（177）9.1.4 信息融合的发展趋势（180）9.2 信息融合技术基础（181）9.2.1 信息融合的基本原理（181）9.2.2 信息融合的功能模型（183）9.2.3 信息融合的层次结构（187）9.3 信息融合常用算法（190）9.3.1 加权融合算法（190）9.3.2 贝叶斯估计（190）9.3.3 D-S 证据理论（191）9.3.4 卡尔曼滤波（193）9.3.5 Markov 链（194）9.3.6 可能性理论（194）9.3.7 模糊逻辑（194）9.3.8 神经网络（194）9.3.9 粗糙集方法（195）9.4 信息融合的典型应用（195）9.4.1 军事中的应用（196）9.4.2 人脸识别中的应用（197）9.4.3 语音处理与说话人识别中的应用（202）9.4.4 多生物特征认证中的应用（207）9.5 小结（211）参考文献（212）第 10 章 人脸识别技术（214）10.1 人脸识别概述（215）10.1.1 人脸识别研究现状（216）10.1.2 人脸识别的最新进展（217）10.2 人脸图像的预处理（220）10.2.1 尺寸归一化（221）10.2.2 光照归一化（221）10.3 人脸识别的研究内容及方法（222）10.3.1 人脸检测（222）10.3.2 特征提取（223）10.3.3 传统分类方法（228）10.4 核机器学习在人脸识别中的应用（230）10.4.1 基于核机器的非线性特征选择与提取（230）10.4.2 基于核机器的人脸分类（234）10.4.3 基于软计算的核函数选择与优化（237）10.5 小结（239）参考文献（240）第 11 章 说话人识别（243）11.1 概述（243）11.1.1 说话人识别的研究背景（243）11.1.2 说话人识别的研究现状（244）11.1.3 说话人识别的系统结构及分类（245）11.2 说话人识别中的特征参数（246）11.2.1 特征参数的评价方法（246）11.2.2 说话人识别系统中常用的特征参数（247）11.3 说话人识别的主要方法（249）11.3.1 矢量量化法（VQ）（249）11.3.2 隐马尔可夫模型（HMM）（250）11.3.3 高斯混合模型（GMM）（251）11.3.4 多类分类支持向量机（255）11.3