模式识别及MATLAB实现——学习与实验指导.pdf

模式识别及 MATLAB 实现：学习与实验指导 郭志强 主 编 杨 杰 副主编 Publishing House of Electronics Industry 北京BEIJING 数字图像处理及 MATLAB 实现 内 容 简 介 本书是与电子工业出版社出版的模式识别及 MATLAB 实现配套的学习指导书，在章节安排上与主教材一致，各章节内容包括本章知识结构、知识要点和实验指导，实验指导部分给出了实验步骤、MATLAB代码和实验结果。实验的内容和训练对模式识别学习者有很大帮助，也为从事模式识别的工程技术人员提供了一定的指导。未经许可，不得以任何方式复制或抄袭本书之部分或全部内容。版权所有，侵权必究。图书在版编目（CIP）数据 模式识别及 MATLAB 实现：学习与实验指导郭志强主编北京：电子工业出版社，2017.9 ISBN 978-7-121-32373-7.模 .郭 .模式识别计算机辅助计算Matlab 软件人工智能计算机辅助计算Matlab 软件 .O235-39TP183 中国版本图书馆 CIP 数据核字(2017)第 183906 号 策划编辑：董亚峰 责任编辑：赵 娜 印 刷：装 订：出版发行：电子工业出版社 北京市海淀区万寿路 173 信箱 邮编：100036 开 本：7871 092 1/16 印张：13 字数：333 千字 版 次：2017 年 9 月第 1 版 印 次：2017 年 9 月第 1 次印刷 定 价：38.00 元 凡所购买电子工业出版社图书有缺损问题，请向购买书店调换。若书店售缺，请与本社发行部联系，联系及邮购电话：（010）88254888，88258888。质量投诉请发邮件至 ，盗版侵权举报请发邮件至 。本书咨询联系方式：（010）88254694。前 言 1 前 言 本书是武汉理工大学杨杰和郭志强编写的教材模式识别及 MATLAB 实现的学习和实验指导用书，可与教材配套使用，也可单独作为高等学校模式识别课程的教学与学习参考书，还可作为模式识别领域专业技术人员的参考资料。模式识别是一门理论和工程应用都发展十分迅速的学科，尤其随着大数据的出现和互联网+的兴起，模式识别已伴随着人工智能技术渗透到人们生活的方方面面。“模式识别”作为信息类专业硕士研究生的学位课，主要介绍模式识别的基础知识和基本理论，为进一步研究模式识别理论和技术打下良好的基础。同时，模式识别也是一门实践性很强的学科，通过一定量的实验训练，有助于学习者加深理解和巩固所学的基本理论知识，也有助于提高其解决实际工程问题的能力。全书分为 7 章，每章都按本章知识结构、知识要点和实验指导三部分编写。具体内容包括贝叶斯决策、参数估计、非参数判别分类法、聚类分析法、特征选择与提取、模糊模式识别、神经网络在模式识别中的应用等，每章实验均给出了实验步骤、MATLAB代码和实验结果。实验的内容和训练对模式识别学习者有很大帮助，也为从事模式识别的工程技术人员提供了一定的指导。本书第 14 章由郭志强编写，第 57 章由杨杰编写，编者指导的研究生王贺、吴紫薇、林仲康和李博闻等参加了程序调试、插图和校对工作。在编写本书过程中，参阅了大量模式识别参考书，这里谨向有关作者表示衷心感谢。由于作者水平有限，书中难免存在疏漏和不当之处，恳请读者批评指正。编 者 2013 年 5 月 数字图像处理及 MATLAB 实现 2 目 录 V 目 录 第 1 章 贝叶斯决策 1 1.1 知识要点 1 1.2 实验指导 7 1.2.1 基于最小错误率的贝叶斯决策 7 1.2.2 最小风险判决规则 12 1.2.3 最大似然比判决规则 16 1.2.4 Neyman-Pearsen 判决 21 第 2 章 参数估计 25 2.1 知识要点 25 2.2 实验指导 30 2.2.1 最大似然估计 30 2.2.2 贝叶斯估计 33 2.2.3 Parzen 窗 36 2.2.4 Nk近邻估计法 38 第 3 章 非参数判别分类法 41 3.1 知识要点 41 3.2 实验指导 44 3.2.1 两分法 44 3.2.2 两分法的设计 47 3.2.3 没有不确定区域的两分法 52 3.2.4 广义线性判别函数的设计与实现 56 3.2.5 感知器算法的设计与实现 58 3.2.6 两类问题 Fisher 准则 62 模式识别及 MATLAB 实现：学习与实验指导 VI 3.2.7 基于距离的分段线性判别函数 68 3.2.8 支持向量机 74 第 4 章 聚类分析法 80 4.1 知识要点 81 4.2 实验指导 84 4.2.1 距离测度 84 4.2.2 相似测度算法 90 4.2.3 基于匹配测度算法的实现 97 4.2.4 基于类间距离测度方法 103 4.2.5 聚类函数准则 106 4.2.6 基于最近邻规则的聚类算法 108 4.2.7 基于最大最小距离聚类算法的实现 113 4.2.8 基于 C-均值聚类算法实验 116 第 5 章 特征提取与选择 124 5.1 知识要点 124 5.2 实验指导 128 5.2.1 基于距离的可分性判据 128 5.2.2 基于概率距离判据的特征提取方法 130 5.2.3 基于熵函数的可分性判据 134 5.2.4 利用类均值向量提取特征 136 5.2.5 基于类平均向量中判别信息的最优压缩的实现 141 5.2.6 增添特征法 144 5.2.7 剔减特征法 148 5.2.8 增 l 减 r（算法）的设计/实现 151 5.2.9 分支定界法（BAB 算法）156 第 6 章 模糊模式识别 161 6.1 知识要点 161 6.2 实验指导 163 6.2.1 最大隶属度识别法 163 6.2.2 择近原则识别法 167 6.2.3 基于模糊等价关系的聚类算法研究 170 目 录 VII 第 7 章 神经网络在模式识别中的应用 179 7.1 知识要点 179 7.2 实验指导 181 7.2.1 前馈神经网络感知器的设计实现 181 7.2.2 基于 BP 网络的多层感知器 184 7.2.3 自组织特征映射网络的设计/实现 189 7.2.4 径向基神经网络 194 参考文献 198 第 1 章 贝叶斯决策 1 第 1 章 贝叶斯决策 贝叶斯决策是统计决策的核心，其基本思想是根据各类特征的后验概率进行决策。通过贝叶斯公式，可以将后验概率的比较转为成类条件概率密度的比较，也可能定义两类之间的似然比或对数似然比进行决策。当样本类别的概率密度服从正态分类时，贝叶斯决策在工程实践中有较广泛的应用。图 1-1 本章知识结构 1.1 知识要点 1先验概率 先验概率在分类方法中有着重要的作用，它的函数形式及主要参数或者是已知的，或者是可通过大量抽样实验估计出来的。若用1和2分别表示为两个类别，1()P和2()P表示各自的先验概率，此时满足 12()()1PP+=推广到 c 类问题中，12,c?表示 c 个类别，各自的先验概率用12(),(),()cPPP?表示，则满足 12()()()1cPPP+=?2类（条件）概率密度 类（条件）概率密度是指在某种确定类别条件下，模式样本X出现的概率密度分布函数，常用(|)(1,2,)ipic?X来表示。在本书中，我们采用(|)ipX表示条件概率密度函数，第 章1 模式识别及 MATLAB 实现：学习与实验指导 2(|)iPX表示其对应的条件概率。P(*|#)是条件概率的通用符号，在“|”后边出现的#为条件，之前的*为某个事件，即在某条件#下出现某个事件*的概率，如(|)kPX表示在X出现条件下，样本为k类的概率。3后验概率 后验概率是在某个具体的模式样本 X 条件下，某种类别出现的概率，常以(|)(1,2,)iPic=?X表示。后验概率可以根据贝叶斯公式或式（1.1）计算出来并直接用作分类判决的依据。()()()()|iiipPPp=XXX （1.1）其中：1()()()ciiippP=XX （1.2）先验概率是指(1,2,)iic=出现的可能性，不考虑其他任何条件。类条件概率密度函数(|)ipX是指i条件下在一个连续的函数空间出现 X 的概率密度，即第i类样本的特征 X是如何分布的。4基于最小错误率的贝叶斯决策 当已知类别出现的先验概率()iP和每个类中的样本分布的类条件概率密度(|)ipX时，可以求得一个待分类样本属于每类的后验概率(|),=1,2,iPic?X。将其划归到后验概率最大的那一类中，这种分类器称为最小错误率贝叶斯分类器，其分类决策准则可表示为：（1）两类情况 121212()(),()(),PPPP若则类若则类XXXXXX （1.3）（2）多类情况 ()=max(),1,2,ijiPPjc=?若则类XXX （1.4）由式（1.1），已知待识别样本X后，可以通过先验概率()iP和条件概率密度函数(|)ipX得到样本 X 分属各类别的后验概率，显然这个概率值可以作为 X 类别归属的依据。该判别依据可以有以下几种等价形式。从贝叶斯公式式（1.1）可以看出，分母与 i 无关，即与分类无关，故分类规则又可表示为：（1.5）对两类问题，式（1.5）相当于()()1122122112(|)(|)(),(|)(|)()pPpPpPpP，XXXXXX （1.6）式（1.6）可改写为()(|)max(|)()1,2,iijjipPpPjc=?若则类XXX第 1 章 贝叶斯决策 3 11212221()()(),()()PPlPP=XX 两边同时除以21(|)()pPX有 1221(|)()(|)()pPpPXX 类别1与2的似然比为：1122(|)()(|)plp=XXX 则判决门限为 2121()()PP=（1.12）当先验概率已知时，可求得12。所以“最小错误率判决规则”就变为 1212112122121211(),(),(),lll=或XXXXXXX （1.13）（2）由最小风险判决规则引出最大似然比判决规则 也可由最小风险判决规则引出最大似然比判决规则，同样以二分类问题为例，若模式1X，根据最小风险判决规则，则有 1122(|)(|)RR=XX 即 1122222111(|)(|)(|)(|)(|)(|)PLLPLLXX 又由 Bayes 公式 111222(|)(|)()(|)(|)()PpPPpP=XXXX 得 112222221111(|)(|)(|)()(|)(|)(|)()pLLPpLLPXX （1.14）即 1212()lX 式中 122221221111(|)(|)()(|)(|)()LLPLLP=（1.15）为判决门限。若()ijijlX，则iX （1.16）其中，()()jijiPP=（1.17）由最小风险判决规则导出 (|)(|)()(|)(|)()ijijjijjiiiiLLPLLP=（1.18）同样在 01 损失函数的情况下，式（1.18）退化为式（1.17）。由于似然函数满足1()()ijijll=XX，所以在 c 类问题中，若有一个i满足式（1.16），则不可能再有另外的类别()jij满足式（1.16）。7Neyman-Pearsen 判决规则 在二分类问题中，贝叶斯判决规则的基本思想是根据类别的先验概率和类条件概率将样本的特征空间R划分成两个子区域1R和2R。这时存在两种错误，一种是当样本X应属2时，判决为1；另一种是当样本X应属1时，判决为2。两种错误的概率分别为：211()(|)dRP ep=XX，122()(|)dRP ep=XX，总的错误之和()P e为()P e22()()PP e11+()()PP e （1.19）最小错误率 Bayes 决策是使()P e为最小。21211()(|)dRP ep=XX （1.20）模式识别及 MATLAB 实现：学习与实验指导 6 12122()(|)dRP ep=XX （1.21）假定21保持不变，为某个给定的正数，令：1221=+（1.22）为使12最小化，就要通过适当地选择某个正数使