深度学习、优化与识别.pdf

矿深度学习、优化与识别现参数初始化方向上涌现了如深度PCA网络、深度ICA网络、深度SVM网络、深度森林(随机森林多层级联)、深度极限学习机和深度ADMM网络等模型。同时与之类似的，通过更改非线性函数以换取模型“扭曲”能力的提升，产生了如深度小波网络、深度脊波网络和深度轮廓波网络等模型。根据其特性，我们称这些网络为深度融合网络。2014年以来，大量的研究文献表明层级“深度”的不断增加，或导致性能显著提升（如深度残差网络、深度分形网络)，抑或导致性能严重下降（本质上是参数量远大于训练数据量）。为了解决该问题，一方面通过多通路、并行化的网络设计来削弱“深度”对性能的依赖性，同时塔式结构、对称性等也被融入网络的设计过程中；另一方面，深度生成模型也悄然兴起，其核心是通过生成训练数据集的概率密度函数来实现数据的扩充，其代表便是生成式对抗网络和变分自编码器。值得注意的是，与传统的深度学习设计“单网络”不同，生成式对抗网络采用了“两个子网络”来实现非合作状态下的博弈，在最小最大值定理的保证下，理论上可以保证网络的收敛性。除了模型结构和优化策略改进外，应用问题背景也不再是经典的输入输出“单数据对”刻画，而是从状态到行动“整体性”刻画。众所周知，感知、认知和决策是衡量智能化的标准，充分发挥深度学习的感知能力和强化学习的决策能力，形成的深度强化学习已在众多应用问题上取得突破，如无人驾驶、计算机围棋程序和智能机器人等。在后深度学习时代，其核心在于生成数据、环境交互和领域迁移，对应着深度生成网络、深度强化学习和深度迁移学习将继续成为人工智能领域的研究热点。另外，根据数据的属性和操作的有效性，衍生的网络包括深度复数域神经网络（如深度复卷积神经网络）、深度二值神经网络和深度脉冲神经网络等。我们依托智能感知与图像理解教育部重点实验室、智能感知与计算国际联合实验室及智能感知与计算国际联合研究中心于2014年成立了类脑计算与深度学习研究中心，致力于类脑计算与深度学习的基础与应用研究，搭建了多个深度学习应用平台，并在深度学习理论、应用及实现等方面取得了突破性的进展，本书即是我们在该领域研究工作的初步总结。本书的完成离不开团队多位老师和研究生的支持与帮助，感谢团队中侯彪、刘静、公茂果、王爽、张向荣、吴建设、猴水平、尚荣华、刘波、刘若辰等教授以及马品品、马文萍、白静、朱虎明、田小林、张小华、曹向海等副教授对本工作的关心支持与辛勤付出。感谢王蓉芳博士、冯捷博士、张丹老师，以及唐旭、刘芳、谢雯、任博、魏野、王善峰、冯志玺等博士生在学术交流过程中无私的付出与生活上的关心。同时，特别感谢赵佳琦、刘旭、赵障、朱浩、孙其功、任仲乐、李娟飞、张雅科、宋玮、张文华等博士生，以及马丽媛、杨争艳、张婷、李晰、孟繁荣、汶茂宁、侯瑶琪、孙莹莹、张佳琪、杨慧、王美玲等研究生在写作过程中无私付出的辛勤劳动与努力。感谢宋玮、张文华等博土生帮忙校勘时发现了许多笔误。本书是我们团队在该领域工作的一个小结，也汇聚了西安电子科技大学智能感知与图像理解教育部重点实验室、智能感知与计算国际联合实验室及智能感知与计算国际联合研究中心的集体智慧。在本书出版之际，特别感谢邱关源先生及保铮院士三十多年来的悉心培养与教导，特别感谢徐宗本院士、张钹院士、李衍达院士、郭爱克院士、郑南宁院士、谭铁牛院土、马远良院士、包为民院士、郝跃院土、陈国良院土、韩崇昭教授，IEEE Fellows管晓宏