15 - 马占宇 - 北京邮电 - 《基于域自适应的小样本学习》1.pdf

马马占宇占宇北京邮电大学北京邮电大学2020年年2月月基于域自适应的小样本学习基于域自适应的小样本学习智源论坛智源论坛 Live|青年科学家线上报告会青年科学家线上报告会21.1.基本情况介绍基本情况介绍2.2.现有研究基础现有研究基础3.3.拟拟开展开展的工作的工作报告报告提纲提纲3教育与工作经历教育与工作经历2000/092004/07北京邮电大学学士2004/092007/04北京邮电大学硕士2007/092011/12瑞典皇家工学院博士2012/012013/06瑞典皇家工学院博士后2013/072014/11北京邮电大学讲师2014/12 2019/11北京邮电大学副教授2019/12-至今北京邮电大学教授2014/072014/08伦敦大学学院访问学者2015/072020/06丹麦奥尔堡大学兼职副教授、博导马占宇 北京邮电大学 人工智能学院 教授 博导主要研究方向：模式识别与机器学习、计算机视觉4学术学术论文论文 SCI论文45篇，一作19+通讯15 中科院一区12篇，IEEE TPAMI 3篇（一作篇（一作2）授权发明专利15项（第一发明人13项）软件著作权3项 参与制定国家标准5项（起草人）SCI期刊期刊影响因子影响因子篇数篇数IEEE TPAMI17.733IEEE TNNLS11.6834IEEE Network7.5031IEEE J-IoT9.5151IEEE TVT5.3394IEEE TSCVT4.0462Pattern Recognition5.8981Signal Processing4.0862NEUROCOMPUTING4.07255奖励荣誉奖励荣誉奖励荣誉奖励荣誉年度年度角色角色中国人工智能学会中国人工智能学会“吴文俊人工智能科学技术奖”科技进步一等奖一等奖2017年第一完成人第一完成人“北京市科学技术奖”科技进步二等奖二等奖2017年第三完成人“北京青年优秀科技论文”一等奖一等奖（每两年评一次每两年评一次）2018年 第一作者第一作者IEEE IC-NIDC国际会议最佳论文奖最佳论文奖（数字内容领域重要国际会议）2016年 通信作者通信作者人才计划人才计划年度年度国家自然科学基金国家自然科学基金“优青”“优青”项目项目2019年北京市科技新星北京市科技新星计划2017年6理事、副秘书长理事、副秘书长中国图象图形学学会MLTC 副主任副主任亚太信号与信息处理联合会(APSIPA)CV专委会秘书长专委会秘书长、高级会员、高级会员中国计算机学会高级会员IEEE学术学术服务服务学术组织学术组织技术委员会联合主席技术委员会联合主席IEEE SPLINE 2016（丹麦）程序委员会联合主席程序委员会联合主席IEEE MLSP 2018（丹麦）TPC委员40余次余次CVPR、ICCV、IJCAI、AAAI等国际会议国际会议7编委编委IEEE Trans.on VT（二区二区）IEEE ACCESS（二区二区）NEUROCOMPUTING（二区二区）中国邮电高校学报(英文版)客座编辑IEEE Trans.on NNLS（一区一区）等年度杰出编辑年度杰出编辑月度最佳编辑月度最佳编辑IEEE ACCESS（二区二区）学术学术服务服务国内外期刊国内外期刊8报告报告提纲提纲1.1.基本情况介绍基本情况介绍2.2.现有研究基础现有研究基础3.3.拟拟开展开展的工作的工作9研究背景研究背景人工智能发展进入新人工智能发展进入新阶段，已经成为阶段，已经成为国际竞争国际竞争的新焦点的新焦点人工智能是国家发展战略的核心要素之一以模式识别与机器学习为基础的数据建模与分数据建模与分析析，是人工智能实现突破与持续发展的基石基石10数据数据驱动驱动视觉大数据语音大数据时空大数据文本大数据研究背景研究背景知识知识学习学习知识图谱城市安防智慧医疗场景感知类脑计算模型模型构建构建数据的非高斯建数据的非高斯建模与分析模与分析非非高斯高斯特性特性（有界、有序、（有界、有序、比例分布等）比例分布等）11现有研究基础现有研究基础工作进展一：工作进展一：非高斯概率分布的高效建模方法非高斯概率分布的高效建模方法工作进展二：工作进展二：非高斯分布数据的可靠特征提取框架非高斯分布数据的可靠特征提取框架工作进展三：工作进展三：非高斯分布数据的准确分析与融合方法非高斯分布数据的准确分析与融合方法12工作进展一：工作进展一：非高斯概率分布的非高斯概率分布的高效建模方法高效建模方法挑战挑战：非高斯概率分布的贝叶斯估计中，目标函数的积分无法直接计算无法直接计算，模型估计的解析解算法解析解算法缺失缺失，采采样样方法导致计算量大如何获得解析解算如何获得解析解算法，提升计算效率？法，提升计算效率？难点难点一一如何保证算法的如何保证算法的收敛性？收敛性？难点二难点二示例一:伽马函数的表达式（beta、Dirichlet分布）=01=01!+122+示例二:第一类修正贝塞尔函数（vMF分布）13 创新点创新点 提出扩展变分法，构造新新的的变分下界，使贝叶斯积分可直接直接计算，避免计算，避免采样，得到了解析解算法解析解算法 =ln X,Z ln(Z)经典变分法经典变分法 =ln X,Z ln Z扩展扩展变分法变分法 ln X,Z ln Zln X,Z ln X,Z+ln X,Z 积分可求引入辅助函数对于非高斯分布，ln X,Z 积分不可求，解析解算法不存在不存在=()构造新的新的变分下界，优化()得得到解析解到解析解算法算法Zhanyu Ma,et al.,“Bayesian Estimation of Beta Mixture Models with Variational Inference”,IEEE Trans.on Pattern Analysis and Machine Intelligence(TPAMI),长文长文.Zhanyu Ma,et al.,“Bayesian Estimation of Dirichlet Mixture Model with Variational Inference”,Pattern Recognition(PR).工作进展一：工作进展一：非高斯概率分布的非高斯概率分布的高效建模方法高效建模方法14 创新点创新点 提出扩展变分法，构造新的新的变分下界，使贝叶斯积分可直接计算，避免直接计算，避免采样，得到了解析解算法解析解算法 将单变量下界近似发展为多变量多变量下界近似，增加扩展变分法的灵活性灵活性变分下界变分下界多变量近似多变量近似单变量近似单变量近似多种近似策略选择多种近似策略选择 Jalil Taghia,Zhanyu Ma,et al.,“Bayesian Estimation of the von-Mises Fisher Mixture Model with Variational Inference”,IEEE Trans.on Pattern Analysis and Machine Intelligence(TPAMI),长长文文.工作进展一：工作进展一：非高斯概率分布的非高斯概率分布的高效建模方法高效建模方法15 创新点创新点 提出扩展变分法，构造新的新的变分下界，使贝叶斯积分可直接计算，避免直接计算，避免采样，得到了解析解算法解析解算法 将单变量下界近似发展为多变量多变量下界近似，增加扩展变分法的灵活性灵活性突破：突破：实现实现了非高斯概率模型的了非高斯概率模型的高效贝叶斯估高效贝叶斯估计计，针对典型非高斯分布推导出，针对典型非高斯分布推导出解析解算法解析解算法，与数值解算法相比，计算效率平均与数值解算法相比，计算效率平均提升提升73%非高斯概率模型非高斯概率模型扩展变分法扩展变分法MCMC采样采样性能提升性能提升IBMM0.381.2369%IDMM1.194.5674%InDMM1.034.1775%扩展变分扩展变分法法与与MCMC采样方法计算时间对比（单位：秒）采样方法计算时间对比（单位：秒）工作进展一：工作进展一：非高斯概率分布的非高斯概率分布的高效建模方法高效建模方法16现有研究基础现有研究基础工作进展一：工作进展一：非高斯概率分布的高效建模方法非高斯概率分布的高效建模方法工作进展二：工作进展二：非高斯分布数据的可靠特征提取框架非高斯分布数据的可靠特征提取框架工作进展三：工作进展三：非高斯分布数据的准确分析与融合方法非高斯分布数据的准确分析与融合方法17挑战：挑战：因因非高斯分布数据的特性（有界、比例分布），传统的线性变换方法不适用不适用，数据的分布无法无法保留保留且算法复杂复杂度高度高如何在有效降维同如何在有效降维同时保持分布特性？时保持分布特性？难点难点一一如何提升相应算法如何提升相应算法的计算效率？的计算效率？难点二难点二工作进展二：工作进展二：非高斯分布数据的非高斯分布数据的可靠特征提取框架可靠特征提取框架18 创新点创新点 针对有界分布数据矩阵，提出了在数据分布的参数域参数域进行共轭贝叶斯非负矩阵分解的思路 Zhanyu Ma et al.,“Variational Bayesian Matrix Factorization for Bounded Support Data”,IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI)，长文长文.有界分布有界分布数据矩阵服从beta分布构建贝叶斯估计模型,+原矩阵的原矩阵的非线非线性重构性重构数据值分布在数据值分布在0,1区间区间(|)()工作进展二：工作进展二：非高斯分布数据的非高斯分布数据的可靠特征提取框架可靠特征提取框架服从gamma先验19x1x2,1x3,1x4,1x1,2x2,2Ru1u2R1x1,1u3 创新点创新点 针对有界分布数据矩阵，提出了在数据分布的参数域参数域进行共轭贝叶斯非负矩阵分解的思路 利用非高斯中性矢量变量的“互独立”、“可交换”、“可聚集”性质，提出了最最优非线性快速独立化优非线性快速独立化方法方法 Zhanyu Ma,et al.,“Nonlinear Decorrelation of Neutral Vector Variable:Theory and Applications”,IEEE Transactions on Neural Networks and Learning Systems(TNNLS).中性矢量作为输入输出一组相互独立的变量1=1,11,1+2,12=3,14,1+3,13=1,21,2+2,2工作进展二：工作进展二：非高斯分布数据的非高斯分布数据的可靠特征提取框架可靠特征提取框架20传统非负矩阵分解:()()计算复杂度创新方法创新方法:()工作进展二：工作进展二：非高斯分布数据的非高斯分布数据的可靠特征提取框架可靠特征提取框架 Zhanyu Ma et al.,“Variational Bayesian Matrix Factorization for Bounded Support Data”,IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI)，长文长文.突破：突破：保留了数据保留了数据有界有界/比例比例分布特性分布特性，推导出，推导出解析解析解解算法，计算复杂度从算法，计算复杂度从指数指数/平方降低到线性平方降低到线性计算复杂度传统主成分分析:O(TP2logP)创新方法创新方法:O(TPlogP)21现有研究基础现有研究基础工作进展一：工作进展一：非高斯概率分布的高效建模方法非高斯概率分布的高效建模方法工作进展二：工作进展二：非高斯分布数据的可靠特征提取框架非高斯分布数据的可靠特征提取框架工作进展三：工作进展三：非高斯分布数据的准确分析与融合方法非高斯分布数据的准确分析与融合方法22挑战：挑战：传统方法采用高斯分布传统方法采用高斯分布建模，导致建模，导致模型与数据模型与数据不匹配不匹配，带来，带来多源异构多源异构信息信息交互交互融合融合困难的问题困难的问题如何利用数据分布如何利用数据分布特性准确建模？特性准确建模？难点难点一一如何促进跨模态信如何促进跨模态信息的交互融合？息的交互融合？难点二难点二工作进展三：工作进展三：非高斯分布数据的非高斯分布数据的准确分析与融合方法准确分析与融合方法语音线谱频率（有序）DNA甲基化数据（有界）图像像素（有界）词袋模型（比例数据）细粒度草图-图像跨模态检索23 创新点创新点 提出了面向典型非高斯分布数据的准确建模方法图像：针对R-HoG非负分布非负分布特征，提出基于逆狄利克雷分布的非高斯图像特征提取特征提取模型，分类准确率提升提升3%，检测准确率提升提升1.4%Zhanyu Ma et al.,“Short Utterance based Speech Language Identification in Intelligent Vehicles with Time-scale Modifications and Deep Bottleneck Features”,IEEE Transactions on Vehicular Technology(TVT).Zhanyu Ma et al.,“Variational Bayesian Learning for Dirichlet Process Mixture of Inverted DirichletDistributions in Non-Gaussian Image Feature Modeling”,IEEE Transactions on Neural Network and Learning Systems(TNNLS).工作进展三：工作进展三：非高斯分布数据的非高斯分布数据的准确分析与融合方法准确分析与融合方法24 创新点创新点 提出了时空关联融合、耦合子空间投影等方法设计跨模态“草图-图像”非高斯耦合子空间非高斯耦合子空间学习框架，与最好的方法比较，百万级百万级草图数据库检索mAP提升提升0.05 Peng Xu,Yongye Huang,Tongtong Yuan,Kaiyue Pang,Yi-Zhe Song,Tao Xiang,Timothy Hospedales,Zhanyu Ma*,and Jun Guo,“SketchMate:Deep Hashing for Million-Scale Human Sketch Retrieval”,CVPR.Sheng Gao,Hao Luo,Da Chen,Shantao Li,Patrick.Gallinari,Zhanyu Ma,et al.,“A Cross-Domain Recommendation Model for Cyber-Physical Systems”,IEEE Transactions on Emerging Topics in Computing(TETC).工作进展三：工作进展三：非高斯分布数据的非高斯分布数据的准确分析与融合方法准确分析与融合方法25 创新点创新点 提出了时空关联融合、耦合子空间投影等方法设计跨模态“草图-图像”非高斯耦合子空间非高斯耦合子空间学习框架，与最好的方法比较，百万级百万级草图数据库检索mAP提升提升0.05 Peng Xu,Yongye Huang,Tongtong Yuan,Kaiyue Pang,Yi-Zhe Song,Tao Xiang,Timothy Hospedales,Zhanyu Ma*,and Jun Guo,“SketchMate:Deep Hashing for Million-Scale Human Sketch Retrieval”,CVPR.Sheng Gao,Hao Luo,Da Chen,Shantao Li,Patrick.Gallinari,Zhanyu Ma,et al.,“A Cross-Domain Recommendation Model for Cyber-Physical Systems”,IEEE Transactions on Emerging Topics in Computing(TETC).工作进展三：工作进展三：非高斯分布数据的非高斯分布数据的准确分析与融合方法准确分析与融合方法突破：突破：较好较好解决了解决了非高斯分布数据非高斯分布数据准确准确建模与建模与交互融合的难题交互融合的难题261.1.基本情况介绍基本情况介绍2.2.现有研究基础现有研究基础3.3.拟拟开展开展的的工作工作报告提纲报告提纲27研究背景研究背景大数据时代，存在着典型的小样本问题大数据时代，存在着典型的小样本问题图图像像数数量量常见类常见类稀有类稀有类开放类开放类大规模大规模图像识别图像识别小样本小样本图像识别图像识别零样本零样本图像识别图像识别开放场景中的小样本学习开放场景中的小样本学习安安防监控中的小样本学习防监控中的小样本学习 受到遮挡、光照、设备等外部因素的影响，图像识别算法的鲁棒性较差鲁棒性较差 目标在监控视频出现次数较少出现次数较少，其数量与已知数据相比分布极为不平衡分布极为不平衡 雷达目标识别数据样本少样本少、成像质量低质量低 识别时涉及数十种特征，相互关系印证复杂印证复杂特定领域中的小样本学习特定领域中的小样本学习 真实世界的物体类别呈现长尾长尾分布分布 常见类别的图像数量较多数量较多，不常见类别的图像数量较少、采集困难数量较少、采集困难28absentDAMSDADGTraining datasetTest datasetSource(Labeled)Target(Unlabeled)Target问题定义问题定义29科学问题科学问题高效高效概率模型构建概率模型构建可靠可靠最最优优特征提取特征提取准确准确数据数据跨跨域分析域分析数据的非高斯建模与分析基于域自适应的小样本学习理论与方理论与方法支撑法支撑增加数据数量增加数据数量提升数据质量提升数据质量增强网络增强网络准确率准确率和鲁棒性和鲁棒性增强增强多域迁移多域迁移能力能力提升提升模型泛化性能模型泛化性能面临面临挑战挑战已有成果已有成果30科学问题科学问题高效高效概率模型构建概率模型构建可靠可靠最最优优特征提取特征提取准确准确数据数据跨跨域分析域分析数据的非高斯建模与分析基于域自适应的小样本学习理论与方理论与方法支撑法支撑增加数据数量增加数据数量提升数据质量提升数据质量增强网络增强网络准确率准确率和鲁棒性和鲁棒性增强增强多域迁移多域迁移能力能力提升提升模型泛化性能模型泛化性能面临面临挑战挑战已有成果已有成果解决解决样本数少、易过拟合、类别未知、跨样本数少、易过拟合、类别未知、跨域融合域融合等小样本学习中的关键问题等小样本学习中的关键问题31拟开展的工作拟开展的工作工作一：工作一：小样本数据的特征分布形态研究小样本数据的特征分布形态研究工作二：工作二：基于多源域适应的小样本数据分类基于多源域适应的小样本数据分类工作三：工作三：面向域自适应的深度网络架构研究面向域自适应的深度网络架构研究321.像素层面的数据迁移方法Pixel level（一）小样本数据的特征分布形态研究（一）小样本数据的特征分布形态研究Input image(source domain)x,yxInput image(target domain)Style transferx,yInput image(source domain after style transfer)VGGLossSourceTargetSource/Target33Input image(source domain)Input image(target domain)x,yxVGGDistributionalignmentLoss2.特征层面的数据迁移方法（一）小样本数据的特征分布形态研究（一）小样本数据的特征分布形态研究KL距离、GAN等实现对齐34拟开展的工作拟开展的工作工作一：工作一：小样本数据的特征分布形态研究小样本数据的特征分布形态研究工作二：工作二：基于多源域适应的小样本数据分类基于多源域适应的小样本数据分类工作三：工作三：面向域自适应的深度网络架构研究面向域自适应的深度网络架构研究35Input image(source domain 1)Input image(target domain)x,yx1Distributionalignment1Loss1.基于迁移方法的多域自适应小样本学习Input image(source domain 2)x,y2VGG2（二）基于多源域适应的小样本数据（二）基于多源域适应的小样本数据分类分类不同source均映射到target，最终通过加权的方式生成新的目标函数362.基于域泛化方法的公共特征子空间构建Input image(source domain 1)x,y1Input image(source domain 2)x,y2VGGInput image(source domain 3)x,y3特征子空间LossLossLoss（二）基于多源域适应的小样本数据（二）基于多源域适应的小样本数据分类分类37VGGfeature subspaceInput image(target domain)x测试阶段测试阶段（二）基于多源域适应的小样本数据（二）基于多源域适应的小样本数据分类分类2.基于域泛化方法的公共特征子空间构建38拟开展的工作拟开展的工作工作一：工作一：小样本数据的特征分布形态研究小样本数据的特征分布形态研究工作二：工作二：基于多源域适应的小样本数据分类基于多源域适应的小样本数据分类工作三：工作三：面向域自适应的深度网络架构研究面向域自适应的深度网络架构研究39（三）（三）深度深度网络架构研究网络架构研究1.基于深度元学习的集成识别方法卷积层卷积层样本样本特特征征向向量量特特征征向向量量特特征征向向量量特特征征向向量量度度量量函函数数全全连连接接层层全全连连接接层层度量学习模块相似度打分相似度打分实现集成识别实现集成识别度量度量结果结果指导特征提取指导特征提取特征提取结果特征提取结果指导度量学习指导度量学习40（三）（三）深度深度网络架构研究网络架构研究2.网络结构与损失函数优化卷积层卷积层FC特征通道特征通道+图像输入图像输入生成生成-促进促进-判别判别：交叉熵损失函数：交叉熵损失函数：局部局部区域损失函数，区域损失函数，关注多个有判别性的区域关注多个有判别性的区域同时完成局部定位局部定位和有判别力有判别力的特征学习相同感受野下不同尺度相同感受野下不同尺度41总体目标总体目标基于多源域适应的小样本数据分类基于域自适应的小样本学习面向域自适应的深度网络架构研究小样本数据的特征分布形态研究数据灵活模型紧致融合高效42谢谢谢谢