一种近红外混合光谱定性模型构建方法_张望兴.pdf

2023 年 5 月下137Agricultural Machinery and Equipment农业机械与装备一种近红外混合光谱定性模型构建方法张望兴1，林梦涵1，贾文平1，庄增坤1，彭仕军2，许志强2，安瑞3，彭云发3（1.福建省三明金叶复烤有限公司，福建 三明 365000；2.江苏中烟工业有限责任公司，江苏 南京 210000；3.上海创和亿电子科技发展有限公司，上海 200092）摘 要：【目的】为了提高模型的通用性，确保在实际的近红外定性模型的构建过程中能够提取近红外光谱更多的有效信息，建立一套稳定的、能够适应外界光谱变化的近红外定性模型。【方法】研究小组采用基于加速遗传算法的投影寻踪方法构建光谱的定性模型。通过混合多批次、多产地、多等级、多部位的光谱作为训练样本集，来提高模型的通用性。然后计算投影特征向量和其他光谱集的投影值，并分别进行比较。【结果】建模集与同批次光谱集的均值的变异系数为0.63%，与不同批次光谱集的均值的变异系数为1.54%，并且，混合不同批次样本前后，不同批次样本集投影值均值的变异系数从1.54%降至0.26%。【结论】通过混合不同批次的光谱，可明显提高模型在不同批次光谱的定性表现。因此，使用投影寻踪方法建立光谱的定性模型具备很好的可行性。关键词：近红外；加速遗传算法；投影寻踪；定性模型中图分类号：O657.33 文献标志码：A DOI：10.3969/j.issn.1672-3872.2023.10.041A Qualitative Model Construction Scheme for Hybrid NIR SpectroscopyZhang Wangxing1,Lin Menghan1,Jia Wenping1,Zhuang Zengkun1,Peng Shijun2,Xu Zhiqiang2,An Rui3,Peng Yunfa3(1.Fujian Sanming Jinye Redrying Co.,Ltd.,Fujian Sanming 365000;2.China Tobacco Jiangsu Industrial Co.,Ltd.,Jiangsu Nanjing 210000;3.Shanghai Micro-Vision Technology LTD,Shanghai 200092)Abstract:Objective To improve the versatility of the model,ensure that more effective information from the near infrared spectrum can be extracted during the construction of the actual near infrared qualitative model,and establish a stable near infrared qualitative model that can adapt to external spectral changes.Method The research team used the projection pursuit method based on accelerated genetic algorithm to construct a qualitative model of the spectrum.The versatility of the model is improved by mixing multiple batches,multiple origins,multiple levels,and multiple parts of the spectrum as a training sample set.Then calculate the projection value of the projection feature vector and other spectral sets,and compare them respectively.Result The coefficient of variation of the mean values of the modeling set and the same batch spectral set was 0.63%,and the coefficient of variation of the mean values of the different batch spectral sets was 1.54%.Moreover,before and after mixing different batch samples,the coefficient of variation of the mean values of the projection values of the different batch sample sets decreased from 1.54%to 0.26%.Conclusion By mixing different batches of spectra,the qualitative performance of the model in different batches of spectra can be significantly improved.Therefore,using projection pursuit method to establish qualitative models of spectra has good feasibility.Keywords:NIR;accelerated genetic algorithm;project pursuit;qualitative model0 引言近红外光谱（NIR）1能够快速地对被检测样品进行近红外光谱采集测量，获取相关检测指标。并且，在样品的整个检测生命周期中，无需消耗其他材料以及二次处理，因此在工农业领域获得了广泛的应用2。近红外是一种波段范围在850 nm2 500 nm的电磁波，样本所含的不同分子信息对应不同的显示光谱，分析光谱即可获知样品的成分信息，从而让近红外在烟草行业在线生产质量监控上发挥了重要的作用而被广泛应用3。投影寻踪方法4是20世纪70年代提出的一种数据降维方法，能够将非线性非正态高维数据投影成一维空间上的值，通过该投影值即可判断高维数据的结构特征。因此，对于结构复杂、属性较多的数据应用场景有着极高的应用价值，目前已在经济5、农业6、水利7等领域上取得一定成果。本文基于此方法，构建了对光谱分析的定性模型，在光谱的定性判别方面作用显著。现有的复烤厂定性建模大多数采用选取每个批次前半小时光谱进行建模的方法，这种方法存在以下作者简介：张望兴（1970），男，福建仙游人，本科，工程师，研究方向为计算机、烟草工艺技术。通信作者：林梦涵（1974），男，福建仙游人，本科，工程师，研究方向为烟草工艺技术。1382023 年 5 月下Agricultural Machinery and Equipment农业机械与装备缺点：1）一个大的批次需要加工数十天，取前半小时的烟叶光谱并不能代表全部，特别是对于农产品这种复杂样品。2）由于近红外光谱的影响因素比较多，易受外界环境、温度以及样本类型的影响，在实际的使用过程中，当外界的光谱发生变化与校正样本不一致时，容易导致模型失效，控制效果变差。3）对于复杂样本类型的近红外模型的构建，半小时的光谱容易集中在一起，这种建模方式会产生多重共线性8，使得在实际的质量监控过程中，当实际取样样本的光谱发生微弱的变化，现有的模型会出现不具备与实际样本变化趋势的一致性的情况。为了提高模型的通用性，确保在实际的近红外定性模型的构建过程中能够提取近红外光谱更多的有效信息，建立一套稳定的、能够适应外界光谱变化的近红外定性模型已成为当前近红外领域亟需解决的关键技术问题。1 材料与方法1.1 实验材料1.1.1烟叶原料三明复烤厂上一个烤季的原烟，入库时间为2019年5月7日。1.1.2主要设备ARMOR 711 在线近红外光谱仪（德国卡尔蔡司），波长范围为950 nm2 200 nm，波长准确性1.0 nm，波长重复性0.1 nm。光照角度为0，测量角度为10，测量光斑直径为30 mm，波长点数为351个。探头距离物料最佳范围为16610 mm，光源为卤素灯（12 V/50 W）。1.2 实验方法建立光谱数据的定性模型，总体可分为以下几个步骤：1）混合光谱数据采集。采集两个不同批次的光谱，分别混合多产地、多等级、多部位。得到建模所需的两个批次的样本集，并将每个批次的样本集划分为两部分光谱集。2）计算投影特征向量。对第一批次中第一部分的光谱集进行定性投影，通过基于实码加速遗传算法的投影寻踪方法求解投影方向向量，并计算该部分光谱集每个样本的投影特征值。3）计算其他光谱集的投影值。利用第2步计算出来的投影方向向量计算其他光谱集样本的投影值。4）同批次不同光谱集投影值比较。计算同批次每个光谱集投影值的均值，比较均值差异。5）不同批次不同光谱集投影值比较。计算另一批次每个光谱集投影值的均值，比较该批次光谱集与上一批次光谱集投影值的均值差异。1.2.1混合光谱数据采集提取三明复烤厂上一烤季在线近红外采集的光谱，混合多产地、多等级、多部位，包含有效信息的同时，避免大量建模。1）获取三明复烤厂上一烤季在线近红外采集的所有正常的样本光谱，一个烤季一条线的正常光谱大约有80万条。2）上一烤季正常光谱由于数据量庞大不利于建模，且大量的同产地、同等级光谱混合在一起，容易造成模型过拟合和增加无用的信息。近红外光谱平均每5 s采集一条光谱，1 h大约采集500条正常光谱，为了既能减少光谱量又能涵盖每个等级、产地的烟叶光谱，平均每隔1 000条光谱提取一条光谱，一天大约提取8条光谱，整个烤季总共提取光谱700800条，包含每天、每个月、各个部位、各个等级、各个产地的光谱，覆盖面广。1.2.2投影寻踪计算投影特征值对剔除异常样本后的可用光谱进行定性投影，通过投影寻踪模型9求解投影方向向量，并计算对应的投影特征值。求解投影特征值的具体方法如下。标记剩余的正常光谱x，为n行m列的光谱矩阵；其所对应的化学值为y；n为样本数量，m为采集样本的波长点数（样本数据维度）。对光谱进行投影，光谱投影的具体计算步骤如下：1）对光谱进行归一化。Xi,j=xi,j-min(xj)max(xj)-min(xj)（1）其中，i 为光谱矩阵的第 i 个样本，j 为光谱矩阵的第 j 列，i=1,2,3,.,n；j=1,2,3,.,m。min(xj)和max(xj)分别表示所有样本光谱矩阵第j列波长点的最小值和最大值。2）确定投影目标函数。将m维数据Xi,j投影到投影方向a=(a(1),a(2),.,a(m)上，得到样本的一维投影值Z=(Z1,Z2,.,Zn)。Zi=mj=1ajXi,j （2）2023 年 5 月下139Agricultural Machinery and Equipment农业机械与装备其中，Zi为第i个样本的投影值，aj0，mj=1aj2=1。在确定最优投影值时，需要确保Zi(i=1,2,3,.,n)能够尽可能多地提取出Xi,j中的变异信息，即需要使Zi的标准差SZ尽可能大，并且局部密度DZ尽可能大，因此构造投影目标函数Q(a)：Q(a)=SZDZ （3）SZ=ni=1(Zi-Za)2n-1 （4）DZ=ni=1mj=1(R-rij)f(R-rij)（5）其中，Za为所有样本投影值Zi的均值，rij为任意两个近红外烟叶样本的投影特征值间的距离，计算公式如下：rij=|Zi-Zj|,(i=1,2,3,.,n;j=1,2,3,.,m)（6）f(R-rij)=1,Rrij0,Rrij （7）其中，R为估计