部分线性分位数回归模型的平均估计_胡国治.pdf

部分线性分位数回归模型的平均估计胡国治，曾婕（合肥师范学院 数学与统计学院，安徽 合肥 230601）摘要：模型平均估计可对不同候选模型中的参数估计量进行加权平均，能有效提高参数估计的精度，在经济、金融和管理等领域有着广泛应用。为提高部分线性分位数回归模型的参数估计效果，本文构造了基于兴趣参数的模型平均估计量并探究了其大样本性质。首先，利用B样条近似非参数函数，并通过极小化分位数损失函数来得出各候选模型的回归系数估计量，在局部误设定框架下推导了系数估计量的渐近分布；其次，基于候选模型中兴趣参数的估计构造出了模型平均估计量，并得出其渐近性质；最后，推导了覆盖真实参数的概率趋近于名义水平的置信区间。本文研究不仅丰富了平均估计的渐近分布理论，而且为兴趣参数构造了合适的置信区间。关键词：部分线性模型；分位数回归；模型选择；模型平均中图分类号：O212.7文献标志码：A文章编号：1007-4260（2023）01-0032-05Averaging Estimation for Partially Linear Quantile Regression ModelsHU Guozhi,ZENG Jie(College of Mathematics and Statistics,Hefei Normal University,Hefei 230601,China)Abstract:Model averaging estimator is a weighted average of the parameter estimators in different candidate models,which can effectively improve the accuracy of parameter estimation and has wide applications in the fields of economy,fi-nance and management.In order to improve the parameter estimation effect for partially linear quantile regression model,thispaper constructs the model averaging estimator of the focus parameter and explores its large sample nature.Firstly,the non-parametric function is approximated by B-spline,and the regression coefficient estimator in each candidate model is obtainedby minimizing the quantile loss function.Under the misspecification framework,the asymptotic distribution of the regressioncoefficient estimator in each submodel is obtained.Secondly,based on the estimators of the focus parameter in the candidatemodel,the model averaging estimator is constructed,and its asymptotic property is obtained.Finally,a confidence intervalwith an actual coverage probability that converges to the intended level is constructed.This paper not only obtains the asymp-totic distribution theory of the model averaging estimator,but also constructs an appropriate confidence interval for the focusparameters.Key words:partially linear models;quantile regression;model selection;model averaging部分线性模型是一类重要的半参数统计模型，其不仅拥有线性模型的可解释性，而且具有非参数模型的灵活性，在日常生活中有着广泛应用。迄今为止，很多学者对此模型进行了深入探究，构造出了多种估计未知参数和非参数函数的统计方法，如核估计1-2、局部多项式估计3、样条估计4以及经验似然估计5等。当数据存在重尾分布时，利用均值回归模型拟合数据往往会产生较差的效果。此时，分位数回归模型是一种较好的替代方法，其构建了响应变量的条件分位数与协变量间的关系，能更全面地刻画出收稿日期：2022-01-01基金项目：安徽省高校自然科学研究重点项目（KJ2021A0930，KJ2021A0929）和安徽省质量工程线上课程（2020mooc424）作者简介：胡国治（1988），男，安徽桐城人，博士，合肥师范学院数学与统计学院讲师，研究方向为应用统计。E-mail：2023年2月第29卷第1期安庆师范大学学报（自然科学版）Journal ofAnqing Normal University（Natural Science Edition）Feb.2023Vol.29 No.1DOI：10.13757/34-1328/n.2023.01.006第1期不同分位点下变量间的联系。Koenker6详细介绍了分位数回归模型的基本概念和基本原理。近年来，多位学者探究了部分线性分位数回归模型的参数估计问题。例如，Lee7研究了此模型的参数估计并得出了参数部分的半参有效界，He等8讨论了部分线性测量误差分位数回归模型的估计问题。在数据分析中，选取合适的模型是一个重要课题，在统计上一般称其为模型选择。自AIC（Akaikeinformation criterion）9问世以来，学者们提出了很多模型选择方法，如BIC（Bayesian information criterion）10和Cp11等。利用这些选择方法可以从众多模型中挑选出一个“最优”的模型，并基于所挑选出模型进行统计推断，但此过程往往忽略了选择阶段的不确定性，容易得出不稳定的推断结果。为了缓解此问题，学者们提出了将多个模型组合起来的模型平均方法。例如，Stell12详细介绍了模型平均的优势，并探究了经济学中经常遇见的模型平均问题。Schomaker等13介绍了四种常见的模型平均方法，并说明可将模型平均方法看成是机器学习理论的重要补充。同时，构造模型平均估计量的渐近分布是近年来统计学研究的热点课题。Hu等14探究了纵向数据下模型平均估计量的渐近分布，并为兴趣参数构造了理想的置信区间。Cunen等15利用置信分布探究了模型平均估计量的权重构造法，并得出了估计量的大样本性质。在分位数回归框架下，已有多位学者探究了平均估计量的渐近分布。例如，Du等16探究了线性分位数回归模型的兴趣信息准则，并构造模型平均估计量以得出大样本性质。Duan等17讨论了局部误设定线性分位数回归下全模型和窄模型估计量的渐近分布，并基于兴趣信息准则构造了模型平均估计量，从而得出估计量的渐近性质。Bloznelis等18研究了线性复合分位数回归下的模型平均估计量，并得出了估计量的渐近分布，同时将研究结果拓展到高维情形。上述分位数回归平均估计量的渐近分布研究大多是围绕线性模型展开的，对于更加复杂的半参数模型研究较少。本文以部分线性分位数回归模型为研究对象，构造出了该模型的平均估计量并得出估计量的渐近分布，同时为兴趣参数构造了合理的置信区间。与传统线性分位数回归模型相比，部分线性分位数回归模型通过引入非参数函数来刻画了响应变量与协变量间的非线性关系，较大地拓展了线性模型的适用范围。非参数函数的引入不仅增加了各候选模型兴趣参数的估计难度，而且提高了平均估计量大样本性质的证明复杂性。1模型框架及估计方法1.1模型框架部分线性分位数回归模型形式，如Yi=Xi()+g()Ui,+i()，（1）其中，Yi是响应变量，Xi是p维协变量，()是p维未知参数向量，i()是随机误差。Ui可以是多维的，但随着维数增加，在估计g()时需要较大样本量，而实际收集到的样本量往往难以满足该要求。为避免此问题，假设Ui是一维的。表示分位数水平，在()0,1上取值，为便于数学表示，下文中省略（1）式中的。记模型（1）中参数=()1,2，其中，1表示肯定入选模型的变量回归系数，其维数为p1 1，2表示待选变量的回归系数，其维数为p2 1。根据Hjort等19定义的局部框架，将回归参数的真值设定为0=()10,20=()10,/n。为探究该模型平均估计，记第S个候选模型的参数S=()1,2S，其中2S是2的子向量，其维数为p2S 1，则2S=S2，S是由0和1组成的映射矩阵。1.2估计方法考虑来自第S个候选模型的独立随机样本()Yi,SXi,Ui,i=1,2,3,n，其中S是由p1 p1的单位矩阵和S组成的对角阵。记B()=()B1(),BJ()为B样条基函数，其阶数为L，内节点数目为kn，则有J=L+kn。此时，模型的非参数函数g()可用B()近似表示，其中=()1,2,3,J是样条系数。为估计第S个候选模型中的未知参数S和非参数函数gS()，可定义目标函数为胡国治，曾婕：部分线性分位数回归模型的平均估计 33安庆师范大学学报（自然科学版）2023年L()S,S=i=1n()Yi-()SXiS-Bi，（2）其中，()e=e()-Ie 0是分位数损失函数，Bi=B()Ui。通过极小化（2）式，可得()S,S的估计量()?S,?S，此时非参数函数的估计量g?S()=Bi?S。为得出估计量的大样本性质，假定下列条件成立：（C1）协变量Xi和Ui依概率有界；（C2）函数g()有有界的r阶导数，其中r 2；（C3）i存在连续的概率密度函数f()，且此函数值在0的邻域内大于0；（C4）当n足够大时，Hn是非奇异矩阵，n-1H2n的特征值有界地远离0和无穷大，其中H2n=knBB，且B=()B1,Bn。定理1在条件（C1）（C4）下，有n()?S-()10,0d()SS-1S+()SS-1S()0,，其中，=limn n-1XiXi，X=()I-P X，P=B()BB-1B，X=()X1,X2,X3,Xn，N()0,1，1=()1-/f2()0。证明令S()S,=()1S2=()S1 2n()SS-0k-1/2nHn()-0+k1 2nH-1nBX()SS-0，则可将公式（2）改为i=1n()Yi-()SXiS-Bi=i=1n()i-X?i1S-B?i2-Ri，其 中，Sn=n-1XX，X?i=S-1/2nXi，B?i=k1 2nH-1nBi，Ri=Bi0-g0()Ui。记?i=i-B?i?2-Ri，()t=-I()t 0。Ln()S,?=i=1n|()?i-1nXiSS+1nXi0-()?i=i=1nE|()?i-1nXiSS+1nXi0-()?i-1ni=1nXi()?i()SS-0+i=1n()rn,i-Ern,i+op()1=Ln,1+Ln,2，其中，rn,i=()?i-1nXiSS+1nXi0-()?i+1nXi()?i()SS-0。由Sun等20的结果可知Ln,2=op()1，Mn=1ni=1nXi()?idM N()0,()1-，Ln,1=f()02()SSSS-20SS+00-Mn()SS-0+op()1。因此，极小化f()02()SSSS-2n 0SS+n00-Mn()SS-n 0，可得n?S的收敛结果。证毕。注记1利用定理1进行统计