贝叶斯统计中先验分布的教学研究_曹桃云.pdf

-124-贝叶斯统计中先验分布的教学研究 曹桃云 郭影玲 （广东财经大学统计与数学学院，广东 广州 510320）【摘 要】贝叶斯统计是统计学的一个重要分支，近几十年来贝叶斯统计迅速发展，在实际问题中获得广泛应用，如何选取先验分布是贝叶斯统计的一个主要问题。文章对贝叶斯统计教学中的四种先验分布：利用边缘分布的第二型极大似然方法确定先验、利用边缘分布的矩方法确定先验、无信息先验、共轭先验，分别从基本思想、求解步骤、应用举例、使用对比四个环节进行梳理，以加深学生对几种先验分布的理解，培养学生运用贝叶斯统计解决实际问题的能力。【关键词】贝叶斯统计；先验分布；教学研究【中图分类号】G642 【文献标识码】A 【文章编号】1008-1151(2022)12-0124-04 Teaching Research on Prior Distribution in Bayesian Statistics Abstract:Bayesian statistics is an important branch of statistics.Bayesian statistics has developed rapidly in recent decades and has been widely used in practical problems.How to select a prior distribution is a major problem in Bayesian statistics.The article combs four kinds of prior distributions in teaching:determining a prior by using the second type maximum likelihood method of marginal distribution,determining a prior by using the moment method of marginal distribution,determining a prior,a prior without information,and a conjugate prior from four aspects:basic ideas,solving steps,application examples,and use comparison,so as to deepen students understanding of several prior distributions,cultivating students ability to solve practical problems by using Bayesian statistics.Key words:Bayesian statistics;prior distribution;teaching research 引言 贝叶斯公式尽管从形式上看是条件概率的一个推论，但包含的归纳推理思想意义深远。学者们把贝叶斯公式发展成为一种统计推断的系统理论方法，形成贝叶斯方法。由贝叶斯方法获得的统计推断的全部结果构成了贝叶斯统计1,2。贝叶斯统计作为统计学的一个重要分支，目前已被广泛应用在机器学习等领域3,4。贝叶斯统计将统计推断问题中的未知参数视为在参数空间内取值的一个随机变量，通过赋予随机变量先验信息，获得观测数据后综合考虑总体信息和样本信息进行后验分布的计算并完成估计和检验。一般的先验信息来自经验和历史资料，由于先验信息的使用，使贝叶斯统计进行统计推断的准确性更高，合理选取先验分布是贝叶斯统计的一个主要问题1。本文对教学中的四种先验分布：利用边缘分布的第二型极大似然方法确定先验、利用边缘分布的矩方法确定先验、无信息先验、共轭先验，分别从基本思想、求解步骤、应用举例、使用对比四个环节进行梳理，以加深学生对几种先验分布的理解，培养学生运用贝叶斯统计解决问题的能力。1 先验分布及相关概念 先验分布是指在抽取样本之前对参数 的认识，进一步可理解为在得到观测数据前关于参数 的可能值的所有信息和信念1,2。本文用()表示参数 的先验分布概率函数，以下简称()为参数 的先验分布。先验分布()的核是指略去()表达式中和参数 无关的因子，只留下与参数 有关的。如参数 来自伽玛分布),(Ga，在 0，0 均已知时，则有先验分布()为，为伽玛函数。其中的符号表示正比于，则先验分布()的核为e1。下文中涉及的核均指此意。若随机变量 X 有概率函数，的先验分布为()，则 为连续型随机变量时随机变量 X 的边缘分布，在 为离 散 型 随 机 变 量 时 随 机 变 量X的 边 缘 分 布。在先验分布()中含有未知超参数 时（超参数可以是参数向量），由于先验分布()和超参数 有关，有，此时的边缘分布也与超参数 有关，有。总第 24 卷 280 期 大 众 科 技 Vol.24 No.12 2022 年 12 月 Popular Science&Technology December 2022 【收稿日期】2022-09-09【作者简介】曹桃云（1968），女，广东财经大学统计与数学学院副教授，博士，硕士研究生导师，研究方向为统计机器学习、贝叶斯统计教学研究；郭影玲（1991），女，供职于广东财经大学统计与数学学院，硕士，研究方向为美术视觉传达设计、高等教育研究。-125-2 几种先验分布的基本思想 教学中的四种先验分布：利用边缘分布的第二型极大似然方法确定先验、利用边缘分布的矩方法确定先验、无信息先验、共轭先验，其中的前两种都是利用边缘分布 m(x)，当样本来自包含参数 且形式已知的概率函数，参数 的先验分布()形式已知，未知的仅是其中的超参数。利用边缘分布的第二型极大似然方法确定先验分布的基本思想是：当观测到的样本是来自包含参数 的概率密度函数，参数 有两个先验分布 1()和 2()。若先验分布 1()对应的边缘分布大于先验分布 2()对应的边缘分布，则得出先验分布取 1()时样本出现的似然性比先验分布取 2()时的似然性大，故可认为样本由先验分布取 1()的边缘分布中产生。类似经典统计中的最大似然原理，此时的边缘分布 m(x)相当于似然函数，先验分布相当于似然函数中的参数，1()相当于对似然函数求最值解出的参数估计。基于边缘分布的矩方法确定先验分布的基本思想是：首先将边缘分布的一些矩表示成超参数的函数，得到方程或方程组；接着将方程或方程组中的边缘分布的矩用相应的样本矩替代，得到以超参数为变量的方程或方程组；最后解方程或方程组。类似经典统计中的矩估计思想，此时边缘分布 m(x)的矩相当于总体矩，用相应的样本矩替代，建立方程或方程组，通过求解给出超参数的估计。将解出的超参数带入先验分布中确定先验分布。无信息先验是在没有先验信息或者只有极少的先验信息可以使用时的一种先验，拉普拉斯（Laplace）在 1812 年提出广义先验分布，广泛使用的是 Jeffreys 在 1961 年提出的一般情形下的无信息先验，基本思想是：样本是来自包含参数 的形式已知的概率密度函数，对于 在无信息先验分布时，用 Fisher 信息矩阵的行列式的平方根作为参数 先验密度的核。这里使用 Fisher 信息矩阵测量随机样本包含未知参数 的信息量。下文中的无信息先验专指 Jeffreys 无信息先验。共轭先验是在已知样本分布的情形下，若 是 的先验分布()构成的分布族，如果对任意的先验分布)(及样本，的后验分布仍属于，则是一个共轭先验分布族。其基本思想是：利用样本信息修正先验密度函数，在实际问题中遇到先验密度和似然函数不容易或困难的积分，通过先验密度的核和似然函数的核简化计算。这里的共轭表示先验分布与后验分布相对于给定的似然函数而言。3 几种先验分布的求解步骤 教学中为方便学生的对比学习，归纳了四种先验分布的求解步骤。利用边缘分布的第二型极大似然确定先验分布的求解步骤：（1）写出参数 分布中包含的超参数的对数似然函数；（2）求解对数似然函数的最值给出超参数；（3）带入超参数确定先验分布。利用边缘分布的矩方法确定先验分布的求解步骤：（1）计算样本分布的期望、方差；（2）计算边缘密度的期望、方差；（3）建立方程或方程组，求出超参数；（4）带入超参数确定先验分布。无信息先验的求解步骤：（1）写出参数 的对数似然函数；（2）计算 Fisher 信息矩阵；（3）给出参数 的无信息先验。共轭先验的求解步骤：（1）写出参数 的似然函数的核；（2）选择与似然函数具有同类核的先验分布作为共轭先验分布。下面通过举例进一步展示先验分布的应用。4 几种先验分布的应用举例 举例 1：设nxx,1相互独立，且ix服从泊松分布)(iP，ni,1=，若n,1相互独立且来自伽玛分布),(Ga，求（1）),(1nxxx=的边缘分布函数)(xm；求（2）伽玛分布),(Ga中的已知情形下的第二型极大似然方法确定的先验分布；求(3)矩方法确定的先验分布。解：由nxx,1相互独立，且服从泊松分布)(iixP，ni,1=，则有!)(ixiiixexPii=，2,1,0,0=iix 又n,1相互独立且来自伽玛分布),(Ga，则有 iePii=1)(),(，0,0，为伽玛函数),(1nxxx=的边缘分布函数为=+=+=+|=|=niixinniiniixxdxpxmxmi1101!)1()()()()()()(第二型极大似然方法确定先验分布的计算如下：（1）写出已知超参数的对数似然函数为=+=niiiixxxnnxmLl1!ln)1ln()()(ln)(lnln),(lnln（2）对数似然函数关于超参数求导并令其为 0，即 011=+=niixnnddl 计算出超参数的取值x=（3）在已知时的先验分布为伽玛分布。矩方法确定先验分布计算如下：（1）根据样本服从泊松分布)(ixP，计算样本分布的期望、方差分别为 iixiixixExEii=22)()(,)()(-126-这里的)(xEix表示在给定i的条件下样本的条件期望。以下出现类似符号均作类似解释。（2）根据参数i服从伽玛分布),(Ga，计算边缘的)(xm期望、方差分别为 22,2,)()(),(,)(),(+=+=iiimimiiiiEEEE （3）建立方程组，求得超参数,|+=22sx解出|=xsxxsx222，且20sx m维参数向量，则得到的Fisher 信息矩阵是)1(m维方阵，方阵中所有元的计算与上述计算类似。注意到，本例中泊松分布)(P中的无任何先验信息，Jeffreys 无信息先验为此类问题提供了一般性的方法，文献5中使用 Jeffreys 无信息先验得到贝叶斯估计优越于经典统计中的极大似然估计和矩估计。本例中的共轭先验分布，首先通过参数的似然函数的核，选择与似然函数具有同类核的先验分布。对于共轭先验分布，给出常用的共轭先验分布如表 1 所示，在教学中完成推导，让学生在推导中进一步理解共轭先验分布思想，熟悉共轭先验分布运用。表表 1 常用的共轭先验分布常用的共轭先验分布 总体分布 参数 共轭先验分布 二项分布 成功概率 贝塔分布 泊松分布 均值 伽玛分布 指数分布 均值 倒伽玛分布 正态分布（均值 已知）方差 倒伽玛分布 正态分布（方差 已知）均值 正态分布 5 几种先验分布的使用对比 对于四种先验分布，表 2 给出了各自的使用条件。其中的利用边缘分布的第二型极大似然方法确定先验和利用边缘分布的矩方法确定先验，这两种先验的使用条件一样，都是通过给出超参数估计确定先验分布。无信息先验是连经典统计学家也认为是客观的，可以接受的，被认为是贝叶斯统计研究中最成功的的部分1，文献5中使用了无信息先验并和经典统计中的最大似然估计、矩估计等方法做了比较，结论是无信息先验下的贝叶斯估计具有优势。共轭先验具有计算方便且易于解释的优势，文献3中在模型的随机误差项服从正态分布的假定下，使用了正态分布的均值的共轭先验分布和方