贝叶斯统计学

贝叶斯统计学

贝叶斯统计学目录第一章：贝叶斯统计学基础知识一、贝叶斯统计学的历史二、统计推断与决策利用的基本信息1、总体信息2、样本信息3、先验信息4、损失函数三、条件观点与似然原理四、贝叶斯公式、先验分布和后验分布1离散参数的贝叶斯公式2连续参数的贝叶斯公式3、后验分布的计算五、先验分布的确定1、主观概率2、确定先验分布的直接方法3、确定先验分布的间接方法第二章、贝叶斯推断1、点估计1.1、频率派点估计1.2、贝叶斯点估计2、区间估计2.1、频率派区间估计2.2、贝叶斯区间估计3、假设检验3.1、频率派假设检验3.2、贝叶斯假设检验4、预测推断第三章、贝叶斯决策1、决策问题的三要素2、无数据决策理论3、频率派决策理论4、贝叶斯决策理论18\n第一章贝叶斯统计学基础知识一、贝叶斯统计学的历史1、贝叶斯理论的发展简述约三百年以前，人们开始去严肃的考虑面对不确定性时如何进行推理。JamesBernoulli是第一个构造该问题的人，他意识到在可应用于机会游戏的演绎逻辑和每日生活中的归纳逻辑之间的区别。对于他来说，这个未回答的问题在于前者的机理如何能帮助处理后者的推断问题。英国学者托马斯.贝叶斯(ThomasBayes,1702-1761)生前所作的一篇论文——《论有关机遇问题的求解》，对Bernoulli的问题提供了回答。在文章中他提出了著名的贝叶斯公式和一种归纳推理的方法。然而，当时他的理论成果并没有得到足够的重视，后来在他理论的基础上逐渐形成了贝叶斯学派。时至今日，贝叶斯学派已经与经典学派共同成为统计学的两大主流学派。贝叶斯学派的基本观点是：任一未知参数都可以看作是随机变量，可用一个概率分布去描述，这是经典学派和贝叶斯学派争论的焦点所在。贝叶斯学派认为：可以把任一未知参数看作随机变量，并且通过利用主观的判断和直觉，提供先验信息（即先验分布）；而经典学派只承认利用样本信息，不承认利用主观的判断和直觉，即不承认利用先验信息。关于未知参数是否可以看作随机变量在经典学派和贝叶斯学派间争论了很长时间，如今经典学派已经不反对这一观点。现在争论的焦点是：如何利用各种先验信息合理的确定先验分布。总体来说，贝叶斯学派的发展经历了以下几个阶段：1736年ThomasBayes提出了重要的贝叶斯定理，其遗著《论有关机遇问题的求解》被他的朋友RichardPrice整理于1763年发表。贝叶斯理论的价值才被世人认识，贝叶斯理论开始奠基。目前以他姓名命名的定理的现代形式实际上归功于Laplace。Laplace本人不仅重新发现了贝叶斯定理，且阐述的远比贝叶斯更为清晰，还用它来解决天体力学，医学统计，甚至法律问题。他全心全意的赞成用于推断问题的贝叶斯公式。遗憾的是，Laplace取得的成功和他对概率论的发展做出的巨大贡献，却并不为当时有势力的欧洲数学家所认可。之后虽还有一些零星的研究，由于理论的不完善和应用中出现了一些问题，贝叶斯学派的一些理论长期不被人们所接受。18\n进入到上世纪50年代，贝叶斯理论得到了充分发展，60、70年代以来，其发展达到鼎盛时期。许多专家学者投身于贝叶斯理论的研究和应用推广中来，力图从不同的角度对贝叶斯理论进行进一步的探讨和研究，形成了具有多分支的理论系统。目前被承认的现代贝叶斯统计工具应当归功于Jeffry、Wald、Savage、Raiffa&Schlaifer、Lindly及DeFinett。他们都曾做过大量有意义的工作，为建立统一的理论体系和方法论奠定了基础。统计决策理论是著名统计学家A.Wald(1902-1950)在上世纪四十年代建立起来的，他在其文章《统计决策函数》中系统、详细的阐述了统计决策理论，统计决策理论与经典统计学的差别在于是否涉及后果，经典统计学着重于推断，而不考虑用在何处和效益如何，而统计决策理论引入损失函数，用来度量效益大小，评价统计推断结果的优劣。贝叶斯统计推断是统计决策方法的基础之一，通过采样，修改先验的概率分布，从而减少事物的不确定性，在此基础上制定统计最优决策，因此称这类决策为贝叶斯决策。贝叶斯统计理论与最优决策的结合，首先在商业和社会科学中得到了很大的成功，其次是在物理、化学、生物等学科领域得到了广泛的应用，如今其概念和方法在社会许多领域得到了广泛应用，如在工程技术、管理科学、系统运筹、医疗诊断等。贝叶斯决策理论已经象“控制论”、“信息论”一样成为了现代的信息控制和系统科学中的一个重要分支，并在实际的决策应用中发挥了不可替代的作用。统计学家们将统计决策理论和贝叶斯理论相结合形成了系统的贝叶斯决策理论。在对贝叶斯决策理论研究方面，Definetti,Raiffa,Lindly曾作过大量有意义的工作，取得了巨大的成就，堪称现代贝叶斯决策分析之父;而在当今，Smith,Berger是贝叶斯决策理论的领军人物，对贝叶斯决策理论的完善与发展做出了巨大贡献。1.2贝叶斯原理的由来托马斯.贝叶斯(Thomas18\nBayes)，于1702年4月出生于英国的一牧师家庭里，于1761逝世。是英国的业余数学家及牧师，以贝叶斯定理而著称。于1742年贝叶斯成为皇家协会的会员。在1763年贝叶斯把用来解决机遇的学说问题在概率上的发现写在一个小册子上，其实贝叶斯的发现是一种新的统计技术，用来预测不确定情况下事件发生的可能性。该方法考虑了过去的事件并且可以在有新资料的时候概率重新计算，在他逝世后才被发表在英国皇家协会哲学学报上。贝叶斯原理是用“托马斯.贝叶斯”这个人来命名的，是他提出证明了贝叶斯定理。然而，这个“贝叶斯定理”的理论太超前了，并且需要电脑才能进行计算概率，所以他的理论在过去的200年中都被忽视了，有在1950年左右才得到应用。著名的数学家拉普拉斯亲自证明具有更一般性的贝叶斯定理，并且把它应用于解决天体力学、医学统计甚至在法学上等等其它领域上的许多问题。例如，给定轨道的数据(这些数据可以从观察不同的天体获得)拉普拉斯可以用贝叶斯定理来估计土星的质量。他得出这样的结果(包括不确定因素)：若个结果的误差不在土星质量的1/100以内，我就输11000元，否则我赢1元。150年过去了，随着轨道数据的累积它只改变了原来估计土星质量0.63%。贝叶斯定理的一般应用已经被拉普拉斯及后来的学者们进一步拓展，已经应用到数学、经济、计算机、生命科学等各个领域里。已经尝试了用贝叶斯论证许多直觉的概念。具有代表性的例子之一是意大利的菲纳特(BrunodeFinetti)曾用贝叶斯定理应用于打赌上。例子之二是除了应用于0-1逻辑外贝叶斯还应用于一般逻辑的延伸，持这种观点有英国的杰弗莱(HaroldJeffreys)、约翰斯霍普金斯大学的物理学家RichardT.Cox以及华盛顿大学的物理学家EdwinJavnes.他们己经在他们的论著中阐述过。其它比较著名的贝叶斯定理支持者有统计专家萨维奇((L.J.Savage),英国的数学家、逻辑学家FrankP.Ramsey,英国的经济学家JohnMaynardKeynes，数学家库普曼B.O.Koopman等等。L.J.Savage是现代贝叶斯分析奠基人之一，于1954年L.J.Savage写了《统计学基础》，从而使他声名鹊起。他还有其他代表著，其一是在1965年与L18\nDubins合写的《假定你在随机过程中使用不均衡那么你怎么来赌》;其二是与统计推断相关的著作，特别是贝叶斯方法，他介绍了贝叶斯假设检验及贝叶斯估计。由于L.J.Savage对贝叶斯作出的巨大贡献，为了纪念他，设立了L.J.Savage奖，是用来奖励那些在贝叶斯理论及实践上作为贡献的学者。L.J.Savage奖每年用来奖励在贝叶斯经济计量学和贝叶斯统计方面作出贡献的两篇最优秀博士论文。共设立两个奖，一个奖颁发给在贝叶斯理论及方法上的最优秀博士论文，另一个奖颁发给在贝叶斯方法论应用的最佳论文，另外奖励750美元的奖金，受到的提名论文奖励100美元。在二十世纪前五十年，与贝叶斯学派相对应，频率学派他们倾向于用最影响统计结果中的数字来解释概率，在当时颇受欢迎，频率学派的主要贡献者有:英国的遗传学家兼统计学家R.A.Fisher(曾在英国洛桑试验站RothamstedExperimentalStation工作，在英国伦敦大学、剑桥大学任教过。他是最大似然法及方差分析技术的发明者，也是实验设计的先驱者，同时也是充分统计量与补充统计量的创立者，他是二十世纪的主要统计学家之一)，英国的统计学家皮尔逊(EgonPearson)及摩尔达维亚(原苏联)的统计学家JerzyNeyman，他以尼曼一皮尔逊引理而在统计学界上著称。频率学派的盛行使得人们很少关注贝叶斯定理，直到1950年开始统计专家萨维奇，库普曼及瓦尔德等使得贝叶斯方法重新受到人们的接受。1.3贝叶斯学派的发展贝叶斯学派在20世纪形成，当时人们认识到客观概率(频率的稳定值)与主观概率(人的信念)之间既有共性又有个性。20世纪数学的公理化倾向影响了统计界，对概率的公理化经过许多人的努力，最终由科尔莫戈洛夫((A.N.Kolmogorov)完成，且得到了普遍的认同：概率是正则化的测度。但是，对主观概率应该用什么样的公理来描述，还没有比较一致的看法。德.芬尼逊认为从科尔莫戈洛夫的公式中可得出互斥事件之和的概率是各事件概率的和，对于信念来说是不成立的，只能是有限可加性：有限个互斥事件之和的概率是各事件概率的和。他的关于可换随机变量的研究成果为先验分布的客观性提供了某种基础。费希尔(R.A.Fisher)的似然推理促进了贝叶斯学派的发展。似然函数是贝叶斯学派的基点和支柱，从最大似然估计到最大后验估计，从似然比到后验优比等，使贝叶斯的估计、推断及理论被系统化了。杰弗莱对无信息先验分布的重要突破形成了杰弗莱的著作——《概率论》，标志着贝叶斯学派的形成。后来，古特、萨贝奇分别对主观概率、效用函数的研究，把贝叶斯学派推进到了一个新的阶段。林德莱则把一些经典学派的结果给出了贝叶斯方法的推导和解释，坚定地捍卫了贝叶斯学派。由于贝叶斯方法在实践中有许多成功的应用，加之经典学派的一些工作从理论上也需要借助贝叶斯方法才能论证其优良性，如序贯分析，因此贝叶斯学派日益壮大。18\n二、统计推断与决策利用的基本信息1、总体信息指总体分布或总体所属分布族所蕴涵的信息。如：“总体是正态分布”蕴涵：它的密度函数是一条钟形曲线；它的一切阶矩都存在；可以计算一些事件的概率；可以导出χ2分布、t分布和F分布；还有成熟的点估计、区间估计和假设检验方法等等。2、样本信息指从总体抽取的样本所提供的信息。基于总体和样本信息进行的统计推断，称为经典（频率派）统计学。基本观点：1）把未知参数θ看作是一个固定的，未知的常数（向量），是估计和检验等问题的目标。2）利用的样本信息涉及到试验所有可能出现的数据，即把样本数据看成是来自具有一定概率分布的总体，所研究的对象是指这个总体，而不局限于已获得的样本数据本身。3）其概率论基础是频率概率：表示在大量重复试验下的相对频率。遵守概率三条公理（非负性、正规性、可加性）。3、先验信息指在抽样之前有关统计问题的非样本信息。主要来自过去的经验和历史资料。关于先验信息的重要性，英国统计学家L.J.Savage1961年提出一个令人信服的例子。例（英L.J.Savage，1961）：以下有三个试验：（1）一位常饮牛奶加茶的妇女声称，她能区别出是牛奶还是茶先被倒进杯子里。对她进行了10次这样的试验，结果她都说对了。（2）一位音乐专家声称，他可以从一页乐谱辨别出是海顿或莫扎特的作品。对他进行了10次这样的试验，结果他都说正确了。18\n（3）一个醉汉声称，他可以预知掷一枚质地均匀的硬币哪一面朝上。对他进行了10次这样的试验，结果他都说正确了。分析：根据经典（频率派）统计学的方法，设未知量p为回答正确的概率，对他们作经典的显著性检验：原假设：H0：p＝0.5（即假定被试验者是在猜）←→H1：p>0.5显然，三种情况皆以2－10的单侧显著性水平拒绝原假设。可见，以上试验说明他们宣称的能力的证据是充分的。对于（2），我们完全可以相信（因为这符合我们的先验信念）。对于（3），我们的先验告诉我们这是不可能的（除非他具有特异功能）。这使我们可以忽略试验结果，而认为他的成功是运气。对于（1），不同的人对她宣称的能力可能有不同的先验信念，从而会得出不同的结论。综上可以看到：从经典统计学的角度看完全相同的情况，却因为我们的先验信息不同，会得出不同的结论。由此可见，先验信息在推断与决策中都是不容忽视的。基于上述三种信息（总体、样本和先验信息）进行的统计推断，被称为贝叶斯统计学。基本观点：1）把任一未知参数θ都看作是一个随机变量，用一概率分布去描述对参数θ的未知状况。这一概率分布是在抽样前关于参数θ的先验信息的概率表述，称为参数θ的先验分布。2）遵从条件的观点和似然原理，作为整个理论推理的基础。即只有实际观察到的样本数据x，对θ的推断与决策才有关；所有与试验有关θ的信息都包含在X的似然函数中。3）其概率论基础是主观概率：表示一种相信程度或可信度。也遵守概率的三条公理。4、损失函数18\n在经典统计推断中，一般不考虑所作的推断将被应用的领域。若把各种可能的后果纳入到统计分析之中，就形成了统计决策论。因为决策带来的不同后果将影响决策者的选择。这种对可能后果认识的定量化用损失函数来表现。将损失函数加到统计分析中，并对此做了深入研究的，首推AbrahamWald（参见《StatisticalDecisionFuncitions》1950）。三、条件观点与似然原理1、条件观点条件的观点：指统计推断只考虑已经出现的数据（样本观察值），认为未出现的数据与推断无关。基于条件的观点提出的统计推断方法，称为条件方法。一个经典的例子：（Cox.D.R，1958）例：假设要分析某物质，可送纽约或加利福尼亚实验室，二者条件相当。用硬币决定，若出现正面送纽约。结果出现了反面，送加利福尼亚实验室。后来，试验数据结果出来了。请问：在下结论和写报告时，是否需要考虑硬币还可能出现正面而送到纽约去实验的结果？频率派的观点：对所有可能出现的数据都要考虑进去。因此，应该把送到纽约去可能出现的数据一并考虑，然后加以平均。条件的观点：不必考虑，所作结论只与实际进行的实验有关。2、似然原理似然函数：设观察数据X＝{x1,x2,…,xn}来自于密度函数f(x|θ)的一个样本，当样本X的观察值给定时，f(X|θ)作为未知参数θ的函数L(θ)＝f(X|θ)=被称为X的似然函数。（注）：若参数θ给定时，f(X|θ)是样本X＝{x1,x2,…,xn}的联合密度函数。似然原理：当有了观察数据x后，在做关于未知参数θ的推断或决策时，所有与试验有关的信息均被包含在x的似然函数L(θ)＝f(x|θ)之中。若两个似然函数（作为θ的函数）成比例，则它们关于θ含有相同的信息。[注意]：似然原理并没有说关于θ的所有信息都包含在似然函数中，而仅仅说所有有关θ的试验的信息，全部包含在似然函数中。此外，完全可能还存在θ其它的有用信息，如先验信息或损失等。18\n一个经典的例子：（Pratt,J.W.1962）一位工程师在电子管中抽取一个随机样本，用极其精密的电压计在一定条件下测量板极电压。一位统计学家检查测量值，测量值看上去为正态分布，变化范围为75到99伏，均值87，标准差4。他进行一般的正态分析，给出均值真值的置信区间。后来，他到工程师的实验室去看，发现所用电压计读数至多为100。于是，他认为总体是“不完整的”。若这位统计学家是经典频率派的，就会认为有必要重新分析。但工程师说：他有另一台同样精密的电压计，读数达1000伏，若电压超过100伏，他就会用这一台来测量。这使经典派统计学家感到放心，因为这表明总体实际上是完整的。第二天，工程师打电话说：“我刚发现，在我进行你分析的那个试验时，那台高量程的电压计坏了”。统计学家查明，工程师在那台电压计修好之前没有停止试验。故通知工程师需要重新分析。工程师大吃一惊，说：“即使那台电压计是好的，试验结果也会一样。无论如何，我所得的是我的样本的精确电压值。若那台高量程电压计正常，我所得的仍是我已经得到的。下一个你就要问到我的示波器了吧。”分析：此例中讨论的是两个不同的样本空间：1）若高量程电压计正常，那么，作为一般正态分布的样本空间是有效的。2）若高量程电压计坏了，则样本空间在100伏处截尾，观察值的概率分布在100处有点质量。针对上述两种情况，经典频率派推断所得的均值置信区间会受到很大影响。因为1）、2）所用的方法不一样。而对于似然原理来说，这二者没有什么影响。因为根据似然原理，没有发生的x值（这里指x≥100）与均值真值的推断和决策无关。另一个经典的例子：（Lindley&Phillips1976）设θ为向上抛一硬币时出现正面的概率，要检验H0：θ＝1/2，H1：θ>1/2。现做一系列相互独立的向上抛此硬币的试验，结果为：9次正面、3次反面。现在对“一系列试验”作以下两种规定：（1）试验前决定抛12次；18\n（2）试验前规定：试验进行到出现3次为止。请问你认为这两种试验方法对分析结果是否应该一致？分析：经典统计学方法，设X＝{出现正面}，对于（1），则X～二项分布B(n，θ)＝B(12，θ)；对于（2），则X～负二项分布NB（k，θ）＝NB（3，θ）。相应的似然函数为L1(θ)＝f1(x|θ)＝＝220θ9（1－θ）3L2(θ)＝f2(x|θ)＝＝55θ9（1－θ）3相应地，x＝9的显著性水平（犯第一类错误的概率）为α1＝P1(X≥9|θ=1/2)＝＝0.075α2＝P2(X≥9|θ=1/2)＝＝0.033四、贝叶斯公式、先验分布和后验分布1、贝叶斯公式的事件形式“这里的算法（条件概率）涉及到某些哲学家提出的已发生事件对将来事件发生的概率影响的问题”——拉普拉斯（deLaplace，1749－1827）《概率的分析理论》（1814）绪论“概率的哲学导论”。条件概率实例引入：一副扑克牌（去掉大小王，共52张，分黑、红、梅、方每组13张），洗过后，最上面的两张牌面朝下地放在桌上。若第二张牌是红桃Q，你就赢。1）你赢的机会是多少？2）你翻开了第一张牌，这张牌是梅花7。请问：你现在赢的机会是多少？（事件形式的）条件概率：设为概率空间，，且P(B)>0。在事件B发生的条件下，事件A的条件概率P(A|B)，定义为18\nP(A|B)=P(AB)/P(B)有关条件概率的三个定理：(1)概率的乘法定理设A1,A2,…,An为n个事件（n≥2）,满足p(A1A2…An-1)>0，则p(A1A2…An)=p(A1)p(A2|A1)p(A3|A1A2)…p(An|A1A2…An-1)(2)全概率公式设B1,B2,…是一列（有穷或可列）互补相容的事件（即BiBj=Φ，i≠j），且=1，p(Bn)>0，(n=1,2,…)（称为一个完备事件组或一个分割），则对任一事件A，有(3)贝叶斯公式设B1,B2,…是一列（有穷或可列）互补相容的事件（即BiBj=Φ，i≠j），且=1，p(Bn)>0，(n=1,2,…)（称为一个完备事件组或一个分割），则对任一事件A，p(A)>0，有例1、设一盒内有3个白球2个黑球，连续取三次，每次取一球，取后不放回。问三个都是白球的概率是多少？分析：设Ai表示“第i次取得白球”这一事件，i=1，2，3，所求的就是P(A1A2A3)。根据概率的乘法定理：p(A1A2A3)=p(A1)p(A2|A1)p(A3|A1A2)有故p(A1A2A3)=p(A1)p(A2|A1)p(A3|A1A2)＝1/1018\n例2、设有甲、乙两个盒子，在甲中有1个白球2个黑球，乙中有3个白球4个黑球。自甲中任意取一球放入乙中，然后再从乙中任意取一球。试求：事件A：“从乙中取得白球”的概率。分析：设H1表示：“自甲中取出的是白球”H2表示：“自甲中取出的是黑球”显然，H1H2＝Φ，H1∪H2＝Ω。P(H1∪H2)=1由全概率公式得P(A)=P(H1)P(A|H1)+P(H2)P(A|H2)＝例2*（抽奖顺序无关问题）：设有10张票，其中有一张中奖。求第二人抽中奖的概率是多少？第三人呢？第四个呢？分析：（1）设Ai表示“第i人抽中奖”，显然，事件A2发生概率的大小与事件A1是否发生有很大关系。在第二人抽奖之前，要么第一人抽中A1或要么没有抽中正好构成一个完备事件组。P(A1)＝1/10，P(A2|A1)＝0，则由全概率公式得P(A2)＝P(A1)P(A2|A1)＋＝1/10（2）事件A3发生概率的大小与事件A1、A2是否发生有很大关系。在第三人抽奖之前，要么第一人抽中A1或要么第二人抽中A2或要么第一人和第二人都没有抽中正好构成一个完备事件组。P(A3)＝P(A1)P(A3|A1)＋P(A2)P(A3|A2)＋＝显然，无论顺序，抽中的概率都是1/10。例2**（敏感性话题调查问题）18\n例2***（可列完备组）设一个家庭有k个小孩的概率为Pk,k=0,1,2,….，又设各个小孩的性别独立，且生男、女的概率相同。试求事件A＝{家庭中所有小孩为同一性别}的概率。分析：设Bk={家庭中有k个小孩}，则B1,B2,….构成完备事件组，P(Bk)＝Pk,k=0,1,2,….，现考虑P(A|Bk)：当k＝0时，约定P(A|B1)＝1当k.>0时，k个小孩同一性别指：同为男孩或同为女孩，其概率分别都为(1/2)k，故P(A|Bk)＝2(1/2)k＝1/2k-1k.>0由全概率公式得=＝例3：有三个盒子C1，C2，C3各有100个球。其中C1中有白球80个、红球10个、黑球10个；C2中有白球10个、红球80个、黑球10个；C3中有白球10个、红球10个、黑球80个。现从这三盒中随机地抽出一盒（每盒被抽中的概率为1/3），然后从所抽中的盒中再随机地抽出一个球（每个球被抽中的概率相同）。结果抽出来的是白球。问：“该白球分别是从这三个盒子C1，C2，C3中抽出”的概率是多少？分析：设Bi＝{先抽出的为Ci盒}，i=1，2，3；A＝{抽出白球}则所求的就是在已知“A＝{抽出白球}”的条件下的条件概率P(Bi|A)，i=1，2，3。根据已知，有P(Bi)＝1/3，i=1，2，3P(A|B1)=0.8，P(A|B2)=0.1，P(A|B3)=0.1，由贝叶斯公式，得P(B1|A)＝0.8，P(B2|A)＝0.1，P(B3|A)＝0.1。18\n[注]：例3的频率解释：设想一个试验：准备两张纸，把例3的试验重复做很多次。每抽出一个盒，就在左边的纸上记下是C1或C2或C3（不管后来从该盒中抽出的是什么球）；只有当抽出的是白球时，就在右边的纸上记下该盒是C1或C2或C3。经过大量的重复试验，可以发现：在左边纸上的C1所占比例约1/3（即反映“每盒被抽中的概率为1/3”这一假设），在右边纸上的C1所占比例约0.8（即反映P(B1|A)＝0.8这一结果）。例3*：有朋友自远方来访，他分别乘火车、乘船、乘汽车、或乘飞机来的概率分别是3/10、1/5、1/10、2/5。相应地，他分别迟到的概率为1/4、1/3、1/12、0。结果他迟到了。试问：他是乘火车来的概率有多大？分析：设A表示“他迟到了”，Hi（i=1，2，3，4）分别表示“乘火车、乘船、乘汽车、或乘飞机”。由已知得：P(Hi)＝3/10、1/5、1/10、2/5（i=1，2，3，4），P(A|Hi)＝1/4、1/3、1/12、0（i=1，2，3，4）。则由贝叶斯公式得。例3**：根据以往的资料得到某病的发病率为0.0004。现用一种方法检测，若呈现阴性表示正常，若呈现阳性表示患病。由于任何检测都存在误差，患病者未必检测出来是阳性，未患病者检测出可能呈现阳性。经过多次实验统计：患病者99％检测出呈现阳性，未患病者5％检测出呈现阳性。现在某人已经检测出来结果呈现阳性，请问：此人患该病的概率是多少？分析：例3***（狼和孩子的故事模型）：例3****（投资决策模型）2、离散参数的贝叶斯公式若是离散型的，先验分布列为，i=1,2,…,其后验分布也是离散型的，为18\n，i=1,2,…若总体X是离散的，把密度函数p(x|)换成概率函数p(X=x|)即可。3、连续参数的贝叶斯公式设总体X~p(x|)（），参数的先验分布为，从总体抽取的样本X=(x1,x2,…,xn)(该样本可看作分两步进行的：首先，设想从先验产生一个样本，这是“老天爷”完成；其次，从总体p(x|)中产生这个具体的可观察的样本X.)。则样本X发生的概率是如下联合密度函数（假定样本x1,x2,…,xn来自独立同分布）：上式综合了总体和样本的信息，称为似然函数。由似然原理知，有了样本观察值X=(x1,x2,…,xn)后，总体和样本中所有有关参数的试验信息，都包含在似然函数中。而样本X和参数的联合分布（假定随机变量X和是独立的）：把三种可用信息（总体、样本和先验信息）都综合了起来。从而，可得出在给定样本X下，参数的后验分布。它集中了总体、样本和先验三种信息中有关的一切信息，同时又排除了与无关的一切信息。其计算公式为：其中不含的任何信息，是X的边缘密度函数。这就是贝叶斯公式的密度函数形式。4、多参数模型的贝叶斯公式设总体X~p(x|)，从总体抽取的样本X=(x1,x2,…,xn)，参数的先验分布为，似然函数。则（）的后验分布为18\n若只需要其中一些参数（如只要），则其余参数（）称为多余参数。若要去掉多余参数，就是求出参数的边际后验密度，即对多余参数在其范围内积分：5、后验分布的计算求后验分布的基本步骤(1)确定总体的统计模型X~p(x|)（）；(2)确定参数的先验分布为；(3)由样本X=(x1,x2,…,xn)和统计模型X~p(x|)求得其似然函数；最后，由贝叶斯公式求得参数的后验分布。五、先验分布的确定1、主观概率2、确定先验分布的直接方法3、确定先验分布的间接方法第二章、贝叶斯推断“推断，理想地应该仅仅由真正的后验分布组成”18\n——贝叶斯派学者一、点估计（一）频率派统计学的点估计（二）贝叶斯派统计学的点估计二、区间估计（一）频率派统计学的区间估计（二）贝叶斯派统计学的区间估计三、假设检验（一）频率派统计学的假设检验（二）贝叶斯派统计学的假设检验四、预测推断18\n第三章、贝叶斯决策1、决策问题的三要素2、无数据决策理论3、频率派决策理论4、贝叶斯决策理论18