贝叶斯--解码概率的奥秘，探寻决策背后的数学智慧

贝叶斯统计学是数学领域的一门强大学科，在许多领域中都有广泛的应用，包括金融、医学研究和信息技术。它允许我们将先前的信念与证据结合，得出新的后验信念，从而使我们能够做出更明智的决策。

在这篇文章中，我们将简要介绍一些创立这一领域的主要数学家。

贝叶斯之前 为了更好地理解贝叶斯统计学，我们需要回到18世纪，参考数学家De Moivre以及他的论文《机会原理》[1]。

在他的论文中，De Moivre解决了他那个时代与概率和赌博有关的许多问题。正如你可能知道的，他对其中一个问题的解决方案导致了正态分布的起源，但那是另一个故事。

在他的论文中有一个最简单的问题：

“使用公平的硬币连续投掷三次，得到三个正面的概率。”

阅读“机会原理”中描述的问题，你可能会注意到其中大多数问题都以一种假设开始，然后从中计算给定事件的概率。例如，在上述问题中，有一个假设认为硬币是公平的，因此在投掷中获得一个正面的概率是0.5。

这在今天以数学术语表达为：

𝑃(𝑋|𝜃)

但是，如果我们不知道这个硬币是否公平呢？如果我们不知道𝜃呢？

托马斯·贝叶斯和理查德·普莱斯

将近五十年后，1763年，一篇名为《解决机会原理中的问题的论文》[2] 发表在伦敦皇家学会的《哲学交易》上。

在文档的前几页中，有一篇由数学家Richard Price撰写的文字，总结了他的朋友Thomas Bayes在去世前几年写的论文的内容。在介绍中，Price解释了Thomas Bayes所做的一些发现的重要性，这些发现在De Moivre的《机会原理》中没有涉及。

事实上，他指的是一个特定的问题：

“已知一个未知事件发生和失败的次数，找到其发生的概率在任何两个命名的概率度之间的机会。”

换句话说，在观察到某个事件后，我们找到未知参数θ在两个概率度之间的概率是多少。这实际上是历史上与统计推断有关的第一个问题之一，并且引出了逆概率这个名称。在数学术语中：

𝑃( 𝜃 | 𝑋）

这当然就是今天我们称之为贝叶斯定理的后验分布。

未因果的原因

了解这两位长老牧师，托马斯·贝叶斯和理查德·普莱斯，研究的动机是什么，实际上是非常有趣的。但为了做到这一点，我们需要暂时放下一些关于统计学的知识。

我们处于18世纪，概率正在成为数学家们越来越感兴趣的领域。数学家们如德莫弗或伯努利已经表明，一些事件以一定程度的随机性发生，但仍然受到固定规则的支配。例如，如果你多次掷骰子，有六分之一的时间它会停在六上。这就好像有一个隐藏的规则决定了机会的命运。

现在，想象一下你是一位生活在这个时期的数学家兼虔诚的信徒。你可能会有兴趣了解这个隐藏规则与上帝之间的关系。

这确实是Bayes和Price自己所问的问题。他们希望解决这个问题的解决方案直接适用于证明“世界必须是智慧和智力的结果; 因此，以最终原因为上帝的存在提供证据”[2] - 也就是，无因果的原因。

拉普拉斯

令人惊讶的是，大约两年后的1774年，显然没有阅读过托马斯·贝叶斯的论文，法国数学家拉普拉斯写了一篇名为“有关事件的原因通过事件的概率”的论文[3]，这是关于逆概率问题的论文。在第一页上，你可以读到

主要的原则：

“如果一个事件可以由n个不同的原因引起，那么给定事件的这些原因的概率彼此之间的比例等于给定原因的事件的概率，而这些原因的每一个的存在概率等于给定事件的原因的概率，除以给定这些原因中的每一个事件的概率的总和。”

这就是我们今天所知的贝叶斯定理：

​

其中P(θ)是均匀分布。

硬币实验

我们将通过使用Python和PyMC库将贝叶斯统计学带到现在，并进行一个简单的实验。

假设一个朋友给你一枚硬币，并问你是否认为这是一枚公平的硬币。由于他赶时间，他告诉你只能投掷10次硬币。如你所见，这个问题中有一个未知的参数p，即在硬币投掷中获得正面的概率，并且我们想要估计这个p的最可能值。

（注意：我们并不是说参数p是一个随机变量，而是这个参数是固定的，我们想知道它最可能在哪些值之间。）

为了对这个问题有不同的看法，我们将在两种不同的先验信念下解决它：

• 1、你对硬币公平性没有先前的信息，将相等的概率分配给p。在这种情况下，我们将使用所谓的无信息先验，因为在你的信念中你没有添加任何信息。

• 2、通过经验你知道，即使硬币可能不公平，很难使它非常不公平，因此你认为参数p很可能不会低于0.3或高于0.7。在这种情况下，我们将使用一种信息先验。

对于这两种情况，我们的先验信念将如下：

在投掷硬币10次后，你得到了2次正面的结果。有了这个证据，我们很可能会在哪里找到我们的参数p？

正如你所看到的，在第一种情况下，我们对参数p的先验分布集中在最大似然估计（MLE）p=0.2，这是使用频率学派方法的类似方法。真实的未知参数将位于95%可信区间内，在0.04和0.48之间。

另一方面，在有很高的置信度认为参数p 应该在0.3和0.7之间的情况下，我们可以看到后验分布在0.4左右，远高于我们的MLE给出的值。在这种情况下，真实的未知参数将位于95%可信区间内，在0.23和0.57之间。

因此，在第一种情况下，你会告诉你的朋友，你有信心这个硬币是不公平的。但在另一种情况下，你会告诉他，你不能确定硬币是否是公平的。

正如你所看到的，即使在有相同证据（10次投掷中有2次正面）的情况下，在不同的先验信念下，结果会有所不同。这是贝叶斯统计学的一种优势，类似于科学方法，它允许我们通过将先验信念与新的观察和证据结合起来来更新我们的信念。

END

在今天的文章中，我们看到了贝叶斯统计学的起源及其主要贡献者。此后，这个统计学领域还有许多其他重要的贡献者（Jeffreys、Cox、Shannon等等），转载自quantdare.com。