贝叶斯理论

news2025/5/25 6:19:06

贝叶斯理论（Bayesian Theory）是一种基于条件概率的统计推断方法，其核心是通过先验知识和新观测数据的结合，动态更新对事件发生概率的估计。它体现了“用数据修正信念”的思想，广泛应用于机器学习、医学诊断、金融预测等领域。

条件概率（Conditional Probability）
事件 A 在事件 B 已发生的条件下的概率定义为：

$P(A∣B)=\frac{P(A∩B)}{P(B)}$ ,其中 $P (B) > 0$
全概率公式（Law of Total Probability）
若事件 $B_1,B_2,…,B_n$ 构成一个完备事件群（互斥且并集为全集），则对任意事件 A：

$P(A)=\sum_{i=1}^{n}P(A∣B_i)P(Bi)$
贝叶斯公式（Bayes’ Theorem）
基于条件概率和全概率公式，贝叶斯公式的经典形式为：

$P(B∣A)=\frac{P(A∣B)P(B)}{P(A)}$

进一步展开全概率公式：

$P(B∣A)=\frac{P(A∣B)P(B)}{\sum_{i=1}^{n}P(A∣Bi)P(Bi)}$
- 符号解释：
  - P(B)：先验概率（Prior），即未观测到数据 AA 时对 BB 的初始信念。
  - P(A∣B)：似然度（Likelihood），即在 BB 成立的条件下观测到 AA 的概率。
  - P(B∣A)：后验概率（Posterior），即结合数据 AA 后对 BB 的修正信念。
  - P(A)：证据因子（Evidence），即数据 AA 的边际概率，用于归一化。

问题：某种疾病的患病率为 1%（先验概率），检测方法的准确率为：

解答：

定义事件：
- B：患病；
- ¬B：未患病；
- A：检测为阳性。
已知条件：

$P (B) = 0.01, P (\neg B) = 0.99$
$P (A ∣ B) = 0.99, P (A ∣ \neg B) = 0.05$
计算证据因子 P(A)P(A)：

$P (A) = P (A ∣ B) P (B) + P (A ∣ \neg B) P (\neg B) = 0.99 \times 0.01 + 0.05 \times 0.99 = 0.0594$
应用贝叶斯公式：

$P (B ∣ A) = P (A ∣ B) P (B) P (A) = 0.99 \times 0.010.0594 \approx 0.1667$

结论：即使检测为阳性，实际患病的概率仅为约 16.67%。这说明先验概率（患病率低）对结果影响巨大。

机器学习
- 朴素贝叶斯分类器：假设特征之间条件独立，用于文本分类（如垃圾邮件识别）。
- 贝叶斯网络：建模变量间的概率依赖关系，用于因果推断。
- 贝叶斯优化：调整超参数，最大化目标函数。
医学诊断
- 结合患者症状（数据）和疾病先验概率，计算患病后验概率。
金融预测
- 更新市场状态的概率（如牛市/熊市），辅助投资决策。
自然语言处理
- 语言模型中的词频概率更新（如 ChatGPT 的生成逻辑）。

共轭先验（Conjugate Prior）
- 为简化计算，选择与似然函数形式匹配的先验分布，使得后验分布与先验属于同一分布族。
- 例如：二项分布的共轭先验是 Beta 分布。
马尔可夫链蒙特卡洛（MCMC）
- 当后验分布复杂时，通过抽样（如 Metropolis-Hastings 算法）近似计算。
贝叶斯深度学习
- 将神经网络权重视为随机变量，通过后验分布量化不确定性。