写在前面!
1 先验分布和后验分布
三种信息:总体信息、样本信息、先验信息
总体信息:“总体是正态分布”;样本信息:总体抽取的样本提供的信息,是最新鲜的信息;先验信息:在抽样之前就知道的关于统计问题的一些信息【来源于历史资料等】
贝叶斯公式
离散形式:
几个公式:
先验分布:
样本信息的综合:


三个信息的综合:

对进行估计:




求后验分布!!!
【1】连续时(先验分布)

(1)写出先验分布,如果不知道按照均匀分布处理

(2)计算样本X 和参数的联合分布

样本似然函数 乘以 先验信息密度函数
(3)计算X的边际密度【m(x)】

(4)利用贝叶斯公式得到的后验分布







所以的范围在这里就是 大于样本数的的最大值-0.5 小于最小值+0.5
这样就定下了的取值范围咯!!!!

具体视频启发见:已知观测值求后验分布-哔哩哔哩_bilibili



【2】离散




共轭先验分布

【1】正态分布[指的是样本]的共轭先验分布[先验和后验都是]是正态分布(之间的关系)






【2】二项分布中的成功概率 的共轭先验分布式贝塔分布
的共轭先验分布式贝塔分布
 



【3】泊松分布的均值 的共轭先验分布是伽马分布
的共轭先验分布是伽马分布
 



是二项分布的进化,X是发生的次数,那么当抽取样本时,就是总次数!!!!【可见例题5.3.1】

贝塔分布




伽马分布




特例:

先验分布超参数的确定
【1】利用先验矩

【2】利用先验分位数

【3】利用先验矩和先验分位数






充分统计量【更方便的计算出后验分布!】



作用:

应用:



p(x|)是没有办法计算出来的因为,不知道具体取值的情况,但是p(
|
)是知道的

2 贝叶斯推断
存在意义:

2.1 条件方法




2.2 估计
2.2.1 贝叶斯估计



例题1


例题2


例题3


贝叶斯假设 是假设是均匀分布,当都为1 的时候贝塔分布退化成均匀分布



例题4


最大的取值不能超过观察值哦!!!
2.2.2 贝叶斯误差估计
后验均方误差的均值!




例题1 !!!!(先验分布是离散的)

后验密度达到最大的时候所对应的 是最大后验估计
后验分布期望值是后验分布均值



例题2 (先验分布是连续的贝塔分布)

众数算出来的值其实就是贝塔分布函数达到最大时自变量的取值!!!!





2.3 区间估计





不用寻找枢轴量直接用后验分布就可以!!
例题1


110.38-1.96*8.32 = 94.07
110.38+1.96*8.32 = 126.69


2.4 假设检验
2.4.1 假设检验




接受最大后验概率的假设!!!!
例题1

计算出后验分布!!
均匀


2.4.2 贝叶斯因子
后验概率比较的方法!
后验机会比、前验机会比!可见2.4.4 例题2


贝叶斯因子表示数据X支持原假设的程度!
2.4.3 简单对简单【先计算贝叶斯因子】





例题1



2.4.4 复杂对复杂【计算后验概率比】







例题2


不用计算器的话:就是先标准化然后查表!


贝叶斯因子小这就不可以!
2.4.5 简单对复杂【先计算贝叶斯因子】







例题3




2.4.6 多重假设检验

例题4




谁大接受谁!
2.5 预测






例题5







2.6 似然原理
3 先验分布的确定
3.1 主观概率







3.2 利用先验信息

3.2.1 直方图法(微重要)

例题1




3.2.2 选定先验密度函数形式再估计其超参数
通过矩估计的方法!

例题1延续


例题2





3.2.3 定分位度法和变分位度法【了解即可】

3.3 利用边缘分布确定先验分布
3.3.1 可直接求出边缘分布


例题1


让m(x)达到最大时 ,求出两个超参数的值
3.3.2 混合分布下求出边缘分布类似加权求和





例题2



3.3.3 先验选择的ML-LL方法

例题3 延续3.3.1的例题1

样本是从边缘分布里抽出来的当然可以用于边缘分布超参数的估计!!!!!



3.3.4 先验选择的矩方法
可通过公式进行简化计算!

目标是求出






例题4







到此为止吧,我看不懂.....服了
3.4 无信息先验分布





4 决策中的收益、损失与效用
4.1 决策问题的三要素




4.2 决策准则
4.2.1 行动的容许性



例题1



4.2.2 决策准则【只使用先验信息】
【1】乐观准则(大中选大)



【2】悲观准则(小中选大)




【3】折中准则(加权)



例题



4.3 先验期望准则



例题




例题

这个只计算均值时发现有两个最优行动,因此再计算方差 选择方差小的!!!
P134【课本】


4.3.2 两个性质



都加不变,同一个状态的一行加一样的数不变!
4.4 损失函数
损失函数:“没有转到该赚到的钱!”


4.4.1 从收益到损失
例题【由收益矩阵得到损失矩阵】
损失为,当前位 与赚最多钱时的差距!(状态是一定的!!!)
也是一个状态一算!




例题(已知收益函数的表达式求损失函数!)



对进行积分得到关于a的表达式,然后求出这个表达式的最小值!!!
4.4.2 损失函数下的悲观准则
例题(收益和损失悲观)
注意悲观准则在 收益函数中时(小中选大);在 损失函数中时(大中选小)




用损失函数进行决策合理一点!
例题



4.4.3 损失函数下的先期望准则



例题

课本【P141】

例题p142

4.5 常用损失函数
4.5.1 常用损失函数


【1】平均损失函数

【2】线性损失函数

【3】0-1损失函数

【4】多元二次损失函数


【5】二行动线性决策问题的损失函数


例题【后序步骤和5.1 中的例题是一样的!】


先求平衡值就是相等的时候的取值!

5 贝叶斯决策
5.1 贝叶斯决策问题定义
先验信息和样本信息 都使用的决策问题!
按照后验平均损失最小 得到贝叶斯决策









优缺点


例题5.1.1P163!!!


让先验期望损失最小是第四章,把弄没,离散的时候是相乘
贝叶斯要在这个机会基础上基础上进行抽样!
5.2 后验风险准则【贝叶斯准则是使用这个的】
5.2.1 后验风险


例题【贝叶斯决策】!!!!!

【1】第四章





【3】贝叶斯




后验分布!:


损失函数的计算后的个数等于:x的取值【抽样后数据的情况】*行动的个数!
损失函数:
行动2:变成只拿出箱子里的两个进行检查 那么需要支付1.6元,然后如果再进行赔偿!







5.2.2 决策函数








5.2.3 后验风险准则


例题5.2.3



例题5.2.4



5.3 常用损失函数下的贝叶斯估计!!!!
5.3.1 平方损失函数下的贝叶斯估计
【1】定理1在平均损失下


【2】定理2在加权平方损失




【3】定理3在多元二次损失函数

例题5.3.1




5.3.2 线性损失函数下的贝叶斯估计
【1】定理1

例题5.3.6



后验分布的积分是1
5.3.3 有限个行动问题的假设检验

6 统计决策理论
只使用样本信息!

6.1 风险函数



6.1.1 风险函数




6.1.2 决策函数的最优性




6.1.3 统计决策中的点估计问题





6.1.4 统计决策中的区间估计问题















6.2 容许性



例题







6.3 最小最大准则





例题



例题






 
 




















