目录
1. 极大似然估计的模型介绍
2. 极大似然估计可以达到CRLB的说明
2.1 前期准备：符号定义及说明
2.2 中心极限定理
2.3 大数定理
2.4 说明思路
2.5 具体过程
说明：此部分内容在2024版本的课程中没有提供，需要参考2023之前的课程：
第四讲_1_哔哩哔哩_bilibili
1. 极大似然估计的模型介绍
假定获得n个点的采集数据
上述数据都是独立同分布
，那么上述采集数据的联合分布为：
上述函数在估计领域被称为似然函数。
关于似然与概率函数的进一步理解，可以参考：
https://zhuanlan.zhihu.com/p/42598338
对于极大似然估计，用数学语言描述为：
上述描述可以理解为：根据已知的独立同分布函数（或者也称为数据模型）
，以及已知的观测到的采样数据
，获得上述采样数据的似然函数，显然，该似然函数是关于
的一个函数。极大似然在寻找使得似然函数达到最大值对应的
，该值对应的就是极大似然估计量
。
极大似然的核心：存在即合理，因为数据已经客观的被观测到了，因此我们寻求一个
，使得他们被观测到的概率尽可能的大。
2. 极大似然估计可以达到CRLB的说明
2.1 前期准备：符号定义及说明
上述过程与去对数后一致(去对数是单调增函数)，即：
引入符号,简化似然函数：
因此，整体似然函数可以表示为：
上述函数定义中，加入了
系数，该系数是不会改变
最大值的求解，只是为了方便后续的推导：
极大似然估计中，最大值对应的导数为零，因此存在：
现在观察估计误差，即：
我们希望当观察数据增大，趋近于无穷的时候，上述误差可以接近于0，即：
2.2 中心极限定理
中心极限定理：
独立同分布（具体分布未知），且
，
,那么存在：
具体参考：
【概率论】6-3:中心极限定理(The Central Limit Theorem)-CSDN博客
可以看成，利用中心极限定理之后，将不规则的随机性（未知分布）转换成了规则的随机性（高斯分布），即随机性趋于高斯分布。
2.3 大数定理
独立同分布（同样分布未知），且
，那么：
可以看成，大数定理之后，随机性消失了。
2.4 说明思路
构造符合中心极限定理的形式，使得该构造趋于高斯分布即：
然后求该高斯分布的方差，并与Fisher信息量进行比较，说明该极大似然估计还趋于CRLB。
2.5 具体过程
首先，我们对上述似然函数求导，即：
同时，该导数在
上展开，同时利用拉格朗日中值定理的形式：
其中，
拉格朗日中值定理，参考：
https://zhuanlan.zhihu.com/p/147640582
根据极大似然估计性质，
因此，写成与中心极限定理相同形式：
根据似然函数定义：
计算期望：
在大部分工程问题情况下，求导和积分顺序可以互换，详细一点的，可以参考：
https://www.zhihu.com/question/27311619?sort=created
因此：
基于上述性质，我们构造：
根据中心极限定理观察分子：根据
，因此：
而：
即fisher信息量。
而分母：
此时符合大数定理，因此：
如果：
那么：
上述过程证明较为繁琐，此处就当结论使用。
如果上述结论成立，此时：
也就是说，当
趋近于
，需要注意的是
是不具备随机性的。
最终：
当
，分子趋近于一个高斯分布，即：
而分母趋近于没有随机性的
，根据高斯分布特性：
那么如果
其中
是没有随机性的一个确定性数。
因此：当
根据CRLB方差下限的定义，可以发现极大似然估计，可以渐近的达到CRLB，是渐近的有效估计。
