估计理论的主要任务是在某种信号假设下，估算该信号中某个参数（比如幅度、相位、达到时间）的具体取值。
参数估计：先假定研究的问题具有某种数学模型， 如正态分布，二项分布，再用已知类别的学习样本估计里面的参数。例如：ARMA模型功率谱估计。
非参数估计：不假定数学模型，用已知类别的学习样本的先验知识直接估计数学模型。例如：经典
功率谱估计。
一、估计量的性能
1.1 估计的基本概念
由随机信号的N个样本{xi (n) i=1,2,...,N}获得的真实参数θ1 , θ2 ,… θp的估计是一个将N维样本空间
映射为p维参数空间Θ的函数T，记作T: → Θ。
估计偏差：
如果估计偏差等于零，则称为无偏估计。
渐进无偏估计：
无偏估计一定是渐进无偏的，反之不一定成立。
1.2 常用的估计量
（1）均值估计
（2）方差估计
（3）自相关估计
无偏估计
渐进无偏估计
（4）互相关估计
二、Fisher信息与Cramer-Rao下界
2.1 品质函数
在真实参数θ已知的条件下，样本x获得估计量是否最优，可由品质函数来评估。
品质函数：
2.2 fisher信息
品质函数V(x)的方差称为fisher信息。
2.3 Cramer-Rao下界
三、Bayes估计
3.1 代价函数
代价函数：衡量估计值与参数真实值之间误差的函数。
代价函数函数需要满足非负性和具有极小值两个条件。
常用代价函数：
（1）误差绝对值代价函数
（2）误差平方代价函数
（3）均匀代价函数
3.2 Bayes估计
假设被估计量θ的先验概率密度函数为p(θ)，代价函数是随机变量θ和观测信号x的函数，因此平均
代价函数为
其中， p(x, θ)是θ和x的联合概率密度函数。
Bayes估计：在p(θ)已知，代价函数确定条件下， 使平均代价函数C最小化的参数估计。
贝叶斯估计是把待估的参数θ作为具有某种先验分布p(θ)的随机变量，通过随机样本x对θ的分布进行修正，由样本x进行修正后的概率密度p(θ|x)称为后验概率。贝叶斯估计的实质是利用后验概率p(θ|x)对θ进行推断。
3.3 估计步骤
① 确定θ的先验概率密度p(θ)。
② 确定样本x的条件概率密度p(x|θ)，它是θ的函数。
③ 利用贝叶斯公式,求θ的后验概率
④ 计算参数θ的贝叶斯估计
四、最大似然估计
最大似然估计常用来估计未知的非随机参量或者概率密度函数未知的随机参量。
假设被估计的参数θ为未知常数，给定样本x1 , x2 ,…. xN，则将样本的联合概率密度p(x1 , x2 ,…. xN |θ)称为似然函数。为便于计算，似然函数通常写为对数形式：ln p(x1 , x2 ,…. xN |θ)
参数θ的最大似然估计在似然函数达到极大值时求得。
为得到θ的最大似然估计，需对似然函数求导，并令导数等于0。
如果N个样本相互独立，而参数θ为向量θ=(θ1 , θ2 ,…,θp）^T ，则p个未知参量可以通过下式求解。
五、线性均方估计
线性均方估计的规则，就是把估计量构造成观测量的线性函数，同时要求估计量的均方误差最小。
线性估计：
已知观测样本为xi (i=1,…,N)，则参数θ的估计值可以写为
估计量的均方误差为
线性均方估计通过选择最佳系数ai和b，使得估计量的均方误差最小。
均方误差分别对ai和b求偏导，并令结果等于0
整理可得
估计的均值
估计的均方误差
六、最小二乘估计
Bayes估计、线性均方估计需要知道被估计量的先验概率密度； 最大似然估计需要知道似然函数；最小二乘估计不需要先验统计特性，适用范围更广。
未知参数向量为：
观测信号模型为：
其中
观测向量
噪声向量
观测矩阵
最小二乘估计的代价函数为：
所以，最小二乘估计量，是满足下述方程的解：
由于
所以
若观测噪声n的均值矢量为零，则最小二乘估计的均方误差为
七、加权最小二乘估计
通过加权的方式，提高估计的精确度—— 加权最小二乘估计，其代价函数为：
W称为加权矩阵，是N×N对称正定阵。
加权最小二乘估计量满足下述方程：
所以
加权最小二乘估计矢量的均方误差为：
若观测噪声矢量n的均值矢量为零，协方差矩阵为Cn，则最优的加权矩阵为：
估计量为：
此时，加权最小二乘估计矢量的均方误差为：
