Day 8 classification ：Probabilistic Generative Model

今天上了一整天的课， 本来实在是更新不动了，但是看到《剑来》更新了，想一想这本书里面一直强调的成功的feature – 心性，嗯心性坚毅就好！主人公陈平安练拳一百万次，我才第八天而已，加油

主要任务

这里老师举了一堆案例，impressive – face reconization 因为之前接单刚搭了个项目 还赚了1k，哈哈

可以用来预测的属性（之后可以找到关键特征 extract features）

classification as Regression ?

这里还是有必要花一些时间的， 因为我一直以来的想法就是这个样子，也不明是非对错（学的一知半解的）大致思想就是下面

注意一下这里没有提到Loss function

就是说 我让一条直线， 橙色点输入进去小于0（sigmoid 之后接近-1） 蓝色点输进去 大于0（sigmoid后接近+1），最后可以找到绿色的线；loss 的话……我去我不会;

Q:这里的loss function 是什么？

sigmoid（wx +wx+b）-1 和 +1的平方；每一个点输进去哈

这些点是更加纯正的类，反而被error了，不合理 ，因为我们定义的模型是 越接近1 越是该类； 大于1 的点在我们这个模型里被认为是不应该存在的，超过了我的值域（ps：刚刚小憩了半个小时，真管用哇，本来想不通的东西困得不行还头疼，一下子想清楚啦哈哈）

另一个不合理：

当给类进行 -1 0 1 2 ……编码时候， 会认为 -1 class 和 0 class 离得比较近，实际上可能并没有这种距离关系

Ideal Alternatives （正确的做法）

这里把simoid去掉没有接近不接近1 的思想；g（x） 是自己学出来的一个function；

这里的loss 无法求梯度；

下面介绍贝叶斯

这里放了一个简单的推导：

利用x 的抽样分布来估计概率

对于 0的不存在的数据，假设它的（x的）分布符合某一个高斯分布，以此来估计概率

how to find the u and $\sigma$ 也就是找到概率最大的生成这79个点的高斯分布

MAximum Likelihood (极大似然)

这里应该是用了矩估计；当然了我们也可以进行求导的那种极大似然解法

bad Result

how to fix ?

xdm 绷不住了，学到这里的时候图书馆的朗读亭里有小姐姐唱歌了 爱的回归线 哈哈哈哈哈哈哈哈哈哈哈（那个朗读亭隔音不好，很多同学以为那个地方可以隔音），唱的还挺好听的；

平均数还和原来的算法一样

这里有一点不明白 为什么这样就可以表示它的方差？（加权平均） 为啥不是直接把140个点求一个方差呢？

more Result

Three Steps 三板斧

other thinking

Some math一些数学的推导：

posterior probability 后验概率：考虑了一系列随机观测数据的条件概率。对于一个随机变量来说，量化其不确定性非常重要。其中一个实现方法便是提供其后验概率的置信区间。

从这个式子可以看出，共用$\Sigma$ 的时候，为什么 boundary 会是一个直线

老师讲的真牛x，这里直接串起来了，后面紧接着讲logistic Regression