人工智能数学基础--概率与统计15：多维随机变量/向量

一、多维随机变量定义

一般地,设X=(X1,X2,···,X,)为一个n维向量，其每个分量,即X1、···、Xn都是一维随机变量，则称X是一个n维随机向量或n 维随机变量。

与随机变量一样，随机向量也有离散型和连续型之分。

二、离散型多维随机向量

一个随机向量X=(X1,···,Xn)，如果其每一个分量Xi 都是一维离散型随机变量，则称X为离散型的。

2.1、离散型多维随机向量的概率

定义2.1
$以{a_{i1},a_{i2},···}记X_i的全部可能值(i=1,2,···)，则事件 {X1=a_{1j_1},X2=a_{2j_2},···,Xn=a_{nj_n}} 的概率称为随机向量，$
记为：
在这里插入图片描述
X=(X1,···,Xn)的概率函数或概率分布,概率函数应满足条件：

2.2、多项分布

多项分布是最重要的离散型多维分布，在实际中经常遇到，如一个总体按照属性分成几类时就是多项分布。

2.2.1 定义

设A1，A2，··，An，是某一试验之下的完备事件群，即事件A1，··，An，两两互斥，其和为必然事件(每次试验时，事件A1，···，An必发生一个且只发生一个)。分别以P1，P2，··，Pn记事件A1，A2，···，An的概率，则pi≥0，P1+···+pn=1。
现在将试验独立地重复 N次，而以Xi记在这N 次试验中事件Ai出现的次数(i=1，···，n)，则X=(X1，··，Xn)为一个n维随机向量。它取值的范围是:X1，···，Xn都是非负整数，且其和为N。X的概率分布就叫做多项分布，有时记为M(N；P1，···，Pn)。

2.2.2 计算方法

为定出这个分布，要计算事件 B=（X1=k1，···，Xi=Ki，···，Xn=Kn}的概率，只需考虑Ki都是非负整数且K1+···+Kn=N的情况，否则P(B)=0。

为计算P(B)，从N次试验的原始结果j1,j2,···,jN 出发，它表示第一次试验事件Aj1发生，第二次试验 A j2发生，等等。为使事件 B发生，在j1，j2，···，jN中应有k1个1，k2个2，等等。这种序列的数目，等于把N个相异物体分成n堆，各堆依次有k1，k2，···，kn件的不同分法。不的分法共有N!/(k1!···kn!)种。其次，由于独立性，利用概率乘法定理知，每个适合上述条件的原始结果序列j1j2···jn，出现的概率应为 $p_1^{ k1}p_2^{ k2}···p_n^{kn}$ 。于是得到：
在这里插入图片描述
上式就是多项分布的概率函数，其名称是由多项展开式：

$Σ^*表示求和的范围为：k_i为非负整数，k1+···+kn=N$ 。
在上式中，令xi=pi，并且利用p1+···+pn=1，得：

三、连续型多维随机变量

3.1 定义

设X=(X1,···,Xn)是一个n维随机向量，其取值可视为n维欧氏空间 $R^n$ 中的一个点，如果X的全部取值能充满 $R^n$ 中某一区域，则称它是连续型的多维随机变量。

与一维连续型变量一样,描述多维随机向量的概率分布，最方便的是用概率密度函数。为此,我们引进一个记号：X∈A,读作“X属于A”或“X落在A内”，其中A是 $R^n$ 中的集合：{XE∈A}是一个随机事件，因为做了试验以后，X的值就知道了，因而也就能知道它是否落在A内。

3.2 多维随机变量的概率密度函数

定义若f(x1,···,xn)是定义在 $R^n$ 上的非负函数，对 $R^n$ 中的任何集合A，有：

则称f是X的(概率)密度函数。
如果把A取成全空间 $R^n$ ，则{X∈A}为必然事件，其概率为1。因此应有
在这里插入图片描述
这也是概率密度函数必须满足的一个条件。

3.3 均匀分布

二维随机向量X=(X1,X2)，其概率密度函数为：
在这里插入图片描述
则 f 非负且满足式（2.6）。

该函数对应的图形如下：

在这里插入图片描述
全部概率均匀分布在对应矩形内，即P(X∈A)与A的面积成正比，因此把X的分布称为图中矩形上的均匀分布。

3.6 二维正态分布

最重要的多维连续分布是多维正态分布，二维情况下的二维正态分布概率密度函数形式如下：
在这里插入图片描述
这里为了方便，引入了记号exp，其意义为：exp（c）= $e^c$ 。上述概率密度函数包含了5个常数a、b、 $σ_1^2、σ_2^2$ 、ρ，它们是二维正态分布的参数，其可取值的范围为：
a、b∈(-∞，+∞）， $σ_1>0、σ_2>0$ ，ρ∈（-1,1）

二维正态分布常记为N(a，b， $σ_1^2、σ_2^2$ ，ρ），它在三维空间的函数图形好像一个椭圆切面的钟倒扣在Ox1x2平面上，其中心在（a，b）点。

可以证明N(a，b， $σ_1^2、σ_2^2$ ，**ρ）**满足式（2.6）的要求，因此这是一个概率密度函数。

3.7 关于连续随机变量需要注意的几点

不论是一维还是多维连续随机变量，在定义时的实质是需要有满足式（2.6）的概率密度函数（对于一维就是一个变量）存在；
概率密度函数在一个区间或区域上是否连续没有要求；
连续随机向量的各分量都是随机变量，但并不是各分量都是随机变量就一定是随机向量；
可以用概率分布函数去描述多维随机向量的概率分布，其定义为：F(x1,x2,…,xn)=P(X1<x1,X2<x2,…,Xn<xn)，但在多维情况下，很少用分布函数。

3.8 边缘分布

设X=(X1，…，Xn)为一个n维随机向量，X有一定的分布F，这是一个n维分布，因为X的每个分量Xi都是一维随机变量，故它们都有各自的分布Fi(i=1，···，n)，这些都是一维分布，称为随机向量X 或其分布F的边缘分布，也称为边际分布。边缘分布完全由原分布F确定。

3.8.1 离散随机向量的边缘分布

以第一个分量为例，离散型随机向量的边缘分布的概率密度计算公式为：
在这里插入图片描述
可以证明，对于多项分布M(N;p1,…,pn)，其对应的边缘分布就是二项分布B(N,pi)。

3.8.2 连续随机向量的边缘分布

设随机向量X=(X1，…，Xn)有概率密度函数f(x1,…,xn)，其分量Xi的边缘分布的概率密度函数就是将xi固定，对函数f剩余的n-1个变量在-∞和+∞之间做定积分，如x1的密度函数下：
在这里插入图片描述
按照此方式，可以证明二维正态分布的边缘分布是一维正态分布。

四、小结

本文介绍了多维随机向量的概念和其概率密度函数定义以及边缘分布的定义，并举例说明了多项分布、均匀分布、正态分布等多维随机向量的典型分布。多维随机向量也分为离散型和连续型两种，其边缘分布就是一种普通的分布，只是将其中一个分量或多个分量看做变量其余分量是全域积分所得到的分布，因此边缘分布可以是一维的，也可以是多维的。
与边缘分布相对应，多维随机向量也被称为联合分布。

任何一个随机向量的分布F都可以决定其一个分量的边缘分布Fi，但即使知道了所有分量的边缘分布Fi，也不足以决定随机向量的分布F。例如两个标准正态分布如果其参数ρ不同，以二者分别作为二维随机向量的边缘分布，其对应的随机向量是不同的分布。这是因为边缘分布只考虑了单个分量的情况，未考虑其关系。

更多人工智能数学基础请参考专栏《[人工智能数学基础]一维(https://blog.csdn.net/laoyuanpython/category_10382948.html)》。

写博不易，敬请支持：

如果阅读本文于您有所获，敬请点赞、评论、收藏，谢谢大家的支持！

关于老猿的付费专栏

付费专栏《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程，对应文章目录为《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt开发图形界面Python应用专栏目录》；
付费专栏《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音视频开发专栏 )详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音视频开发专栏文章目录》；
付费专栏《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》为《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理》的伴生专栏，是笔者对OpenCV-Python图形图像处理学习中遇到的一些问题个人感悟的整合，相关资料基本上都是老猿反复研究的成果，有助于OpenCV-Python初学者比较深入地理解OpenCV，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初学者疑难问题集专栏目录》
付费专栏《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬虫入门》站在一个互联网前端开发小白的角度介绍爬虫开发应知应会内容，包括爬虫入门的基础知识，以及爬取CSDN文章信息、博主信息、给文章点赞、评论等实战内容。

前两个专栏都适合有一定Python基础但无相关知识的小白读者学习，第三个专栏请大家结合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理》的学习使用。

对于缺乏Python基础的同仁，可以通过老猿的免费专栏《https://blog.csdn.net/laoyuanpython/category_9831699.html 专栏：Python基础教程目录）从零开始学习Python。

如果有兴趣也愿意支持老猿的读者，欢迎购买付费专栏。