⬆︎
×
TOC
Hyplus目录
分类 数学建模  12673字  43分钟♻️ 📤 🖨 

概率论与数理统计（1）：常用公式大全

作者

概统部分常用公式大全（无随机过程）

数学基础系列文章：

参考讲义：

习题：

课程：

  • 【网盘群】2024考研友资料38群 - 张宇基础30讲 - 概率6讲

Hyplus目录

1 随机事件与概率

1.1 事件的运算律

（1）交换律：A\cup B=B\cup A；A\cap B=B\cap A

（2）结合律：A\cup(B\cup C)=(A\cup B)\cup C；A\cap(B\cap C)=(A\cap B)\cap C

（3）分配律：A\cup(B\cap C)=(A\cup B)\cap(A\cup C)；A\cap(B\cup C)=(A\cap B)\cup(A\cap C)

（4）德摩根律（对偶律）：\overline{A\cup B}=\overline A \cap \overline B；\overline{A\cap B}=\overline A \cup \overline B

1.2 概率的五大计算公式

1.2.1 加法公式

P(A\cup B)=P(A)+P(B)-P(AB)
P(A\cup B\cup C)=P(A)+P(B)+P(C)-P(AB)-P(BC)-P(AC)+P(ABC)

1.2.2 减法公式

P(B-A)=P(B)-P(AB)

1.2.3 乘法公式

若P(A)>0,则P(AB)=P(B|A)P(A)
若P(B)>0,则P(AB)=P(A|B)P(B)
若P(AB)>0,则P(ABC)=P(C|AB)P(B|A)P(A)=P(C|AB)P(A|B)P(B)

1.2.4 全概率公式

P(A)=\sum\limits_{i=1}^nP(A|B_i)P(B_i)

其中B_iB_j=\empty\ (i≠j)，\bigcup\limits_{i=1}^nB_i=\Omega

1.2.5 贝叶斯公式

P(B_j|A)=\frac{P(A|B_j)P(B_j)}{\sum\limits_{i=1}^nP(A|B_i)P(B_i)}

其中B_iB_j=\empty\ (i≠j)，\bigcup\limits_{i=1}^nB_i=\Omega

注：上述公式中事件B_i的个数可以是可列个

1.3 事件的独立性

A与B独立\Leftrightarrow P(AB)=P(A)P(B)
A,B,C两两独立\Leftrightarrow \left\{\begin{matrix}
P(AB)=P(A)P(B) \\
P(BC)=P(B)P(C) \\
P(AC)=P(A)P(C)
\end{matrix}\right.
A,B,C相互独立\Leftrightarrow \left\{\begin{matrix}
P(AB)=P(A)P(B) \\
P(BC)=P(B)P(C) \\
P(AC)=P(A)P(C) \\
P(ABC)=P(A)P(B)P(C)
\end{matrix}\right.

1.4 独立的性质与结论

（1）若事件A,B相互独立，则A与\overline B、\overline A与B、\overline A与\overline B也相互独立。

（2）独立的等价说法：若0\lt P(A) \lt 1，则

\begin{matrix}
 A,B独立&\Leftrightarrow& P(AB)=P(A)P(B) \\
& \Leftrightarrow& P(B)=P(B|A) \\
& \Leftrightarrow& P(B)=P(B|\overline A)\\
&\Leftrightarrow& P(B|A)=P(B|\overline A) \\
\end{matrix}

（3）若A_1,A_2,\cdots,A_m,B_1,B_2,\cdots,B_n相互独立，则f(A_1,A_2,\cdots,A_m)与g(B_1,B_2,\cdots,B_n)也相互独立，其中f(\cdot),g(\cdot)分别表示对相应事件作任意事件运算。

（4）若P(A)=0或P(A)=1，则A与任何事件B都相互独立。

1.5 独立、互斥、互逆的关系

（1）A与B互斥 \Rightarrow A与B互斥，但反之不一定成立

（2）A与B互斥（或互逆）且均为非零概率事件 \Rightarrow A与B不独立

（3）A与B相互独立且均为非零概率事件 \Rightarrow A与B不互斥

注：一般情况下，独立和互斥无关，独立推不出互斥，互斥也推不出独立

2 一维随机变量及其分布

离散型 - 分布律
连续型 - 密度函数

2.1 分布函数

2.1.1 定义

设X为随机变量，x为任意实数，称函数F(x)=P\{X≤x\}\ (x\in \mathbb{R})为随机变量X的分布函数，或称X服从F(x)分布，记为X\sim F(x)

2.1.2 性质

（1）非负性：0≤F(x)≤1

（2）规范性：F(-\infty)=0,F(+\infty)=1

（3）单调不减性：\forall x_1\lt x_2,F(x_1)≤F(x_2)

（4）右连续性：F(x_0+0)=F(x_0)

2.1.3 应用——求概率

（1）P\{X≤a\}=F(a)

（2）P\{X\lt a\}=F(a-0)

（3）P\{X=a\}=F(a)-F(a-0)

2.2 密度函数

2.2.1 定义

对于连续型随机变量X，其分布函数可表示为

F(x)=\int_{-\infty}^{x}f(t)\text{d}t\ (x\in \mathbb{R})

其中f(x)非负可积，称f(x)为X的概率密度函数，记为X\sim f(x)

2.2.2 性质

（1）非负性：f(x)≥0\ (-\infty\lt x\lt +\infty)

（2）规范性：\int_{-\infty}^{+\infty}f(x)\text{d}x=1

（3）对于任意实数a\lt b，P\{a\lt X≤b\}=\int_{a}^bf(x)\text{d}x

（4）对于连续型随机变量X，P\{X=x\}=0,\forall x \in \mathbb{R}

（5）连续型随机变量的分布函数F(x)是连续函数

（6）在f(x)的连续点处，有F'(x)=f(x)

2.3 常见的离散型分布

2.3.1 0-1分布

X\sim B(1,p)

P\{X=k\}=p^k(1-p)^{1-k}\ (k=0,1)
EX=p,\ DX=p(1-p)

2.3.2 二项分布

X\sim B(n,p)

P\{X=k\}=\text{C}_n^kp^k(1-p)^{n-k}\ (k=0,1,\cdots,n)
EX=np,\ DX=np(1-p)

2.3.3 泊松分布

X\sim P(\lambda)\ (\lambda>0)

P\{X=k\}=\frac{\lambda^k}{k!}e^{-\lambda}\ (k=0,1,2,\cdots)
EX=\lambda,\ DX=\lambda

2.3.4 几何分布

X\sim G(p)

P\{X=k\}=p(1-p)^{k-1}\ (0\lt p \lt 1,\ k=1,2,\cdots)
EX=\frac1p,\ DX=\frac{1-p}{p^2}

2.3.5 超几何分布

X\sim H(N,M,n)

P\{X=k\}=\frac{\text{C}_M^k\text{C}_{N-M}^{n-k}}{C_{N}^n}\ (k=0,1,\cdots,\min\{n,M\})

2.4 常见的连续型分布

2.4.1 均匀分布

X\sim U(a,b)

f(x)=\begin{cases}
 \frac{1}{b-a}, &a\lt x\lt b \\
0,  & 其他
\end{cases}
F(x)=\begin{cases}
0, & x\le a\\
 \frac{x-a}{b-a}, &a\lt x\lt b \\
1,  & x≥b
\end{cases}
EX=\frac{a+b}2,\ DX=\frac{(b-a)^2}{12}

2.4.2 指数分布

X\sim E(\lambda)\ (\lambda\gt 0)

f(x)=\begin{cases}
\lambda \text{e}^{-\lambda x}, & x\gt 0 \\
0,  & 其他
\end{cases}
F(x)=\begin{cases}
1-\text{e}^{-\lambda x}, & x\ge 0 \\
0,  & x\lt 0
\end{cases}
EX=\frac{1}{\lambda},\ DX=\frac{1}{\lambda^2}

2.4.3 正态分布

2.4.3.1 一般正态分布

X\sim N(\mu,\sigma^2)\ (-\infty \lt x \lt +\infty,\ \sigma \gt 0)

f(x)=\frac{1}{\sqrt{2\pi}\sigma}\text{e}^{-\frac{(x-\mu)^2}{2\sigma^2}}
EX=\mu,\ DX=\sigma^2

2.4.3.2 标准正态分布

X\sim N(0,1)\ (-\infty \lt x \lt +\infty)

\phi(x)=\frac1{\sqrt{2\pi}}\text{e}^{-\frac{x^2}2}
\Phi(x)=\frac1{\sqrt{2\pi}}\int_{-\infty}^x\text{e}^{-\frac{t^2}{2}}\text{d}t
2.4.3.2.1 性质

\Phi(-x)=1-\Phi(x)；\Phi(0)=\frac12；P\{|X|≤a\}=2\Phi(a)-1

2.4.3.2.2 上α分位点

设X\sim N(0,1)，对于给定的\alpha\ (0\lt \alpha\lt 1)，若u_\alpha满足条件P\{X>u_\alpha\}=\alpha，则称u_\alpha为标准正态分布的上\alpha分位点。

标准正态分布与一般正态分布的关系：正态分布X\sim N(\mu,\sigma^2)通过线性变换Z=\frac{X-\mu}{\sigma}变为标准正态分布，即进行标准化变量。

2.5 一维随机变量函数的分布

2.5.1 离散型→离散型

设离散型随机变量X的概率分布为P\{X=x_i\}=p_i\ (i=1,2,\cdots)，则X的函数Y=g(X)也是离散型随机变量，其概率分布为P\{Y=g(x_i)\}=p_i\ (i=1,2,\cdots)，即

Y\sim \begin{bmatrix}
 g(x_1) & g(x_2) &\cdots \\
 p_1 & p_2 & \cdots
\end{bmatrix}

若有若干个g(x_i)值相同，则合并诸项为一项g(x_k)，并将相应概率相加作为Y取g(x_k)值的概率。

2.5.2 连续型→连续型（混合型）

设连续型随机变量X的分布函数、概率密度分别为F_X(x),f_X(x)，随机变量Y=g(X)为X的函数，则其分布函数和概率密度可用分布函数法求得：

F_Y(y)=P\{Y≤y\}=P\{g(X)≤y\}=\int_{g(x)≤y}f_X(x)\text{d}x

若F_Y(y)连续，且除有限个点外，F'_Y(y)存在且连续，则Y的概率密度为f_Y(y)=F'_Y(y)

3 多维随机变量及其分布

3.1 联合分布函数

3.1.1 定义

F(x,y)=P\{X≤x,Y≤y\}\ (-\infty \lt x \lt +\infty,-\infty \lt y \lt +\infty)

称为二维随机变量(X,Y)的联合分布函数，它表示随机事件\{X≤x\}与\{Y≤y\}同时发生的概率。

3.1.2 性质

（1）非负性：对于任意实数x,y \in \mathbb{R}，0≤F(x,y)≤1

（2）规范性：

F(-\infty,y)=\lim\limits_{x\rightarrow -\infty} F(x,y)=0\\ F(x,-\infty)=\lim\limits_{y\rightarrow -\infty}F(x,y)=0\\
F(-\infty,-\infty)=\lim\limits_{x,y\rightarrow -\infty}F(x,y)=0\\ F(+\infty,+\infty)=\lim\limits_{x,y\rightarrow +\infty}F(x,y)=1

（3）单调不减性：F(x,y)分别关于x和y单调不减

（4）右连续性：F(x,y)分别关于x和y具有右连续，即

F(x,y)=F(x+0,y),\ F(x,y)=F(x,y+0),\ x,y\in \mathbb{R}

3.2 二维离散型随机变量及其分布

若二维随机变量(X,Y)可能的取值为有限对或可列无穷多对实数，则称(X,Y)为二维离散型随机变量

3.2.1 联合分布律

P\{X=x_i,Y=y_j\}=p_{ij}\ (i,j=1,2,\cdots)\\
p_{ij}≥0\\
\sum\limits_{i=1}^{+\infty}\sum\limits_{j=1}^{+\infty}p_{ij}=1

3.2.2 边缘分布律

P\{X=x_i\}=\sum\limits_{j=1}^{+\infty}P\{X=x_i,Y=y_j\}=\sum\limits_{j=1}^{+\infty}p_{ij}=p_{i\cdot}\ (i=1,2,\cdots)\\
P\{Y=y_j\}=\sum\limits_{i=1}^{+\infty}P\{X=x_i,Y=y_j\}=\sum\limits_{i=1}^{+\infty}p_{ij}=p_{\cdot j}\ (j=1,2,\cdots)

3.2.3 条件分布律

对于给定的j，若P\{Y=y_j\}>0\ (j=1,2,\cdots)，则称

P\{X=x_i|Y=y_j\}=\frac{P\{X=x_i,Y=y_j\}}{P\{Y=y_j\}}=\frac{p_{ij}}{p_{\cdot j}},\ i=1,2,\cdots

为在Y=y_j的条件下随机变量X的条件概率分布。

对于给定的i，若P\{X=x_i\}>0\ (i=1,2,\cdots)，则称

P\{Y=y_j|X=x_i\}=\frac{P\{X=x_i,Y=y_j\}}{P\{X=x_i\}}=\frac{p_{ij}}{p_{i\cdot}},\ j=1,2,\cdots

为在X=x_i的条件下随机变量Y的条件概率分布。

3.3 二维连续型随机变量及其分布

设二维随机变量(X,Y)的联合分布函数为F(x,y)，如果存在非负可积的二元函数f(x,y)，使得对任意实数x,y，有F(x,y)=\int_{-\infty}^x\int_{-\infty}^y f(u,v)\text{d}u\text{d}v，则称(X,Y)为二维连续型随机变量，称函数f(x,y)为二维随机变量(X,Y)的概率密度函数或联合密度函数。

3.3.1 性质

（1）f(x,y)≥0\ (-\infty\lt x\lt +\infty,-\infty\lt y\lt +\infty)

（2）\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} f(x,y)\text{d}x\text{d}y=1

（3）设D为平面xOy上任一区域，则点(x,y)落在D内的概率为

P\{(X,Y)\in D\}=\iint\limits_{D}f(x,y)\text{d}\sigma

（4）若f(x,y)在点(x,y)处连续，则有f(x,y)=\frac{\partial^2F(x,y)}{\partial x\partial y}

3.3.2 边缘密度函数

f_X(x)=\int_{-\infty}^{+\infty}f(x,y)\text{d}y\\
f_Y(y)=\int_{-\infty}^{+\infty}f(x,y)\text{d}x

3.3.3 条件密度函数

当f_Y(y)>0时，称f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}为在条件Y=y下X的条件密度函数。

当f_X(x)>0时，称f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}为在条件X=x下Y的条件密度函数。

3.4 常见的二维连续型分布

3.4.1 二维均匀分布

3.4.1.1 定义

设G是平面上有界可求面积的区域，其面积为|G|，若二维随机变量具有密度函数

f(x,y)=\begin{cases}
 \frac{1}{|G|}, & (x,y)\in G \\
 0, & (x,y) \notin G
\end{cases}

则称(X,Y)在区域G上服从二维均匀分布。

3.4.1.2 性质

若(X,Y)在各平行于坐标轴的矩形区域D=\{(x,y)|a≤x≤b,c≤y≤d\}上服从二维均匀分布，则其两个分量X,Y是独立的，且分别服从区间[a,b],[c,d]上的一维均匀分布。

3.4.2 二维正态分布

3.4.2.1 定义

如果二维连续型随机变量(X,Y)的概率密度为

f(x,y)=\frac{1}{2\pi \sigma_1 \sigma_2 \sqrt{1-\rho^2}}\exp\{ \frac{-1}{2(1-\rho^2)} [\frac{(x-\mu_1)^2}{\sigma_1^2} - \frac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2} ]\}\  (-\infty\lt x\lt +\infty,-\infty\lt y\lt +\infty)

其中\mu_1,\mu_2,\sigma_1>0,-1<\rho<1均为常数，则称(X,Y)服从参数为\mu_1,\mu_2,\sigma_1,\sigma_2,\rho的二维正态分布，记为(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)

3.4.2.2 性质

（1）X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2)

（2）X与Y独立的充分必要条件为\rho=0

（3）X与Y的非零线性组合服从一维正态分布，且
当X与Y不独立时

k_1X+k_2Y\sim N(k_1\mu_1+k_2\mu_2,k_1^2\sigma_1^2+k_2^2\sigma_2^2+2k_1k_2\rho\sigma_1\sigma_2)

当X与Y独立时

k_1X+k_2Y\sim N(k_1\mu_1+k_2\mu_2,k_1^2\sigma_1^2+k_2^2\sigma_2^2)

（4）若(X_1,X_2)服从二维正态分布，且行列式\begin{vmatrix} a & b\\ c &d \end{vmatrix}≠0，则(aX_1+bX_2,cX_1+dX_2)也服从二维正态分布。

3.5 二维随机变量的独立性

3.5.1 定义

（1）若对于任意实数x,y，有F(x,y)=F_X(x)F_Y(y)，则称X和Y相互独立。

（2）若对于任意i,j=1,2,\cdots，有P\{X=x_i,Y=y_j\}=P\{X=x_i\}P\{Y=y_j\}，则称二维离散型随机变量X和Y相互独立。

（3）若对于任意实数x,y，有f(x,y)=f_X(x)f_Y(y)，则称二维连续型随机变量X和Y相互独立。

3.5.2 性质

（1）若X与Y相互独立，f(x)和g(x)为连续函数，则f(X)与g(Y)也相互独立。

（2）若X_1,X_2,\cdots,X_n,Y_1,Y_2,\cdots,Y_m相互独立，f(\cdot)为n元连续函数，g(\cdot)为m元连续函数，则f(X_1,X_2,\cdots,X_n)与g(Y_1,Y_2,\cdots,Y_m)也相互独立。

3.6 二维随机变量函数的概率分布

3.6.1 离散型

已知(X,Y)的概率分布为

P\{X=x_i,Y=y_j\}=p_{ij},\ i,j=1,2,\cdots

则Z=g(X,Y)的分布律为

P\{Z=z_k\}=P\{g(X,Y)=z_k\}=\sum\limits_{g(x_i,y_j)=z_k}P\{X=x_i,Y=y_j\}

3.6.2 连续型

3.6.2.1 一般方法：分布函数法

设二维连续型随机变量(X,Y)的概率密度函数为f(x,y)，则随机变量Z=g(X,Y)的分布函数和概率密度函数为

F_Z(z)=P\{Z≤z\}=P\{g(X,Y)≤z\}=\iint\limits_{g(x,y)≤z}f(x,y)\text{d}x\text{d}y\\
f_Z(z)=F_Z'(z)

3.6.2.2 公式法：卷积公式

设二维连续型随机变量(X,Y)的概率密度为f(x,y)，则随机变量Z=X+Y的密度函数为

f_Z(z)=\int_{-\infty}^{+\infty}f(x,z-x)\text{d}x=\int_{-\infty}^{+\infty}f(z-y,y)\text{d}y

若X与Y独立，则Z=X+Y的密度函数公式称为卷积公式，即

f_X * f_Y=\int_{-\infty}^{+\infty}f_X(x)f_Y(z-x)\text{d}x=\int_{-\infty}^{+\infty}f_X(z-y)f_Y(y)\text{d}y

4 随机变量的数字特征

4.1 期望

4.1.1 一维随机变量的期望

4.1.1.1 离散型

设随机变量X的分布律为P\{X=x_i\}=p_i\ (i=1,2,\cdots)，若级数\sum\limits_{i=1}^{\infty}x_ip_i绝对收敛，则称

EX=\sum\limits_{i=1}^{\infty}x_ip_i

为随机变量X的数学期望。

4.1.1.2 连续型

设连续型随机变量X的概率密度为f(x)，若积分\int_{-\infty}^{+\infty}xf(x)\text{d}x绝对收敛，则称

EX=\int_{-\infty}^{+\infty}xf(x)\text{d}x

为X的数学期望。

4.1.1.3 随机变量函数的期望

设X是一个随机变量，g(x)为连续实函数，令Y=g(X)

4.1.1.3.1 离散型

若X的分布律为P\{X=x_i\}=p_i\ (i=1,2,\cdots)，则

EY=E[g(X)]=\sum\limits_{i=1}^{\infty}g(x_i)p_i
4.1.1.3.2 连续型

若X的密度函数为f_X(x)，则

EY=E[g(X)]=\int_{-\infty}^{+\infty}g(x)f_X(x)\text{d}x

4.1.2 二维随机变量的期望

4.1.2.1 离散型

设(X,Y)的概率分布为P\{X=x_i,Y=y_j\}=p_{ij}\ (i,j=1,2,\cdots)，则

EX=\sum\limits_{i}x_ip_{i\cdot}=\sum\limits_{i}\sum\limits_{j}x_ip_{ij}\\
EY=\sum\limits_{j}y_jp_{\cdot j}=\sum\limits_{i}\sum\limits_{j}y_ip_{ij}

4.1.2.2 连续型

设(X,Y)的联合概率密度为\phi(x,y)，则

EX=\int_{-\infty}^{+\infty}xf_X(x)\text{d}x=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}xf(x,y)\text{d}x\text{d}y\\
EY=\int_{-\infty}^{+\infty}yf_Y(y)\text{d}y=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}yf(x,y)\text{d}x\text{d}y\\

4.1.2.3 随机变量函数的期望

设(X,Y)为二维随机变量，g(x,y)为二元连续实函数，令Z=g(X,Y)

4.1.2.3.1 离散型

若(X,Y)的联合分布律为P\{X=x_i,Y=y_j\}=p_{ij}\ (i,j=1,2,\cdots)，则

EZ=E[g(X,Y)]=\sum\limits_{i=1}^{\infty}\sum\limits_{j=1}^{\infty}g(x_i,y_j)p_{ij}
4.1.2.3.2 连续型

若(X,Y)的联合密度函数为f(x,y)，则

EZ=E[g(X,Y)]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f(x,y)\text{d}x\text{d}y

4.1.3 期望的性质

（1）E(C)=C；E(EX)=EX

（2）E(CX)=CEX

（3）E(k_1X\pm k_2Y)=k_1EX\pm k_2EY

（4）若X与Y相互独立，则有E(XY)=EXEY

4.2 方差

4.2.1 定义

设X是一个随机变量，若E(X-EX)^2存在，则称DX=E(X-EX)^2为X的方差，称\sqrt{DX}为标准差或均方差。

DX=EX^2-(EX)^2

解题时，常用此公式计算EX^2=DX+(EX)^2

4.2.2 方差的性质

（1）D(C)=0；D(EX)=0；D(DX)=0

（2）D(CX)=C^2DX

（3）D(C_1X+C_2)=C_1^2DX

（4）D(X\pm Y)=DX+DY \pm 2\text{cov}(X,Y)

（5）若X,Y相互独立，则D(X\pm Y)=DX+DY

4.2.3 标准化变量

设随机变量X具有数学期望EX=\mu、方差DX=\sigma^2≠0，记

X^*=\frac{X-\mu}{\sigma}

则称X^*为X的标准化变量。

显然，EX^*=0，DX^*=1，且X^*无量纲。

4.3 协方差

4.3.1 定义

\text{cov}(X,Y)=E[(X-EX)(Y-EY)]

常用如下公式计算

\text{cov}(X,Y)=EXY-EXEY

4.3.2 协方差的性质

（1）\text{cov}(X,Y)=\text{cov}(Y,X)

（2）\text{cov}(X,X)=DX

（3）\text{cov}(aX,bY)=ab\text{cov}(X,Y)

（4）\text{cov}(X,C)=0

（5）\text{cov}(k_1X_1\pm k_2X_2,Y)=k_1\text{cov}(X_1,Y)\pm k_2\text{cov}(X_2,Y)

（6）若X与Y相互独立，则\text{cov}(X,Y)=0

4.4 相关系数

4.4.1 定义

\rho_{XY}=\frac{\text{cov}(X,Y)}{\sqrt{DX}\sqrt{DY}}

4.4.2 相关系数的性质

（1）|\rho_{XY}|≤1

（2）|\rho_{XY}|=1\Leftrightarrow P\{Y=aX+b \}=1\ (a≠0)，且当a>0时，\rho_{XY}=1；a<0时，\rho_{XY}=-1

4.4.3 不相关的等价说法

\rho_{XY}=0\Leftrightarrow \text{cov}(X,Y)=0\Leftrightarrow EXY=EXEY \Leftrightarrow D(X\pm Y)=DX+DY

4.4.4 不相关与独立的关系

（1）X,Y相互独立 \Rightarrow X与Y不相关，反之不成立

（2）若(X,Y)\sim N(\mu_1,\mu_2;\sigma_1^2,\sigma_2^2;\rho)，则X与Y独立 \Leftrightarrow X与Y不相关

4.5 其他数字特征

设X,Y为随机变量

4.5.1 k阶（原点）矩

若EX^k,\ k=1,2,\cdots存在，则称它为X的k阶（原点）矩

4.5.2 k阶中心矩

若E[(X-EX)^k],\ k=1,2,\cdots存在，则称它为X的k阶中心矩

4.5.3 k+l阶混合（原点）矩

若E(X^kY^l),\ k,l=1,2,\cdots存在，则称它为X,Y的k+l阶混合（原点）矩

4.5.4 k+l混合中心矩

若E[(X-EX)^k(Y-EY)^l],\ k,l=1,2,\cdots存在，则称X,Y的k+l阶混合中心矩

4.6 切比雪夫不等式

设随机变量X的期望EX、方差DX都存在，则对任意\epsilon>0均有

P\{|X-EX|≥\epsilon\}≤\frac{DX}{\epsilon^2}

或

P\{|X-EX|\lt \epsilon\}≥1-\frac{DX}{\epsilon^2}

5 大数定律与中心极限定理

5.1 依概率收敛

对于随机变量序列X_1,X_2,\cdots,X_n,\cdots和常数a，如果对于任意给定的正数\epsilon，有

\lim\limits_{n\rightarrow \infty} P\{|X_n-a|<\epsilon\}=1

则称随机变量序列X_1,X_2,\cdots,X_n,\cdots依概率收敛于a，记作X_n \xrightarrow{P}a

5.2 大数定律

5.2.1 切比雪夫大数定律

设随机变量X_1,X_2,\cdots,X_n,\cdots相互独立，数学期望EX_i和方差DX_i均存在，且方差DX_i有公共上界，即存在常数C，使DX_i≤C\ (i=1,2,\cdots)，则对于任意给定的正数\epsilon，总有

\lim\limits_{n\rightarrow \infty}P\{|\frac{1}{n}\sum\limits_{i=1}^nX_i-\frac{1}{n}\sum\limits_{i=1}^nEX_i|<\epsilon \}=1

上式表明：当n很大时，相互独立方差有公共上界的随机变量的平均值\frac{1}{n}\sum\limits_{i=1}^nX_i依概率收敛于其数学期望\frac{1}{n}\sum\limits_{i=1}^nEX_i

5.2.2 伯努利大数定律

设n_A是n次独立重复试验中事件A发生的次数，p是事件A在每次试验中发生的概率，则对于任意正数\epsilon，有

\lim\limits_{n\rightarrow \infty}P\{|\frac{n_A}{n}-p|<\epsilon \}=1

上式表明：当n很大时，随机事件A发生的频率\frac{n_A}{n}依概率收敛于事件A的概率p，因此在试验次数充分大时，可以用频率来近似代替概率。

5.2.3 辛钦大数定律

设随机变量X_1,X_2,\cdots,X_n,\cdots相互独立，服从相同的分布，具有数学期望EX_i=\mu\ (i=1,2,\cdots)，则对于任意给定的正数\epsilon，总有

\lim\limits_{n\rightarrow \infty}P\{|\frac1n \sum\limits_{i=1}^nX_i-\mu|<\epsilon \}=1

上式表明：当n很大时，独立同分布的随机变量的平均值\frac1n\sum\limits_{i=1}^nX_i依概率收敛于其数学期望\mu

5.3 中心极限定理

5.3.1 列维-林德伯格中心极限定理

设随机变量X_1,X_2,\cdots,X_n,\cdots相互独立，服从相同的分布，具有数学期望EX_i=\mu和方差DX_i=\sigma^2>0\ (i=1,2,\cdots)，则对于任意实数x，有

\lim\limits_{n\rightarrow \infty}P\{\frac{\sum\limits_{i=1}^n X_i-n\mu}{\sqrt n \sigma}≤x \}=\Phi(x)

上式表明：在定理条件下，当n充分大时，\sum\limits_{i=1}^nX_i以正态分布为极限分布。

5.3.2 棣莫弗-拉普拉斯中心极限定理

设随机变量X_n服从参数为n,p\ (0\lt p\lt 1,\ n=1,2,\cdots)的二项分布，即X_n\sim B(n,p)，则对于任意实数x，有

\lim\limits_{n\rightarrow \infty}P\{\frac{X_n-np}{\sqrt{np(1-p)}}≤x\}=\Phi(x)

上式表明：当重复实验次数足够多时，二项分布以正态分布极限分布。

6 数理统计

6.1 重要统计量

6.1.1 样本均值

\overline X=\frac1n \sum\limits_{i=1}^nX_i,\text{ 观测值 }\overline x=\frac1n \sum\limits_{i=1}^n x_i
E\overline X=\mu,\ D\overline X=\frac{\sigma^2}{n}

6.1.2 样本方差

S^2=\frac{1}{n-1}\sum\limits_{i=1}^n(X_i-\overline X)^2,\text{ 观测值 }s^2=\frac{1}{n-1}\sum\limits_{i=1}^n(x_i-\overline x)^2
ES^2=\sigma^2

6.1.3 样本标准差

S=\sqrt{\frac{1}{n-1}\sum\limits_{i=1}^n(X_i-\overline X)^2},\text{ 观测值 }s=\sqrt{\frac{1}{n-1}\sum\limits_{i=1}^n(x_i-\overline x)^2}

6.1.4 样本k阶原点矩

A_k=\frac1n \sum\limits_{i=1}^n X_i^k,\text{ 观测值 }a_k=\frac1n \sum\limits_{i=1}^n x_i^k\ (k=1,2,\cdots)

如果总体的X的k阶原点矩EX^k=\mu_k\ (k=1,2,\cdots)存在，则当n\rightarrow \infty时，有

A_k=\frac1n \sum\limits_{i=1}^n X_i^k \xrightarrow{P}EX^k\ (k=1,2,\cdots)

6.1.5 样本k阶中心矩

B_k=\frac1n\sum\limits_{i=1}^n(X_i-\overline X)^k,\text{ 观测值 }b_k=\frac1n\sum\limits_{i=1}^n(x_i-\overline x)^k\ (k=2,3,\cdots)

6.1.6 顺序统计量

设总体X的分布函数为F(x)，X_1,X_2,\cdots,X_n是来自总体X的样本，则统计量X_{(n)}=\max(X_1,X_2,\cdots,X_n)和X_{(1)}=\min(X_1,X_2,\cdots,X_n)的分布函数分别为

F_{X_{(n)}}(x)=P\{\max(X_1,X_2,\cdots,X_n)≤x\}=[F(x)]^n\\
F_{X_{(1)}}(x)=P\{\min(X_1,X_2,\cdots,X_n)≤x\}=[1-F(x)]^n

6.2 三大分布

6.2.1 卡方分布

\chi^2分布（Chi-square Distribution）

6.2.1.1 典型模式

设随机变量X_1,X_2,\cdots,X_n相互独立，且均服从标准正态分布N(0,1)，则随机变量\chi^2=X_1^2+X_2^2+\cdots+X_n^2服从自由度为n的\chi^2分布，记作\chi^2\sim \chi^2(n)

6.2.1.2 性质

设X\sim \chi^2(n_1),Y\sim \chi^2(n_2)，且X,Y相互独立，则X+Y\sim \chi^2(n_1+n_2)

6.2.1.3 数字特征

E\chi^2=n,\ D\chi^2=2n

6.2.1.4 上α分位点

设\chi^2\sim \chi^2(n)，对于任意给定的\alpha\ (0\lt \alpha \lt 1)，称满足条件P\{\chi^2\gt \chi_{\alpha}^2(n)\}=\alpha的点\chi_{\alpha}^2(n)为\chi^2(n)的上\alpha分位点。

6.2.2 t分布

t分布

6.2.2.1 典型模式

设随机变量X\sim N(0,1),Y\sim \chi^2(n)，且X,Y相互独立，则随机变量t=\frac{X}{\sqrt{Y/n}}服从自由度为n的t分布，记作t\sim t(n)

6.2.2.2 性质

t分布的概率密度f(x)是偶函数，且有\lim\limits_{n\rightarrow \infty}f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}，即当n充分大时，t(n)分布近似于N(0,1)分布。

6.2.2.3 上α分位点

设t\sim t(n)，对于任意给定的\alpha\ (0\lt \alpha \lt 1)，称满足条件P\{t\gt t_{\alpha}(n)\}=\alpha的点t_{\alpha}(n)为t(n)的上\alpha分位点。

6.2.3 F分布

F分布

6.2.3.1 典型模式

设随机变量X\sim \chi^2(m),Y\sim \chi^2(n)，且X,Y相互独立，则随机变量F=\frac{X/m}{Y/n}服从自由度为(m,n)的F分布，记为F\sim F(m,n)

6.2.3.2 性质

若F\sim F(m,n)，则\frac1F \sim F(n,m)

6.2.3.3 上α分位点

设F\sim F(m,n)，对于任意给定的\alpha\ (0\lt \alpha \lt 1)，称满足条件P\{F\gt F_{\alpha}(m,n)\}=\alpha的点F_{\alpha}(m,n)为F(m,n)的上\alpha分位点。

6.3 一个正态总体的抽样分布

设X_1,X_2,\cdots,X_n是来自正态总体X\sim N(\mu,\sigma^2)的样本，样本均值为\overline X，样本方差为S^2，则有

（1）\overline X\sim N(\mu,\frac{\sigma^2}{n}),\frac{\overline X-\mu}{\sigma / \sqrt n}\sim N(0,1)

（2）\overline X与S^2相互独立，且\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)

（3）\frac{\overline X-\mu}{S/\sqrt n}\sim t(n-1)

（4）\frac1{\sigma^2}\sum\limits_{i=1}^n(X_i-\mu)^2\sim \chi^2(n)

6.4 两个正态总体的抽样分布

设X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2)，X_1,X_2,\cdots,X_{n_1}和Y_1,Y_2,\cdots,Y_{n_2}分别来自总体X和Y的样本，且两个样本相互独立，则有

（1）\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}\sim N(0,1)

（2）若\sigma_1^2=1\sigma_2^2，则\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{S_w\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}} \sim t(n_1+n_2-2)，其中S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}

（3）\frac{\frac1{\sigma_1^2} \sum\limits_{i=1}^{n_1}(X_i-\mu_1)^2/n_1}{\frac1{\sigma_2^2} \sum\limits_{j=1}^{n_1}(Y_j-\mu_2)^2/n_2}\sim F(n_1,n_2)

（4）\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim F(n_1-1,n_2-1)

6.5 矩估计

6.5.1 原理

样本的k阶原点矩依概率收敛于总体的k阶原点矩。

6.5.2 解题步骤

待估参数为k个\theta_1,\theta_2,\cdots,\theta_k
（1）求出总体的k阶原点矩\mu_k=EX^k\ (k=1,2,\cdots)

（2）令样本的k阶原点矩A_k=\frac1n \sum\limits_{i=1}^nX_i^k等于总体的k阶原点矩，即令

EX^k=\frac1n \sum\limits_{i=1}^n X_i^k\ (k=1,2,\cdots)

（3）解上面的方程组，得\theta_i的矩估计量为\hat \theta_i(X_1,X_2,\cdots,X_n)，则\theta_i的矩估计值为\hat \theta_i(x_1,x_2,\cdots,x_n)

注：当待估参数为1个时，通常令EX=\frac1n \sum\limits_{i=1}^n X_i，即可解得\theta的矩估计量与相应的矩估计值。

6.6 最大似然估计法

6.6.1 似然函数和最大似然估计

6.6.1.1 X为离散型随机变量

设总体X的分布律为P\{X=a_i\}=p(a_i;\theta),\ i=1,2,\cdots，X_1,X_2,\cdots,X_n为取自X的样本，则X_1,X_2,\cdots,X_n的联合分布律

L(x_1,x_2,\cdots,x_n;\theta)=\prod\limits_{i=1}^np(x_i;\theta),\ x_i为a_i\ (i=1,2,\cdots)中的某个数

称为似然函数，L(x_1,x_2,\cdots,x_n;\theta)关于\theta的最大值点\hat \theta称为\theta的最大似然估计。

6.6.1.2 X为连续型随机变量

设总体X的密度函数为f(x;\theta)，X_1,X_2,\cdots,X_n为取自X的样本，则

L(x_1,x_2,\cdots,x_n;\theta)=\prod\limits_{i=1}^nf(x_i;\theta)

称为似然函数，L(x_1,x_2,\cdots,x_n;\theta)关于\theta的最大值点\hat \theta称为\theta的最大似然估计。

注：上述两种中的\theta可以是多个待估参数(\theta_1,\theta_2,\cdots,\theta_k)

6.6.2 最大似然估计的解题步骤

待估参数为k个(\theta_1,\theta_2,\cdots,\theta_k)

（1）写出似然函数

L(x_1,x_2,\cdots,x_n;\theta_1,\theta_2,\cdots,\theta_k)=\prod\limits_{i=1}^np(x_i;\theta_1,\theta_2,\cdots,\theta_k)\text{               （离散型）}\\
L(x_1,x_2,\cdots,x_n;\theta_1,\theta_2,\cdots,\theta_k)=\prod\limits_{i=1}^nf(x_i;\theta_1,\theta_2,\cdots,\theta_k)\text{               （连续型）}

（2）取对数\ln L

（3）若\ln L对\theta_1,\theta_2,\cdots,\theta_k可微，求偏导数\frac{\partial \ln L}{\partial \theta_i},\ i=1,2,\cdots,k；判断方程组\frac{\partial \ln L}{\partial \theta_i}=0是否有解。若有解则其解即为所求最大似然估计；若无解则要概率极大似然估计的意义（使似然函数取得最大值），此时，估计值常在\theta_i的边界点上达到。

注：对于只有一个未知参数只需将步骤（3）中求偏导变为一元函数求导即可

6.7 估计量的评选标准

6.7.1 无偏性

如果\theta的估计量\hat \theta(X_1,X_2,\cdots,X_n)的数学期望E\hat \theta存在，且E\hat \theta=\theta，则称\hat \theta(X_1,X_2,\cdots,X_n)是未知参数\theta的无偏估计量。

6.7.2 有效性

\hat \theta_1(X_1,X_2,\cdots,X_n)和\hat \theta_1(X_1,X_2,\cdots,X_n)都是未知参数\theta的无偏估计量，若D\hat\theta_1≤D\hat\theta_2，且至少对于某一个\theta\in \Theta不等号成立，则称\hat \theta_1(X_1,X_2,\cdots,X_n)比\hat \theta_1(X_1,X_2,\cdots,X_n)更有效。

6.7.3 一致性（相合性）

若对任意\epsilon>0，有

\lim\limits_{n\rightarrow \infty}P\{|\hat\theta-\theta|\lt\epsilon\}=1

则称\hat \theta为\theta的一致估计量。

6.8 区间估计

6.9 假设检验

《概率论与数理统计（1）：常用公式大全》有3条评论

  1. Pingback： 高等数学（数二强化冲刺笔记） – Hyperplasma
  2. Pingback： 线性代数（数二强化冲刺笔记） – Hyperplasma
  3. Pingback： [Oldge] 数学模型与方法（概统） – Hyperplasma

发表评论