uploaded_Ch4-随机变量的数字特征

随机变量的平均取值 —— 数学期望
随机变量取值平均偏离平均值的情况 —— 方差
描述两个随机变量之间某种关系的数 —— 协方差、相关系数

数学期望

数学期望的概念

离散型随机变量 $X$ 的分布律为：

$X$	$x_1$	$x_2$	$\cdots$	$x_k$	$\cdots$
$P$	$p_1$	$p_2$	$\cdots$	$p_k$	$\cdots$

$\displaystyle \sum_{k=1}^{+\infin} x_k p_k$ 绝对收敛，则称：

E (X) = \sum_{k = 1}^{+ \infty} x_{k} p_{k}

$\displaystyle \sum_{k=1}^{\infin} |x_k|p_k <+\infin$ .
$x_k=2^k,p_k=1/2^k$ $x_k=(-2)^k,p_k=1/2^k$ ，则数学期望不存在。
$E(X)$ $X$ 取值的排列次序无关。

$X$ 连续型随机变量 $f(x)$ $\displaystyle \int_{-\infin}^{+\infin} xf(x)\mathrm d x$ 绝对收敛，则称：

E (X) = \int_{- \infty}^{+ \infty} x f (x) d x

可以转化为离散的形式加以解释。

注：数学期望又称均值，反应了随机变量取值的平均值，是一种加权平均。
$E(X)$ 是一个确定的数，因此叫做数学特征。

Q: 求 Poisson 分布 的期望：

P (X = k) = \frac{λ^{k}}{k!} e^{- λ}

E (X) = \sum k P (x = k) = \sum_{k = 1}^{+ \infty} k \cdot \frac{λ^{k}}{k!} e^{- λ}

法1：使用级数求和：

= λ e^{- λ} \sum_{k = 1}^{+ \infty} \frac{λ^{k - 1}}{(k - 1)!} = λ

法2：使用 Poisson 分布的规范性：

= λ \sum_{k = 1}^{+ \infty} \frac{λ^{k - 1}}{(k - 1)!} e^{- λ} = λ \sum_{k = 1}^{+ \infty} P (X = k - 1) = λ

Q：求 几何分布 的期望：

P (X = k) = p q^{k - 1}, p + q = 1, k = 1, 2, \dots

E (X) = \sum_{k = 1}^{+ \infty} k p q^{k - 1} = p \sum_{k = 1}^{+ \infty} k q^{k - 1} = p {(\sum_{k = 1}^{+ \infty} q^{k})}^{'} = p \cdot \frac{1}{(1 - q)^{2}} = \frac{1}{p}

Q: 求 指数分布 的期望：

\begin{matrix} f (x) = {\begin{aligned} λ e^{- λ x}, & x > 0 \\ 0, & x \leq 0 \end{aligned} \end{matrix}

\begin{matrix} E (X) = \int_{0}^{+ \infty} λ e^{- λ x} x = - \int_{0}^{+ \infty} x d e^{- λ x} \\ = - [x e^{- λ x}]_{0}^{+ \infty} + \int_{0}^{+ \infty} e^{- λ x} d x = \frac{1}{λ} \end{matrix}

Q: 电子元器件的寿命服从指数分布，求三个串联 or 三个并联的数学期望。极小值分布 and 极大值分布

$N=\min\{X_1,X_2,X_3\}$ $3\lambda$ $E(N)=1/3\lambda$ .

$M=\max\{X_1,X_2,X_3\}$ ，先求出分布函数，再求出概率密度函数，然后再积分。

Q: 说明对于 Cauchy 分布：

f_{X} (x) = \frac{1}{π} \frac{1}{1 + x^{2}}, - \infty < x < + \infty

$X$ 的数学期望不存在

\int_{- \infty}^{+ \infty} | x | f (x) d x = \frac{2}{π} \int_{0}^{+ \infty} \frac{x}{1 + x^{2}} d x = {\frac{1}{π} \ln (1 + x^{2}) |}_{0}^{+ \infty} = \infty

随机变量函数的数学期望

$X$ $Y=g(X)$ $g(x)$ 是一个确定函数.

$X$ $\displaystyle \sum_{k=1}^{+\infin} g(x_k) p_k$ 绝对收敛，则：
$E (Y) = E [g (X)] = \sum_{k = 1}^{+ \infty} g (x_{k}) p_{k}$
对于连续型，若积分……收敛，则：
$E (Y) = E [g (X)] = \int_{- \infty}^{+ \infty} g (x) f (x) d x$

对于二元函数，也是类似的。

Q: 求二维离散型随机变量的期望。
$\begin{matrix} E (X) = E (g (X, Y)) = \sum_{i} \sum_{j} g (x_{i}, y_{i}) p_{i j} \\ = \sum_{i} g (x_{i}, y_{i}) p_{i \cdot} \end{matrix}$
$E(XY)$ ，也很简单。

求期望：

Q: 求二维连续型随机变量的期望。
$\begin{matrix} f (x, y) = {\begin{cases} \frac{1}{4} x (1 + 3 y^{2}), & 0 < x < 2, 0 < y < 1; \\ 0, & else . \end{cases} \end{matrix}$
$E(X)$ ?
$\begin{aligned} E (X) & = \int_{- \infty}^{+ \infty} \int_{- \infty}^{+ \infty} x f (x, y) d x d y \\ = \int_{- \infty}^{+ \infty} x \int_{- \infty}^{+ \infty} f (x, y) d y d x \\ = \int_{- \infty}^{+ \infty} x f_{X} (x) d x \end{aligned}$
$E(X+Y)=E(X)+E(Y)$ .
$E(XY)$ $X,Y$ $f(x,y)=f_X(x)f_Y(y)$ $E(XY)=E(X)E(Y)$ .
$E(Y/X)$ ? 没有特殊的结论……

$X$ $X \sim U[2000,4000]$ $E(Y)$ 最大。

E (Y) = \int_{2000}^{y} (3 x - (y - x)) \frac{1}{2000} d x + \int_{y}^{4000} 3 y \frac{1}{2000} d x

\frac{d}{d y} E (Y) = \dots = 0

数学期望的性质

$X$ $X$ $E(|X|)<+\infin$ . 因为要求绝对收敛。
$C$ $E(C)=C$ .
$X,Y$ $X \le Y$ $E(X)\le E(Y)$ .
$C$ $E(X)$ $E(CX)=CE(X)$ .
$X,Y$ $E(X+Y)$ $E(X+Y)=E(X)+E(Y)$ .
$E(aX+bY+c)=aE(x)+bE(Y)+c$ .
$\boldsymbol{X,Y}$ 相互独立 $E(X),E(Y)$ $E(XY)=E(X)E(Y)$ . 不是充要条件，不能推出相互独立。

$n$ $p$ ，每个人患病与否相互独立，说明哪一种方法比较经济：

对每一个人都化验。
$k$ 人分一组。

$n$ $t=\lfloor n/k\rfloor$ $i$ 组平均化验次数：

$p$	$1$	$1+k$
$X_i$	$(1-p)^{k}$	$1-(1-p)^k$

E (X_{i}) = (1 - p)^{k} + (1 + k) (1 - (1 - p)^{k}) = 1 + k (1 - (1 - p)^{k})

$X_i$ ）化验结果相互独立，则：

E (X) = \sum_{i} E (X_{i}) = t + t k (1 - (1 - p)^{k}) + 1 + (n - t k) (1 - (1 - p)^{n - t k})

$n$ 的大小。

方差

方差的概念

$X_1 \sim N(8,4),X_2 \sim N(8,9)$ ，我们希望选择收益稳定的。

定义 $X$ $E[(X-E(X))^2]$ $X$ 方差 $D(X)$ 标准差 $\sigma_X=\sqrt{D(X)}$

$|X-E(X)|\to (X-E(X))^2 \to E[\cdots]$ ，变成期望，方便比较。

离散型：

D (X) = \sum_{k = 1}^{\infty} (x_{k} - E (X))^{2} p_{k}

连续型：

D (X) = \int_{- \infty}^{+ \infty} (x - E (x))^{2} f (x) d x

$D(X)=E(X^2)-E(X)^2$ .

Why?
$\begin{aligned} D (X) & = E [(X - E (X))^{2}] \\ = E (X^{2} - 2 X E (X) + E (X)^{2}) \\ = E (X^{2}) - 2 E (X) E (X) + E (X)^{2} \\ = E (X^{2}) - E (X)^{2} \end{aligned}$
$E(X)$ 可以看作常数，利用期望的线性性。

$X \sim P(\lambda)$ $D(X)$ .

$E(X)=\lambda$ $E(X^2)$ 即可。

\begin{aligned} E (X^{2}) & = \sum_{k = 0}^{\infty} k^{2} \frac{λ^{k}}{k!} e^{- λ} \\ = \sum_{k = 0}^{\infty} k \frac{λ^{k}}{k!} e^{- λ} + \sum_{k = 0}^{\infty} k (k - 1) \frac{λ^{k}}{k!} e^{- λ} \\ = λ + λ^{2} \sum_{k = 2}^{\infty} \frac{λ^{k - 2}}{(k - 2)!} e^{- λ} \\ = λ + λ^{2} \end{aligned}

D (X) = E (X^{2}) - E (X)^{2} = λ

$X\sim N(\mu,\sigma^2)$ $D(X)$ .

观察到

f (x) = \frac{1}{\sqrt{2 π} σ} e^{- (x - μ)^{2} / 2 σ^{2}}

D (x) = \int_{- \infty}^{+ \infty} (x - μ)^{2} f (x) d x

$(x-\mu)/\sigma=t$ ，得到：

= \int_{- \infty}^{+ \infty} σ^{2} t^{2} \frac{1}{\sqrt{2 π}} e^{- t^{2} / 2} d t = σ^{2}

$X$ $Y$ $Y=\min\{X,m\}$ .

\begin{array}{r} E (Y) = \int_{0}^{m} x λ e^{- λ x} d x + \int_{m}^{+ \infty} m λ e^{- λ x} d x \end{array}

E (Y^{2}) = \int_{0}^{m} x^{2} λ e^{- λ x} d x + \int_{m}^{+ \infty} m^{2} λ e^{- λ x} d x

利用方差的计算公式……

归根结底还是随机变量函数的期望

方差的性质

$E(X)$ $E(X^2 )$ 存在。
$X,Y$ $X,Y$ $X\pm Y$ $X,Y$ 相互独立，还有：
$\begin{aligned} D (X \pm Y) & = E ((X \pm Y)^{2}) - E (X \pm Y)^{2} \\ = E (X^{2}) \pm 2 E (X) E (Y) + E (Y^{2}) - [E (X)^{2} \pm 2 E (X) E (Y) + E (Y)^{2}] \\ = D (X) \pm D (Y) \end{aligned}$
$X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2)$ $X\pm Y \sim N(\mu_1\pm \mu_2 ,\sigma_1^2+\sigma_2^2)$ .
$C$ $D(C)=0$ .
$D(CX)=C^2 D(X),D(X+C)=D(X)$ .
$X$ $Y$ ，有：
$D (X) \leq E ((X - Y)^{2})$
因为：
$E (X^{2}) - E (X)^{2} \leq E (X^{2}) - 2 E (X) Y + Y^{2}$

$X\sim N(1,3),Y\sim N(2,4)$ $X,Y$ $Z=2X-3Y$ 服从的分布。

Z \sim N (2 - 6, 12 + 36) = N (- 4, 48)

$X \sim B(n,p)$ $D(X)$ $n$ 次 0-1 分布。

$X_i$ $i$ 次事件是否发生，则

E (X_{i}) = p D (X_{i}) = p \cdot (1 - p)^{2} + (1 - p) p^{2} = p (1 - p)

$E(X)=np,D(X)=np(1-p)$ .

$X$ $r$ $p$ $E(X),D(X)$ .

$r$ 个几何分布，这些分布还是独立的。

P (X = k) = C_{k - 1}^{r - 1} p^{r} (1 - p)^{k - r} k = r, r + 1, \dots

$X_1,\cdots,X_r$ $X_i \sim G(p)$ .

其中：

P (X_{i} = k) = (1 - p)^{k - 1} p

E (X_{i}) = \sum_{k = 1}^{+ \infty} k (1 - p)^{k - 1} p = \frac{1}{p}

E (X_{i}^{2}) = \frac{2 - p}{p^{2}}

（利用求导）

D (X_{i}) = \frac{1 - p}{p^{2}}

所以：

E (X) = \sum E (X_{i}) = \frac{r}{p} D (X) = \sum D (x_{i}) = \frac{r (1 - p)}{p^{2}}

分布	表达式	期望	方差
0-1分布	$P(X=k)=p^k(1-p)^{1-k},k=0,1.$	$p$	$p(1-p)$
$B(n,p)$ $n$ 个 0-1	$P(X=k)=C_n^k p^k(1-p)^{n-k}$	$np$	$np(1-p)$
$P(\lambda)$	$P(X=k)=e^{-\lambda} \frac{\lambda ^k}{k!}, k=0,1,2,\cdots$	$\lambda$	$\lambda$
$G(p)$	$P(X=k)=(1-p)^{k-1}p,k=1,2,\cdots$	$1/p$	$(1-p)/p^2$
$r$ 个几何	$P(X=k)=C_{k-1}^{r-1}p^r q^{k-r},k=r,r+1,\cdots$	$r/p$	$r(1-p)/p^2$
$U(a,b)$	$1/(b-a)$ $x\in [a,b]$ ，其余为零	$(a+b)/2$	$(b-a)^2/12$
$E(\lambda)$	$\lambda e^{-\lambda x}$ $x>0$ ，其余为零	$1/\lambda$	$1/\lambda^2$
$N(\mu,\sigma^2)$	$f(x)=\frac{1}{\sqrt{2\pi} \sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}},\quad -\infin < x <+\infin$	$\mu$	$\sigma^2$

标准化随机变量

$X\sim N(\mu,\sigma^2)$ $\displaystyle \frac{x-\mu}{\sigma} \sim N(0,1)$ .

$X$ $E(X)$ $D(X)$ $D(X)>0$ ，则称：

X^{*} = \frac{X - E (X)}{\sqrt{D (X)}}

$X$ 的标准化随机变量。

$E(X^*)=0$ .
$D(X^*)=\frac{D(X-E(X))}{D(X)}=1$ $E(X)$ 为常数。

$Y=aX+b,(a>0)$ $X,Y$ $a<0$ $Y^*=-X^*$ .

已知分布的类型，分布的期望和方差，就可以得到分布的表达式。

协方差

协方差的概念

$E\left(\left(X-E(X)\right)(Y-E(Y))\right)$ $X,Y$ 的协方差。

记为：

cov (X, Y) = E ((X - E (X)) (Y - E (Y)))

协方差的计算公式：

cov (X, Y) = E (X Y) - E (X) E (Y)

定义 $D(X)>0,D(Y)>0$ ，称：

ρ_{X Y} = \frac{cov (X, Y)}{\sqrt{D (X)} \sqrt{D (Y)}}

$X,Y$ 的相关系数。

$\rho_{XY}=0$ $E(XY)=E(X)E(Y)$ 不能推出独立。
$|\rho_{XY}|=1$ $X,Y$ 完全相关：正相关/负相关；
$|\rho_{XY}|<1$ $X,Y$ 部分线性相关。

$\rho_{XY}=\operatorname{cov} (X^*,Y^*)$ $X^*,Y^*$ $X,Y$ 标准化随机变量。是因为：

ρ_{X Y} = E (\frac{(X - E (X)) (Y - E (Y))}{\sqrt{D (X)} \sqrt{D (Y)}}) = E (X^{*} Y^{*}) - 0 = cov (X^{*}, Y^{*})

$Y=aX+b$ （a>0），则：

cov (X^{*} Y^{*}) = E ((X^{*})^{2}) = D (X^{*}) = 1

$a<0$ $\operatorname{cov}(X^*Y^*)=-1$ .

$\operatorname{cov}(aX,bY)=ab\operatorname{cov}(X,Y)$ .
$\operatorname{cov}(X\pm Y,Z)=\operatorname{cov}(X,Z)\pm \operatorname{cov}(Y,Z)$ .
$\operatorname{cov}(X,X)=D(X)$ .
$D(X\pm Y)=D(X)+D(Y)\pm 2\operatorname{cov}(X,Y)$ .

Cauchy-Schwarz 不等式 $|\operatorname{cov}(X,Y)|\le \sqrt{D(X)}\sqrt{D(Y)}$ .

$Y$ $X$ $P(Y^*=\pm X^*)=1$ .

$t_0$ ，使得：

P (Y - E (Y) = t_{0} (X - E (X))) = 1

协方差和相关系数的性质

相关系数的性质

$|\rho_{XY}|\le 1$ .
$|\rho_{XY}|=1$ $P(Y^*=\pm X^*)=1$ ，并且
1. $\rho_{XY}=1$ $P(Y^*=X^*)$ $X,Y$ 完全正相关；
2. $\rho_{XY}=-1$ $P(Y^*=-X^*)$ $X,Y$ 完全负相关。

$\min_{a,b} E[(Y-aX-b)^2]=D(Y)(1-\rho_{XY}^2)$ $|\rho_{XY}|$ 越接近 1，线性均方误差越小。

$\boldsymbol X$ $\boldsymbol Y$ 不相关的等价命题

$X$ $Y$ $D(X)>0$ $D(Y)>0$ ，则下列命题等价：

$X$ $Y$ 不相关；
$\rho_{XY}=0$ $\operatorname{cov}(X,Y)=0$ $E(XY)=E(X)E(Y)$ . 这三者的等价关系可以从表达式得出。
$D(X\pm Y) = D(X)+D(Y)$ .
$D(X+Y)=D(X-Y)$ .

$\boldsymbol X$ $\boldsymbol Y$ 相互独立

P (X Y) = P (X) P (Y)

$X,Y$ $\rho=0$ ，因此是等价的。

随机变量的高阶矩

$D(X)$ $X$ $\operatorname{cov}(X,Y)$ $X$ $Y$ $n$ 个随机变量，怎么度量它们之间的相互关系？

$X,Y$ 都是随机变量. 定义（混合）原点矩/中心矩：

$E(|X|^k)<+\infin (k=1,2,\cdots)$ $E(X^k)$ $X$ $k$ $E\{[X-E(X)]^k\}$ $X$ $k$ 阶中心矩；
$E(|X|^k |Y|^l) < +\infin (k,l=1,2,\cdots)$ $E(X^k Y^l)$ $X,Y$ $k+l$ $E\{[X-E(X)]^k [Y-E(Y)]^l\}$ $X$ $k+l$ 阶混合中心矩。

$E(X)$ $X$ $D(X)$ $X$ $\operatorname{cov}(X,Y)$ $X,Y$ 的二阶混合中心矩。

协方差矩阵 $(X_1,X_2,\cdots,X_n)$ $n$ $X_1,X_2,\cdots,X_n$ $c_{ij}=\operatorname{cov}(X_i,X_j),i,j=1,2,\cdots,n$ ，则称矩阵：

\begin{matrix} C = (\begin{matrix} c_{11} & c_{12} & \dots & c_{1 n} \\ c_{21} & c_{22} & \dots & c_{2 n} \\ ⋮ & ⋮ & ⋮ \\ c_{n 1} & c_{n 2} & \dots & c_{n n} \end{matrix}) \end{matrix}

$n$ $(X_1,X_2,\cdots,X_n)$ $c_{ij}=c_{ji}$ ，因此是 对称矩阵。

$t_1,t_2,\cdots,t_n$ ，有：

\begin{aligned} D (t_{1} X_{1} + t_{2} X_{2} + \dots + t_{n} X_{n}) & = cov (\sum_{i = 1}^{n} t_{i} X_{i}, \sum_{j = 1}^{n} t_{j} X_{j}) \\ = \sum_{i = 1}^{n} t_{i} cov (X_{i}, \sum_{j = 1}^{n} t_{j} X_{j}) \\ = \sum_{i = 1}^{n} \sum_{j = 1}^{n} t_{i} t_{j} cov (X_{i}, X_{j}) \\ = \sum_{i = 1}^{n} \sum_{j = 1}^{n} t_{i} t_{j} c_{i j} \\ = (t_{1}, t_{2}, \dots, t_{n}) C (t_{1}, t_{2}, \dots, t_{n})^{⊤} \end{aligned}

$D(\cdots)\ge 0$ $\boldsymbol C$ 为 半正定矩阵。

$\boldsymbol n$ 维正态分布 $(X_1,X_2,\cdots,X_n)$ $n$ $(X_1,X_2,\cdots,X_n)$ 的联合概率密度满足：

f (x_{1}, x_{2}, \dots, x_{n}) = \frac{1}{(2 π)^{1 / 2} | C |^{1 / 2}} e^{- \frac{1}{2} (x - μ)^{⊤} C^{- 1} (x - μ)}

$(X_1,X_2,\cdots,X_n) \sim N(\boldsymbol \mu ,\boldsymbol C)$ .

$n=1$ 时，……
$n=2$ 时，……

$X_1,X_2,\cdots,X_n$ $\boldsymbol C$ $i\not=j$ $\operatorname{cov}(i,j)=0$ ……

往年试题

19-3

A 利用协方差的性质：

cov (X_{1}, \overset{―}{X}) = cov (X_{1}, \frac{1}{n} X_{1} + \frac{1}{n} \sum_{i = 2}^{n} X_{i}) = \frac{1}{n} D (X_{1}) + \frac{1}{n} \sum_{i = 2}^{n} cov (X_{1}, X_{i})

$i\ge 2$ $X_1,X_i$ $X_1,X_i$ $\operatorname{cov}(X_1,X_i)=0$ .

$\operatorname{cov}(X_1,\overline{X})=\sigma^2/n$ .

再计算 C：

D (X_{1} + \overset{―}{X}) = D (\frac{n + 1}{n} X_{1} + \frac{1}{n} \sum_{i = 2}^{n} X_{i})

$X_1,\cdots,X_n$ 相互独立，则：

= \frac{(n + 1)^{2}}{n^{2}} σ^{2} + \frac{1}{n^{2}} \times (n - 1) σ^{2} = \frac{n^{2} + 3 n}{n^{2}} σ^{2} = \frac{n + 3}{n} σ^{2}

D 同理也是不对的。

总结一下我们都用到了方差和协方差的哪些性质：
$X,Y$ $D(X\pm Y)=D(X)+D(Y)$ .
$D(CX)=C^2 D(X)$ .
$\operatorname{cov}(X\pm Y,Z)=\operatorname{cov}(X,Z)\pm \operatorname{cov}(Y,Z)$ .
$\operatorname{cov}(X,X)=D(X)$ .