随机变量的数字特征 — 知识点总结与详细推导

---

§1 数学期望

一、离散型随机变量的数学期望

定义： 设离散型随机变量 $X$ 的分布律为 $P(X=x_k)=p_k,k=1,2,\dots$，若级数 $\sum _{k=1}^{\infty }{x}_k{p}_k$ 绝对收敛，则称

$$E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k$$

为 $X$ 的数学期望（简称期望，又称均值）。

注意： 要求绝对收敛是为了保证期望值不随求和顺序改变。

---

二、连续型随机变量的数学期望

定义： 设连续型随机变量 $X$ 的概率密度函数为 $f(x)$，若积分 ${\int }_{-\infty }^{+\infty }xf(x)dx$ 绝对收敛，则称

$$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx$$

为 $X$ 的数学期望。

---

三、随机变量函数的数学期望（期望的换元公式）

定理（一维）： 设 $Y=g(X)$，则

• 离散情形：$E(Y)=\sum _{k=1}^{\infty }g(x_k)p_k$
• 连续情形：$E(Y)={\int }_{-\infty }^{+\infty }g(x)f(x)dx$

定理（二维）： 设 $(X,Y)$ 的联合密度为 $f(x,y)$，$Z=g(X,Y)$，则

$$E(Z)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$$

推导思路： 以连续情形为例，由 $Y=g(X)$ 的定义，$Y$ 的密度 $f_Y(y)=\sum _{x:g(x)=y}\frac{f(x)}{|g^{\prime }(x)|}$，代入期望定义后整理可得 $E(Y)=\int g(x)f(x)dx$。这个定理的重大意义在于：不必先求 $Y$ 的分布，直接用 $X$ 的分布计算即可。

---

四、数学期望的性质

设 $a,b$ 为常数，$X,Y$ 为随机变量，期望存在，则：

(1) 常数的期望： $E(c)=c$

证明： $c$ 退化为常数，$P(X=c)=1$，故 $E(c)=c\cdot 1=c$。

(2) 线性性： $E(aX+bY)=aE(X)+bE(Y)$

证明（连续情形）：

$$E(aX+bY)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(ax+by)f(x,y)dxdy$$

$$=a{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xf(x,y)dxdy+b{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }yf(x,y)dxdy$$

$$=a{\int }_{-\infty }^{+\infty }x{f}_X(x)dx+b{\int }_{-\infty }^{+\infty }y{f}_Y(y)dy=aE(X)+bE(Y)$$

注意： 线性性不要求 $X,Y$ 独立。

(3) 若 $X\ge 0$，则 $E(X)\ge 0$。

(4) 若 $X\le Y$（即 $P(X\le Y)=1$），则 $E(X)\le E(Y)$。

(5) $|E(X)|\le E(|X|)$。

(6) 若 $X,Y$ 独立，则 $E(XY)=E(X)\cdot E(Y)$。

证明： 若 $X,Y$ 独立，$f(x,y)=f_X(x)\cdot f_Y(y)$，故

$$E(XY)=\int \int xy{f}_X(x)f_Y(y)dxdy=\left(\int x{f}_X(x)dx\right)\left(\int y{f}_Y(y)dy\right)=E(X)\cdot E(Y)$$

---

五、常见分布的期望

(1) 0-1分布 $B(1,p)$： $E(X)=p$

$$E(X)=1\cdot p+0\cdot (1-p)=p$$

(2) 二项分布 $B(n,p)$： $E(X)=np$

证明方法一（拆解法）： 令 $X=X_1+X_2+\cdots +X_n$，其中 $X_i$ 为第 $i$ 次试验中事件 $A$ 发生的次数（$X_i\sim B(1,p)$）。则

$$E(X)=E(X_1)+\cdots +E(X_n)=np$$

证明方法二（直接计算）：

$$E(X)=\sum _{k=0}^{n}k\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}=np\sum _{k=1}^n(\genfrac{}{}{0ex}{}{n-1}{k-1})p^{k-1}(1-p{)}^{n-k}$$

令 $j=k-1$，则

$$=np\sum _{j=0}^{n-1}\left(\genfrac{}{}{0ex}{}{n-1}{j}\right)p^j(1-p{)}^{n-1-j}=np\cdot [p+(1-p){]}^{n-1}=np$$

(3) Poisson分布 $P(\lambda )$： $E(X)=\lambda$

$$E(X)=\sum _{k=0}^{\infty }k\cdot \frac{{\lambda }^k{e}^{-\lambda }}{k!}=\lambda e^{-\lambda }\sum _{k=1}^{\infty }\frac{{\lambda }^{k-1}}{(k-1)!}=\lambda e^{-\lambda }\cdot e^{\lambda }=\lambda$$

(4) 几何分布 $G(p)$（$P(X=k)=(1-p{)}^{k-1}p,k=1,2,\dots$）： $E(X)=\frac{1}{p}$

推导： 令 $q=1-p$，则

$$E(X)=\sum _{k=1}^{\infty }k{q}^{k-1}p=p\cdot \frac{d}{dq}\left(\sum _{k=0}^{\infty }{q}^k\right)\cdot \frac{1}{?}$$

更准确地：

$$E(X)=p\sum _{k=1}^{\infty }k{q}^{k-1}=p\cdot \frac{d}{dq}\left(\sum _{k=1}^{\infty }{q}^k\right)=p\cdot \frac{d}{dq}\left(\frac{q}{1-q}\right)=p\cdot \frac{1}{(1-q{)}^2}=p\cdot \frac{1}{p^2}=\frac{1}{p}$$

(5) 均匀分布 $U(a,b)$： $E(X)=\frac{a+b}{2}$

$$E(X)={\int }_a^{b}x\cdot \frac{1}{b-a}dx=\frac{1}{b-a}\cdot \frac{x^2}{2}{|}_a^b=\frac{b^2-a^2}{2(b-a)}=\frac{a+b}{2}$$

(6) 指数分布 $Exp(\lambda )$： $E(X)=\frac{1}{\lambda }$

$$E(X)={\int }_0^{+\infty }x\cdot \lambda e^{-\lambda x}dx$$

利用分部积分（$u=x,dv=\lambda e^{-\lambda x}dx$）：

$$={\left[-x{e}^{-\lambda x}\right]}_0^{+\infty }+{\int }_0^{+\infty }{e}^{-\lambda x}dx=0+{\left[-\frac{1}{\lambda }{e}^{-\lambda x}\right]}_0^{+\infty }=\frac{1}{\lambda }$$

(7) 正态分布 $N(\mu ,{\sigma }^2)$： $E(X)=\mu$

证明：

$$E(X)={\int }_{-\infty }^{+\infty }x\cdot \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}dx$$

令 $t=\frac{x-\mu }{\sigma }$，则 $x=\sigma t+\mu ,dx=\sigma dt$：

$$={\int }_{-\infty }^{+\infty }(\sigma t+\mu )\cdot \frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt$$

$$=\sigma \underset{=0\text{（被积函数为奇函数）}}{\underbrace{{\int }_{-\infty }^{+\infty }t\cdot \frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt}}+\mu \underset{=1}{\underbrace{{\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt}}=\mu$$

---

§2 方差

一、方差的定义

定义： 设 $X$ 为随机变量，若 $E[(X-E(X){)}^2]$ 存在，则称

$$D(X)=\mathrm{Var}(X)=E[(X-E(X){)}^2]$$

为 $X$ 的方差。称 $\sigma (X)=\sqrt{D(X)}$ 为标准差（均方差）。

---

二、方差的计算公式

核心公式：

$$\boxed{D(X)=E(X^2)-[E(X){]}^2}$$

推导：

$$D(X)=E[(X-E(X){)}^2]$$

$$=E[X^2-2X\cdot E(X)+(E(X){)}^2]$$

由期望的线性性：

$$=E(X^2)-2E(X)\cdot E(X)+[E(X){]}^2$$

$$=E(X^2)-2[E(X){]}^2+[E(X){]}^2$$

$$=E(X^2)-[E(X){]}^2$$

这个公式在计算中极为重要：先分别求 $E(X)$ 和 $E(X^2)$，再作差。

---

三、方差的性质

(1) $D(c)=0$（常数的方差为零）

(2) $D(aX+b)=a^{2}D(X)$

证明：

$$D(aX+b)=E[(aX+b-E(aX+b){)}^2]=E[(aX+b-aE(X)-b{)}^2]$$

$$=E[a^2(X-E(X){)}^2]=a^{2}E[(X-E(X){)}^2]=a^{2}D(X)$$

(3) 若 $X,Y$ 独立，则 $D(X+Y)=D(X)+D(Y)$

证明： 令 ${\mu }_X=E(X),{\mu }_Y=E(Y)$：

$$D(X+Y)=E[(X+Y-{\mu }_X-{\mu }_Y{)}^2]$$

$$=E[(X-{\mu }_X{)}^2+(Y-{\mu }_Y{)}^2+2(X-{\mu }_X)(Y-{\mu }_Y)]$$

$$=D(X)+D(Y)+2E[(X-{\mu }_X)(Y-{\mu }_Y)]$$

因为 $X,Y$ 独立，所以 $E[(X-{\mu }_X)(Y-{\mu }_Y)]=E(X-{\mu }_X)\cdot E(Y-{\mu }_Y)=0\cdot 0=0$

故 $D(X+Y)=D(X)+D(Y)$。$\square$

推广： 若 $X_1,X_2,\dots ,X_n$ 两两独立，则

$$D\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^{n}D(X_i)$$

(4) $D(X)=0$ 的充要条件是 $P(X=c)=1$（$c$ 为常数），即 $X$ 几乎必然为常数。

---

四、常见分布的方差

(1) 0-1分布 $B(1,p)$： $D(X)=p(1-p)$

$$E(X^2)=1^2\cdot p+0^2\cdot (1-p)=p$$

$$D(X)=p-p^2=p(1-p)$$

(2) 二项分布 $B(n,p)$： $D(X)=np(1-p)$

证明： $X=X_1+X_2+\cdots +X_n$，$X_i$ 独立同分布于 $B(1,p)$，故

$$D(X)=\sum _{i=1}^{n}D(X_i)=n\cdot p(1-p)=np(1-p)$$

(3) Poisson分布 $P(\lambda )$： $D(X)=\lambda$

推导：

$$E(X^2)=\sum _{k=0}^{\infty }{k}^2\cdot \frac{{\lambda }^k{e}^{-\lambda }}{k!}$$

利用恒等式 $k^2=k(k-1)+k$：

$$=\sum _{k=0}^{\infty }k(k-1)\frac{{\lambda }^k{e}^{-\lambda }}{k!}+\sum _{k=0}^{\infty }k\frac{{\lambda }^k{e}^{-\lambda }}{k!}$$

$$={\lambda }^2{e}^{-\lambda }\sum _{k=2}^{\infty }\frac{{\lambda }^{k-2}}{(k-2)!}+\lambda ={\lambda }^2\cdot e^{-\lambda }\cdot e^{\lambda }+\lambda ={\lambda }^2+\lambda$$

$$D(X)=E(X^2)-[E(X){]}^2={\lambda }^2+\lambda -{\lambda }^2=\lambda$$

(4) 几何分布 $G(p)$： $D(X)=\frac{1-p}{p^2}$

推导： 需要求 $E(X^2)$。先利用 $E[X(X-1)]$：

$$E[X(X-1)]=\sum _{k=2}^{\infty }k(k-1)q^{k-1}p=pq\sum _{k=2}^{\infty }k(k-1)q^{k-2}=pq\cdot \frac{d^2}{d{q}^2}\left(\frac{1}{1-q}\right)$$

$$\frac{d}{dq}\frac{1}{1-q}=\frac{1}{(1-q{)}^2},\frac{d^2}{d{q}^2}\frac{1}{1-q}=\frac{2}{(1-q{)}^3}$$

$$E[X(X-1)]=pq\cdot \frac{2}{(1-q{)}^3}=\frac{2pq}{p^3}=\frac{2q}{p^2}$$

$$E(X^2)=E[X(X-1)]+E(X)=\frac{2q}{p^2}+\frac{1}{p}=\frac{2q+p}{p^2}=\frac{q+1}{p^2}$$

$$D(X)=E(X^2)-[E(X){]}^2=\frac{q+1}{p^2}-\frac{1}{p^2}=\frac{q}{p^2}=\frac{1-p}{p^2}$$

(5) 均匀分布 $U(a,b)$： $D(X)=\frac{(b-a{)}^2}{12}$

$$E(X^2)={\int }_a^b{x}^2\cdot \frac{1}{b-a}dx=\frac{1}{b-a}\cdot \frac{b^3-a^3}{3}=\frac{b^2+ab+a^2}{3}$$

$$D(X)=\frac{a^2+ab+b^2}{3}-{\left(\frac{a+b}{2}\right)}^2=\frac{a^2+ab+b^2}{3}-\frac{a^2+2ab+b^2}{4}$$

$$=\frac{4(a^2+ab+b^2)-3(a^2+2ab+b^2)}{12}=\frac{a^2-2ab+b^2}{12}=\frac{(b-a{)}^2}{12}$$

(6) 指数分布 $Exp(\lambda )$： $D(X)=\frac{1}{{\lambda }^2}$

$$E(X^2)={\int }_0^{+\infty }{x}^2\lambda e^{-\lambda x}dx=\frac{2}{{\lambda }^2}\text{（两次分部积分或利用 Gamma 函数）}$$

$$D(X)=\frac{2}{{\lambda }^2}-\frac{1}{{\lambda }^2}=\frac{1}{{\lambda }^2}$$

(7) 正态分布 $N(\mu ,{\sigma }^2)$： $D(X)={\sigma }^2$

证明：

$$D(X)=E[(X-\mu {)}^2]={\int }_{-\infty }^{+\infty }(x-\mu {)}^2\cdot \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}dx$$

令 $t=\frac{x-\mu }{\sigma }$：

$$={\sigma }^2{\int }_{-\infty }^{+\infty }{t}^2\cdot \frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt$$

对 ${\int }_{-\infty }^{+\infty }{t}^2{e}^{-t^2/2}dt$，利用分部积分（$u=t,dv=t{e}^{-t^2/2}dt$）：

$$={\left[-t{e}^{-t^2/2}\right]}_{-\infty }^{+\infty }+{\int }_{-\infty }^{+\infty }{e}^{-t^2/2}dt=0+\sqrt{2\pi }$$

故 $D(X)={\sigma }^2\cdot \frac{\sqrt{2\pi }}{\sqrt{2\pi }}={\sigma }^2$。$\square$

因此，正态分布 $N(\mu ,{\sigma }^2)$ 的两个参数正好分别是均值和方差，参数含义非常明确。

---

五、切比雪夫不等式

定理： 设随机变量 $X$ 的期望 $E(X)=\mu$，方差 $D(X)={\sigma }^2$ 均存在，则对任意 $\epsilon >0$：

$$\boxed{P(|X-\mu |\ge \epsilon )\le \frac{{\sigma }^2}{{\epsilon }^2}}$$

或等价地：$P(|X-\mu |<\epsilon )\ge 1-\frac{{\sigma }^2}{{\epsilon }^2}$

证明（连续情形）：

$$P(|X-\mu |\ge \epsilon )={\int }_{|x-\mu |\ge \epsilon }f(x)dx$$

在积分区域内 $|x-\mu |\ge \epsilon$，故 $(x-\mu {)}^2\ge {\epsilon }^2$，即 $\frac{(x-\mu {)}^2}{{\epsilon }^2}\ge 1$：

$$\le {\int }_{|x-\mu |\ge \epsilon }\frac{(x-\mu {)}^2}{{\epsilon }^2}f(x)dx\le \frac{1}{{\epsilon }^2}{\int }_{-\infty }^{+\infty }(x-\mu {)}^{2}f(x)dx=\frac{{\sigma }^2}{{\epsilon }^2}$$

意义： 不论分布如何，只要期望和方差存在，概率 $P(|X-\mu |\ge \epsilon )$ 就有上界。方差越小，概率越集中在均值附近。

---

§3 协方差与相关系数

一、协方差

定义： 设 $X,Y$ 为两个随机变量，期望均存在，则

$$\mathrm{Cov}(X,Y)=E[(X-E(X))(Y-E(Y))]$$

为 $X,Y$ 的协方差。

计算公式：

$$\boxed{\mathrm{Cov}(X,Y)=E(XY)-E(X)\cdot E(Y)}$$

推导：

$$\mathrm{Cov}(X,Y)=E[(X-{\mu }_X)(Y-{\mu }_Y)]$$

$$=E[XY-{\mu }_{X}Y-X{\mu }_Y+{\mu }_X{\mu }_Y]$$

$$=E(XY)-{\mu }_{X}E(Y)-{\mu }_{Y}E(X)+{\mu }_X{\mu }_Y$$

$$=E(XY)-{\mu }_X{\mu }_Y-{\mu }_X{\mu }_Y+{\mu }_X{\mu }_Y=E(XY)-E(X)E(Y)$$

由此可知： $X,Y$ 独立 $\Rightarrow$ $\mathrm{Cov}(X,Y)=0$。但反之不成立（独立是协方差为零的充分非必要条件）。

---

二、协方差的性质

(1) $\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$（对称性）

(2) $\mathrm{Cov}(aX,bY)=ab\mathrm{Cov}(X,Y)$

(3) $\mathrm{Cov}(X_1+X_2,Y)=\mathrm{Cov}(X_1,Y)+\mathrm{Cov}(X_2,Y)$

(4) $\mathrm{Cov}(X,X)=D(X)$

(5) 方差与协方差的关系（重要公式）：

$$\boxed{D(X\pm Y)=D(X)+D(Y)\pm 2\mathrm{Cov}(X,Y)}$$

证明：

$$D(X+Y)=E[(X+Y-{\mu }_X-{\mu }_Y{)}^2]$$

$$=E[(X-{\mu }_X{)}^2]+E[(Y-{\mu }_Y{)}^2]+2E[(X-{\mu }_X)(Y-{\mu }_Y)]$$

$$=D(X)+D(Y)+2\mathrm{Cov}(X,Y)$$

---

三、相关系数

定义： 设 $D(X)>0,D(Y)>0$，则

$$\boxed{{\rho }_{XY}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{D(X)}\cdot \sqrt{D(Y)}}}$$

为 $X,Y$ 的相关系数（Pearson相关系数）。

本质： 相关系数是"标准化"后的协方差，即令 $X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}}$，$Y^{\ast }=\frac{Y-E(Y)}{\sqrt{D(Y)}}$，则 ${\rho }_{XY}=\mathrm{Cov}(X^{\ast },Y^{\ast })$。

---

四、相关系数的性质

定理： $|{\rho }_{XY}|\le 1$，且 $|{\rho }_{XY}|=1$ 的充要条件是 $X$ 与 $Y$ 之间存在线性关系，即 $P(Y=aX+b)=1$，其中：

• ${\rho }_{XY}=1$ 时，$a>0$（完全正线性相关）
• ${\rho }_{XY}=-1$ 时，$a<0$（完全负线性相关）

证明 $|{\rho }_{XY}|\le 1$：

令 $U=X-E(X),V=Y-E(Y)$，考虑 $t$ 的函数：

$$g(t)=E[(U-tV{)}^2]=E(U^2)-2tE(UV)+t^{2}E(V^2)$$

$$=D(X)-2t\mathrm{Cov}(X,Y)+t^{2}D(Y)\ge 0\forall t$$

这是一个关于 $t$ 的二次函数恒非负，故判别式 $\Delta \le 0$：

$$[2\mathrm{Cov}(X,Y){]}^2-4D(Y)\cdot D(X)\le 0$$

$$[\mathrm{Cov}(X,Y){]}^2\le D(X)\cdot D(Y)$$

$${\rho }_{XY}^2=\frac{[\mathrm{Cov}(X,Y){]}^2}{D(X)\cdot D(Y)}\le 1$$

故 $|{\rho }_{XY}|\le 1$。$\square$

证明 $|{\rho }_{XY}|=1\iff Y=aX+b$：

$|{\rho }_{XY}|=1\iff \Delta =0\iff$ 存在 $t_0$ 使 $E[(U-t_{0}V{)}^2]=0$。

由于 $E[(U-t_{0}V{)}^2]=D(U-t_{0}V)=0$，而方差为零意味着 $U-t_{0}V$ 几乎必然为常数。

设 $U-t_{0}V=c$（常数），即 $(X-{\mu }_X)-t_0(Y-{\mu }_Y)=c$，整理得 $X=t_{0}Y+({\mu }_X-t_0{\mu }_Y+c)$，即 $X$ 与 $Y$ 之间存在线性关系。$\square$

---

五、不相关与独立的关系

• $X,Y$ 独立 $\Rightarrow$ ${\rho }_{XY}=0$（即 $X,Y$ 不相关）
• 但 ${\rho }_{XY}=0$ $\nRightarrow$ $X,Y$ 独立

反例： 设 $X\sim U(-1,1)$，$Y=X^2$。

$$E(X)=0,E(XY)=E(X^3)={\int }_{-1}^1{x}^3\cdot \frac{1}{2}dx=0$$

$$\mathrm{Cov}(X,Y)=E(XY)-E(X)E(Y)=0-0=0$$

故 ${\rho }_{XY}=0$（不相关），但 $Y=X^2$ 显然不独立。

特殊情形： 对于二维正态分布 $(X,Y)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$，不相关等价于独立。