注意：本篇md文件在编译的时候出现了较多未知错误，输出结果缺少了一部分公式…

4.1 数学期望

4.1.1数学期望的基本定义

定义

定义 4.1.1【简单随机变量】

对于简单随机变量 $\xi$，称：
$$
\mathbb{E}(\xi) \triangleq \sum_{x \in \xi(\Omega)} x \mathbb{P}(\xi = x) \tag{4.1}
$$
为 $\xi$ 的数学期望，简称为数学期望。

定义 4.1.2【非负随机变量】

对于任意随机变量 $\xi \geq 0$，称：
$$
\mathbb{E}(\xi) \triangleq \lim_{n \to \infty} \left( \sum_{k=1}^{n2^n} \frac{k-1}{2^n} \mathbb{P}\left(\frac{k-1}{2^n} < \xi \leq \frac{k}{2^n}\right) + n \mathbb{P}(\xi > n) \right) \tag{4.3}
$$
为随机变量 $\xi$ 的数学期望或均值。

定义 4.1.3【任意随机变量】

对于任意随机变量 $\xi$，若 $\mathbb{E}(\xi^+) < \infty$ 或 $\mathbb{E}(\xi^-) < \infty$，则称：
$$
\mathbb{E}(\xi) \triangleq \mathbb{E}(\xi^+) - \mathbb{E}(\xi^-) \tag{4.4}
$$
为 $\xi$ 的数学期望或 $\xi$ 的均值；若 $\mathbb{E}(\xi^+) = \infty$ 且 $\mathbb{E}(\xi^-) = \infty$，则称 $\xi$ 的数学期望不存在。

定理

定理 4.1.1

条件：

$\xi$ 和 $\eta$ 为简单随机变量
$\xi \leq \eta$

则：
$$
\mathbb{E}(\xi) \leq \mathbb{E}(\eta). \tag{4.2}
$$

4.1.2数学期望的性质

准备工作：

记：
$$
f_n(x) = \sum_{k=1}^{n2^n} \frac{k-1}{2^n} \mathbb{1}\left(\frac{k-1}{2^n} < x \leq \frac{k}{2^n}\right) + n\mathbb{1}_{(n, \infty)}(x), \tag{4.5}
$$
其中 $n$ 为正整数。

显然 $f_n$ 为增函数，且 $f_n \leq f_{n+1}$。进一步，可以借助 $f_n$ 将 (3.9) 简化表达为：
$$
\xi_n = f_n(\xi), \tag{4.6}
$$
将 (4.3) 简化表达为：
$$
\mathbb{E}(\xi) = \lim_{n \to \infty} \mathbb{E}(f_n(\xi)), \tag{4.7}
$$
将 (4.4) 简化表达为：
$$
\mathbb{E}(\xi) = \lim_{n \to \infty} \left(\mathbb{E}(f_n(\xi^+)) - \mathbb{E}(f_n(\xi^-))\right). \tag{4.8}
$$

个人思考：便于用简单随机变量逼近随机变量，从而利用简单随机变量的性质推出相对复杂随机变量的性质。

定理 4.1.2【数学期望的性质】

条件：

$a$ 为实数
随机变量 $\xi$ 和 $\eta$ 的数学期望都存在

则如下性质成立：

1° $\mathbb{E}(a) = a$.

2° 若 $\xi \geq 0$，则 $\mathbb{E}(\xi) \geq 0$.

3° 单调性：若 $\xi \leq \eta$，则 $\mathbb{E}(\xi) \leq \mathbb{E}(\eta)$.

定理 4.1.3 【单调收敛定理】

条件：

$\xi_n$ 为非负随机变量
$\xi_n \uparrow \xi$

则：
$$
\lim_{n \to \infty} \mathbb{E}(\xi_n) = \mathbb{E}(\xi).
$$

定理 4.1.3+ 【条件减弱】

条件：
存在数学期望为实数的随机变量 $\eta$，使得：
$$
\eta \leq \xi_n \uparrow \xi. \tag{4.11}
$$
则：
$$
\lim_{n \to \infty} \mathbb{E}(\xi_n) = \mathbb{E}(\xi).
$$

定理 4.1.4 【数学期望的线性性性质】

条件：

$a$ 和 $b$ 为实数
随机变量 $\xi$ 和 $\eta$ 的数学期望都存在
$\mathbb{E}(\xi)$ 和 $\mathbb{E}(\eta)$ 中至少有一个为实数

则：
$$
\mathbb{E}(a\xi + b\eta) = a\mathbb{E}(\xi) + b\mathbb{E}(\eta),
$$
并称之为数学期望的线性性质。

定理 4.1.5【独立性/乘积】

条件：

$\xi, \eta$ 相互独立
它们的均值及 $\xi \eta$ 的均值均为实数

则：
$$
\mathbb{E}(\xi \eta) = \mathbb{E}(\xi) \mathbb{E}(\eta). \tag{4.12}
$$

由单调收敛定理，可以证明著名的法图（Fatou）引理和控制收敛定理。

单调收敛定理、法图引理和控制收敛定理是概率论研究的十分重要的基础知识。

定理 4.1.6 【法图引理】

条件：

设 ${\xi_n}$ 为随机变量列
若 $\eta \leq \xi_n$，且 $\eta$ 的数学期望为实数

则：
$$
\mathbb{E}\left(\liminf_{n \to \infty} \xi_n\right) \leq \liminf_{n \to \infty} \mathbb{E}(\xi_n). \tag{4.13}
$$

定理 4.1.7 【控制收敛定理】

条件：

${\xi_n}$ 为收敛于 $\xi$ 的随机变量序列
若存在随机变量 $\eta$，使得 $\xi_n \leq |\eta|$
且 $\eta$ 的数学期望为实数

则：
$$
\mathbb{E}(\xi) = \lim_{n \to \infty} \mathbb{E}(\xi_n). \tag{4.14}
$$

定理 4.1.8

条件：

假设 $A$ 为离散型随机变量 $\xi$ 的概率支撑集
$f(x)$ 为波莱尔函数
且 $f(\xi)$ 的数学期望存在

则：
$$
\mathbb{E}(f(\xi)) = \sum_{x \in A} f(x) \mathbb{P}(\xi = x). \tag{4.16}
$$

定理 4.1.8+【推广至离散型随机向量情形】

条件：

若 $A$ 为 $n$ 维离散型随机向量 $\xi$ 的概率支撑集
$f$ 为波莱尔函数
$f(\xi)$ 的数学期望存在

则：
$$
\mathbb{E}(f(\xi)) = \sum_{\vec{x} \in A} f(\vec{x}) \mathbb{P}(\xi = \vec{x}). \tag{4.18}
$$

定理 4.1.9

条件：

假设 $p(x)$ 为连续型随机变量 $\xi$ 的密度函数
$f(x)$ 为波莱尔函数
且 $f(\xi)$ 的数学期望存在

则：
$$
\mathbb{E}(f(\xi)) = \int_{-\infty}^\infty f(x)p(x)dx. \tag{4.19}
$$

定理 4.1.9+【推广至连续型随机向量情形】

条件：

已知 $p(x)$ 为 $n$ 维连续型随机向量 $\xi$ 的密度函数
$f$ 为波莱尔函数
$f(\xi)$ 的数学期望存在

则：
$$
\mathbb{E}(f(\xi)) = \int_{\mathbb{R}^n} f(x)p(x)dx_1 \cdots dx_n. \tag{4.23}
$$

这里 $x = (x_1, x_2, \cdots, x_n)$。

定理 4.1.10

条件：

若离散型随机变量 $\xi$ 的数学期望存在，其密度矩阵为：

$$
\begin{pmatrix}
x_1 & x_2 & \cdots & x_n \
p_1 & p_2 & \cdots & p_n
\end{pmatrix},
$$

则：

$$
\mathbb{E}(\xi) = \sum_{k=1}^n x_k p_k. \tag{4.24}
$$

在很多概率论教科书中，对离散型随机变量和连续型随机变量分别定义数学期望。特别对于离散型随机变量 $\xi$，在它满足条件：
$$
\sum_{k=1}^\infty |x_k| p_k < \infty \tag{4.25}
$$
的情况下才用 (4.24) 定义其数学期望，以保证数学期望为实数。本书的数学期望的定义稍广一些，容许其值为无穷。

定理 4.1.11

条件：

若连续型随机变量 $\xi$ 的密度函数为 $p(x)$，且其数学期望存在，则：
$$
\mathbb{E}(\xi) = \int_{-\infty}^\infty x p(x) dx. \tag{4.26}
$$

在很多《概率论》教材中，当：
$$
\int_{-\infty}^\infty |x| p(x) dx < \infty \tag{4.27}
$$
时，将 (4.26) 作为连续型随机变量的数学期望的定义，这保证了数学期望为实数。本教材的数学期望的定义稍广一些，容许其值为无穷。

相关证明

4.1.2证明
显然，$a = a 1_\Omega$ 为简单随机变量，由定义 4.1.1 知性质 1° 成立。
性质 2° 是定义 4.1.2 的直接结果。

下面证明单调性。由 $\xi \leq \eta$ 知 $\xi^+ \leq \eta^+$，$\xi^- \geq \eta^-$，再注意到 (4.5) 中的 $f_n$ 为增函数，有：
$$
f_n(\xi^+) \leq f_n(\eta^+), \quad f_n(\xi^-) \geq f_n(\eta^-),
$$
因此由 (4.8) 得：
$$
\mathbb{E}(\xi) = \lim_{n \to \infty} \mathbb{E}(f_n(\xi^+)) - \lim_{n \to \infty} \mathbb{E}(f_n(\xi^-)) \geq \lim_{n \to \infty} \mathbb{E}(f_n(\eta^+)) - \lim_{n \to \infty} \mathbb{E}(f_n(\eta^-)) = \mathbb{E}(\eta),
$$
即性质 3° 成立。

4.1.3证明
由数学期望的单调性知：只需证明：
$$
\lim_{m \to \infty} \mathbb{E}(\xi_m) \geq \mathbb{E}(\xi). \tag{4.9}
$$

实际上，由 (4.5) 知 $f_n(\xi) \leq \xi$，因此对于任意 $a \in (0, 1)$：
$$
\lim_{m \to \infty} {\xi_m > a f_n(\xi)} = \bigcup_{m=1}^\infty {\xi_m > a f_n(\xi)} = \Omega. \tag{4.10}
$$

再由数学期望的单调性、(4.5) 和数学期望的定义 4.1.1 得：

$$
= na \mathbb{P}(\xi > n, \xi_m > a f_n(\xi)) + \sum_{k=1}^{n2^n} \frac{k-1}{2^n} a \mathbb{P}\left(\frac{k-1}{2^n} < \xi \leq \frac{k}{2^n}, \xi_m > a f_n(\xi)\right).
$$

令 $m \to \infty$，利用 (4.10)、概率的下连续性和定义 4.1.1 得：
$$
\lim_{m \to \infty} \mathbb{E}(\xi_m) \geq na \mathbb{P}(\xi > n) + \sum_{k=1}^{n2^n} \frac{k-1}{2^n} a \mathbb{P}\left(\frac{k-1}{2^n} < \xi \leq \frac{k}{2^n}\right) = a \mathbb{E}(f_n(\xi)).
$$

令 $a \uparrow 1$，再令 $n \to \infty$，由 (4.7) 得 (4.9)，即单调收敛定理成立。

1，由单调性可知不等式的一边，于是尝试用双不等式来证明等式。

2，构造$af_n(\xi)$实现对$f_n(\xi)$的变小，然后考虑 $af_n(\xi)$期望更小，最后利用其对a的“上确界”，还原回
$f_n(\xi)$实现不等式的证明。

3，关于中间不等式的证明需要熟悉定义并借助我们一开始构造的$f_n(\xi)$的性质进行证明。

4.1.4证明
显然，当 $\xi$ 和 $\eta$ 为简单随机变量时，线性性质成立。借助于单调收敛定理可证线性性质对于非负随机变量 $\xi$ 和 $\eta$ 成立。再由定义 4.1.3 知线性性质成立。

4.1.5证明
当 $\xi$ 和 $\eta$ 为简单随机变量时，结论显然成立

当 $\xi$ 和 $\eta$ 为非负随机变量时，存在简单随机变量列 ${\xi_n}$ 和 ${\eta_n}$，使得 $\xi_n \uparrow \xi, \eta_n \uparrow \eta$，则简单随机变量 $\xi_n \eta_n \uparrow \xi \eta$。由单调收敛定理 4.1.3 得：
$$
\mathbb{E}(\xi \eta) = \lim_{n \to \infty} \mathbb{E}(\xi_n \eta_n) = \lim_{n \to \infty} \mathbb{E}(\xi_n) \mathbb{E}(\eta_n) = \mathbb{E}(\xi) \mathbb{E}(\eta).
$$

因此对于一般随机变量有：
$$
\mathbb{E}(\xi \eta) = \mathbb{E}(\xi^+ \eta^+ - \xi^+ \eta^- - \xi^- \eta^+ + \xi^- \eta^-)
$$
$$
= \mathbb{E}(\xi^+ \eta^+) - \mathbb{E}(\xi^+ \eta^-) - \mathbb{E}(\xi^- \eta^+) + \mathbb{E}(\xi^- \eta^-)
$$
$$
= \mathbb{E}(\xi^+) \mathbb{E}(\eta^+) - \mathbb{E}(\xi^+) \mathbb{E}(\eta^-) - \mathbb{E}(\xi^-) \mathbb{E}(\eta^+) + \mathbb{E}(\xi^-) \mathbb{E}(\eta^-)
$$
$$
= (\mathbb{E}(\xi^+) - \mathbb{E}(\xi^-)) (\mathbb{E}(\eta^+) - \mathbb{E}(\eta^-)) = \mathbb{E}(\xi) \mathbb{E}(\eta).
$$

个人思考：从简单随机变量到非负随机变量，再到任意随机变量，层层推进环环相扣！

4.1.6证明
记 $\eta_n = \inf_{k \geq n} \xi_k$，则：
$$
\eta \leq \eta_n \uparrow \lim_{n \to \infty} \inf_{k \geq n}\xi_n, \quad \mathbb{E}(\eta_n) \leq \inf_{k \geq n}\mathbb{E}(\xi_k) ,
$$
令 $n \to \infty$，由单调收敛定理得：
$$
\mathbb{E}\left(\liminf_{n \to \infty} \xi_n\right) = \lim_{n \to \infty} \mathbb{E}(\eta_n) \leq \lim_{n \to \infty} \inf_{k \geq n} \mathbb{E}(\xi_k) = \liminf_{n \to \infty} \mathbb{E}(\xi_n),
$$
即 (4.13) 成立。

个人思考：利用上下界构造了$\eta_n$有单调性，方便利用单调收敛定理，同时有找到了不等式中间的桥梁。

4.1.7证明
由于 $-\eta \leq \xi_n \leq \eta$，应用法图引理得：
$$
\mathbb{E}(\xi) = \mathbb{E}\left(\liminf_{n \to \infty} \xi_n\right) \leq \liminf_{n \to \infty} \mathbb{E}(\xi_n) \leq \limsup_{n \to \infty} \mathbb{E}(\xi_n),
$$
因此只需证明：
$$
\limsup_{n \to \infty} \mathbb{E}(\xi_n) \leq \mathbb{E}(\xi). \tag{4.15}
$$

实际上，再一次应用法图引理得：
$$
\mathbb{E}(\eta - \xi) = \mathbb{E}\left(\lim_{n \to \infty} (\eta - \xi_n)\right) \leq \lim_{n \to \infty} \mathbb{E}(\eta - \xi_n) = \mathbb{E}(\eta) - \limsup_{n \to \infty} \mathbb{E}(\xi_n),
$$
两边减去 $\mathbb{E}(\eta)$ 后乘以 $-1$ 得：
$$
\limsup_{n \to \infty} \mathbb{E}(\xi_n) \leq \mathbb{E}(\xi).
$$

结合 (4.15)，即 (4.14) 成立。

个人思考：1，极限证明转化为上下极限证明。2，证明两次不等式得到等式。3，灵活运用法图引理。

4.1.8证明
不妨假设 $A = {x_k : k \geq 1}$，则仅需证明：
$$
\mathbb{E}(f(\xi)) = \sum_{k=1}^\infty f(x_k) \mathbb{P}(\xi = x_k). \tag{4.17}
$$

记 $f^-(x) = -\min{f(x), 0}$，类似可得：
$$
\mathbb{E}(f^-(\xi)) = \sum_{k=1}^\infty f^-(x_k) \mathbb{P}(\xi = x_k).
$$

因此：
$$
\mathbb{E}(f(\xi)) = \mathbb{E}(f^+(\xi)) - \mathbb{E}(f^-(\xi)),
$$
$$
= \sum_{k=1}^\infty \left(f^+(x_k) - f^-(x_k)\right) \mathbb{P}(\xi = x_k) = \sum_{k=1}^\infty f(x_k) \mathbb{P}(\xi = x_k),
$$
即 (4.17) 成立。

4.1.9证明
不妨设 $f \geq 0$。显然：
$$
\sum_{k=1}^\infty \frac{k-1}{n} 1\left(\frac{k-1}{n} < f(x) \leq \frac{k}{n}\right) \leq f(x) \leq \sum_{k=1}^\infty \frac{k}{n} 1\left(\frac{k-1}{n} < f(x) \leq \frac{k}{n}\right),
$$
因此：
$$
\int_{-\infty}^\infty \sum_{k=1}^\infty \frac{k-1}{n} 1\left(\frac{k-1}{n} < f(x) \leq \frac{k}{n}\right)p(x)dx \leq \int_{-\infty}^\infty f(x)p(x)dx \leq \int_{-\infty}^\infty \sum_{k=1}^\infty \frac{k}{n} 1\left(\frac{k-1}{n} <> f(x) \leq \frac{k}{n}\right)p(x)dx. \tag{4.20}
$$

另外，由分布计算公式 (3.27) 知：
$$
\int_{-\infty}^\infty 1\left(\frac{k-1}{n} \leq f(x) < \frac{k}{n}\right)p(x)dx = \mathbb{P}\left(\xi \in f^{-1}\left(\left[\frac{k-1}{n}, \frac{k}{n}\right)\right)\right),
$$
$$
= \mathbb{P}\left(f(\xi) \in \left[\frac{k-1}{n}, \frac{k}{n}\right)\right) = \mathbb{E}\left(1\left(\frac{k-1}{n} \leq f(\xi) < \frac{k}{n}\right)\right).
$$

再由单调收敛定理 4.1.3 得：
$$
\int_{-\infty}^\infty \left(\sum_{k=1}^\infty \frac{k-1}{n} 1\left(\frac{k-1}{n} \leq f(x) < \frac{k}{n}\right)\right) p(x) dx,
$$
$$
= \sum_{k=1}^\infty \int_{-\infty}^\infty \frac{k-1}{n} 1\left(\frac{k-1}{n} \leq f(x) < \frac{k}{n}\right) p(x) dx,
$$
$$
= \sum_{k=1}^\infty \frac{k-1}{n} \mathbb{E}\left(1\left(\frac{k-1}{n} \leq f(\xi) < \frac{k}{n}\right)\right),
$$
$$
= \mathbb{E}\left(\sum_{k=1}^\infty \frac{k-1}{n} 1\left(\frac{k-1}{n} \leq f(\xi) < \frac{k}{n}\right)\right),
$$
$$
\geq \mathbb{E}\left(f(\xi) - \frac{1}{n}\right),
$$
$$
= \mathbb{E}(f(\xi)) - \frac{1}{n}. \tag{4.21}
$$

类似地：
$$
\int_{-\infty}^\infty \sum_{k=1}^\infty \frac{k}{n} 1\left(\frac{k-1}{n} \leq f(x) < \frac{k}{n}\right)p(x)dx
\leq \mathbb{E}(f(\xi)) + \frac{1}{n}. \tag{4.22}
$$

由 (4.20)、(4.21) 和 (4.22) 知：
$$
\mathbb{E}(f(\xi)) - \frac{1}{n} \leq \int_{-\infty}^\infty f(x)p(x)dx \leq \mathbb{E}(f(\xi)) + \frac{1}{n}.
$$
令 $n \to \infty$，得 (4.19)。

4.1.10证明
在定理 4.1.8 中取 $f(x) = x$ 得结论。

4.1.11证明
由 (4.19) 得结论。