2.概率空间
2.1 基本定义和简单性质
定义2.1.1【概率空间定义】 对$\Omega$上事件域$\mathscr{F}$到实数空间上的映射$\mathbb{P}$满足如下条件：
-
非负性
$\forall A \in \mathscr{F},\mathbb{P}(A) \geq 0;$ -
规范性 $\mathbb{P}(\Omega)=1;$
-
可列可加性 :对于两两不相容的集列${A_n} \subset \mathscr{F} 有$
$$
\mathbb{P}(\bigcup_{n=1}^{\infty}A_n)=\sum_{n=1}^{\infty}\mathbb{P}(A_n),
$$
则称$\mathbb{P}$为$\mathscr{F}$上的概率测度，简称为概率；称$(\Omega,\mathscr{F},\mathbb{P})$为概率空间.
定理 2.1.1【概率空间性质】
设 $(\Omega, \mathcal{F}, \mathbb{P})$ 为概率空间，如下结论成立：
-
空集的概率：
$$
\mathbb{P}(\emptyset) = 0.
$$ -
有限可加性：任意两两不相容的事件 $A_1, A_2, \dots, A_n \in \mathscr{F}$，有
$$
\mathbb{P}\left(\bigcup_{i=1}^n A_i\right) = \sum_{i=1}^n \mathbb{P}(A_i).
$$ -
可减性：对于任意事件 $A \subset B$，有
$$
\mathbb{P}(B - A) = \mathbb{P}(B) - \mathbb{P}(A).
$$ -
单调性：对于任意事件 $A \subset B$，有
$$
\mathbb{P}(A) \leq \mathbb{P}(B).
$$ -
补事件：对于任意事件 $A$，有
$$
\mathbb{P}(\overline{A}) = 1 - \mathbb{P}(A).
$$ -
下连续性：若事件 $A_n \subset A_{n+1}, n \geq 1$，则
$$
\mathbb{P}\left(\bigcup_{n=1}^\infty A_n\right) = \lim_{n \to \infty} \mathbb{P}(A_n).
$$ -
上连续性：若事件 $A_n \supset A_{n+1}, n \geq 1$，则
$$
\mathbb{P}\left(\bigcap_{n=1}^\infty A_n\right) = \lim_{n \to \infty} \mathbb{P}(A_n).
$$ -
次可加性：对于事件 $A_n \in \mathscr{F}, n \geq 1$，有
$$
\mathbb{P}\left(\bigcup_{n=1}^\infty A_n\right) \leq \sum_{n=1}^\infty \mathbb{P}(A_n).
$$ -
加法定理：对于任意事件 $A_1, A_2, \dots, A_n \in \mathscr{F}$，有
$$
\mathbb{P}\left(\bigcup_{i=1}^n A_i\right) = \sum_{k=1}^n (-1)^{k-1} \sum_{1 \leq i_1 < i_2 < \cdots < i_k \leq n} \mathbb{P}(A_{i_1} \cap A_{i_2} \cap \cdots \cap A_{i_k}).
$$
2.2 四种概率空间
有限概率空间
定义
设 $\Omega = {w_1, w_2, \dots, w_n}$，为由有限个元素构成的样本空间，$\mathcal{F}$ 是其所有子集的集合，$\mathbb{P}$ 为定义在 $\mathcal{F}$ 上的概率测度，满足以下条件：
- $\mathbb{P}(A) \geq 0, , \forall A \in \mathcal{F}$；
- $\mathbb{P}(\Omega) = 1$；
- 若 $A_1, A_2, \dots$ 为两两不相容的事件，则
$$
\mathbb{P}\left(\bigcup_{i=1}^\infty A_i\right) = \sum_{i=1}^\infty \mathbb{P}(A_i).
$$
其中，若 $P_i = \mathbb{P}({w_i})$，则有
$$
\sum_{i=1}^n P_i = 1.
$$
$(\Omega, \mathcal{F}, \mathbb{P})$ 为有限概率空间。
古典概率空间
若 $\Omega$ 为有限集合，且 $\Omega$ 中所有样本点 $\omega \in \Omega$ 的概率相等，即
$$
\mathbb{P}({w}) = \frac{1}{n}, \quad w \in \Omega,
$$
称 $(\Omega, \mathcal{F}, \mathbb{P})$ 为古典概率空间。
几何概率空间
设 $\mathcal{C}$ 表示 $\mathbb{R}^n$ 中所有可体积测子集全体，$m(A)$ 表示 $A \in \mathcal{C}$ 的体积。
若满足以下条件：
- $\Omega \in \mathcal{C}，且 0 < m(\Omega) < \infty$；
定义：
- $\mathcal{F} = \mathcal{C} \cap \Omega \triangleq {B \cap \Omega : B \in \mathcal{C}}$；
- 概率函数：
$
P(A) \triangleq \frac{m(A)}{m(\Omega)}, \quad \forall A \in \mathcal{F}.
$
则 $(\Omega, \mathcal{F}, P)$ 为概率空间，称为 $\Omega$ 上的几何概率空间。
条件概率空间
定义
设 $(\Omega, \mathcal{F}, \mathbb{P})$ 为概率空间，$B \in \mathcal{F}$ 且 $\mathbb{P}(B) > 0$，定义事件 $A$ 在 $B$ 条件下的条件概率为
$$
\mathbb{P}(A \mid B) = \frac{\mathbb{P}(A \cap B)}{\mathbb{P}(B)}, \quad A \in \mathcal{F}.
$$
定义：条件概率
在概率空间 $(\Omega, \mathcal{F}, P)$ 中，$B \in \mathcal{F}, P(B) > 0$，定义条件概率为：
$$
P(A|B) = \frac{P(A \cap B)}{P(B)}, \quad \forall A \in \mathcal{F}.
$$
条件概率空间
- 在条件概率的定义下，$$(\Omega’, \mathcal{F’}, P’)$$ 是条件概率空间，其中：
- $\Omega’ = \Omega \cap B$；
- $\mathcal{F}’ = {A \cap B : A \in \mathcal{F}}$；
- $P’(A) = P(A|B)$。
2.3 三个常用概率公式
乘法公式
定理 2.2.1 【乘法公式】
设 $(\Omega, \mathcal{F}, P)$ 为概率空间，$A_i \in \mathcal{F}$，其中 $1 \leq i \leq n$。如果 $P(A_1 A_2 \cdots A_{n-1}) > 0$，则
$$
P(A_1 A_2 \cdots A_n) = P(A_1) \times P(A_2 \mid A_1) \times \cdots \times P(A_n \mid A_1 A_2 \cdots A_{n-1})\tag{2.7}
$$
即式 (2.7) 称为 概率乘法公式，简称为 乘法公式。
全概率公式
通过分割样本空间，全概率公式可以简化概率的计算。以下引入相关定义和概念：
- 事件类 ${B_n}$ 表示所有事件之并，且仅有有限或可数个事件，$\bigcup_{n} B_n$ 为这些事件的联合。
- $\sum_{n} P(B_n)$ 表示这些事件概率的总和。
定义 2.2.2【分割】
设 $(\Omega, \mathcal{F}, P)$ 为概率空间。如果两两不相容的事件列 ${B_n}$ 满足条件 $\bigcup_{n} B_n = \Omega$，那么称 ${B_n}$ 为 $\Omega$ 的一个分割。
定理 2.2.2 【全概率公式】
设 $(\Omega, \mathcal{F}, P)$ 为概率空间，${B_n}$ 为 $\Omega$ 的一个分割，且 $P(B_n) > 0$，则对任意事件 $A \in \mathcal{F}$，有：
$$
P(A) = \sum_{n} P(B_n) P(A \mid B_n), \quad \forall A \in \mathcal{F}\tag{2.9}
$$
并称公式 (2.9) 为 全概率公式。
贝叶斯公式
定理 2.2.3【贝叶斯公式】
设 $(\Omega, \mathcal{F}, P)$ 为概率空间，${B_n}$ 为 $\Omega$ 的一个分割。对于任意 $A \in \mathcal{F}$，如果 $P(A) > 0$，则对于任意 $1 \leq k \leq n$ 有：
$$
P(B_k \mid A) = \frac{P(B_k) P(A \mid B_k)}{\sum_{n=1}^{\infty} P(B_n) P(A \mid B_n)}\tag{2.12}
$$
并称公式 (2.12) 为 贝叶斯公式。
2.4 独立性
定义 2.3.1【两事件相互独立】
设 $(\Omega, \mathcal{F}, P)$ 为概率空间。若
$$P(AB) = P(A)P(B),$$
则称事件 $A$ 和 $B$ 相互独立，简称为独立。
定义 2.3.2【多事件相互独立】
设 $(\Omega, \mathcal{F}, P)$ 为概率空间，$A_1, A_2, \dots, A_n \in \mathcal{F}$。若对于任意正数 $s \leq n$ 有
$$P\left(\bigcap_{k=1}^s A_{i_k}\right) = \prod_{k=1}^s P(A_{i_k}), \quad \forall 1 \leq i_1 < \cdots < i_s \leq n,$$
则称事件 $A_1, A_2, \dots, A_n$ 相互独立，简称为独立。
定义 2.3.3【两两独立】
设 $(\Omega, \mathcal{F}, \mathbb{P})$ 为概率空间，若对于任意正整数 $1 \leq s < t \leq n$，事件 $A_s$ 与 $A_t$ 相互独立，则称事件 $A_1, A_2, \dots, A_n$ 两两独立。
定义 2.3.4【独立事件族&独立事件域】
设 $(\Omega, \mathcal{F}, \mathbb{P})$ 为概率空间，$T$ 为一指标集。对于事件族 ${A_t: t \in T} \subseteq \mathcal{F}$，
若对任意 ${t_1, t_2, \dots, t_n} \subseteq T$，事件 $A_{t_1}, A_{t_2}, \dots, A_{t_n}$ 都相互独立，则称 ${A_t: t \in T}$ 为独立事件族。
进一步，若事件列 ${A_n}$ 为独立事件族，就称 ${A_n}$ 为独立事件列。
定义 2.3.5【乘积样本空间与乘积事件】
-
乘积样本空间：两个实验的样本空间 $\Omega_1$ 和 $\Omega_2$ 的笛卡尔积，定义为：
$$
\Omega_1 \times \Omega_2 \triangleq {(\omega_1, \omega_2) : \omega_1 \in \Omega_1, \omega_2 \in \Omega_2}.
$$ -
乘积事件：分别来自两个实验样本空间中的事件 $A_1 \subset \Omega_1$ 和 $A_2 \subset \Omega_2$，定义其乘积事件为：
$$
A_1 \times A_2 \triangleq {(\omega_1, \omega_2) : \omega_1 \in A_1 \text{ 且 } \omega_2 \in A_2}.
$$ -
乘积事件域：两个事件域 $\mathcal{F}_1$ 和 $\mathcal{F}_2$ 的乘积事件域，定义为：
$$
\mathcal{F}_1 \times \mathcal{F}_2 \triangleq \sigma(\mathcal{C}),
$$
其中 $\mathcal{C} = {A_1 \times A_2 : A_1 \in \mathcal{F}_1, A_2 \in \mathcal{F}_2}$。 -
乘积概率：若对乘积样本空间 $(\Omega_1 \times \Omega_2, \mathcal{F}_1 \times \mathcal{F}_2)$ 定义概率满足：
$$
\mathbb{P}(A \times B) = \mathbb{P}_1(A) \mathbb{P}_2(B), \quad \forall A \in \mathcal{F}_1, B \in \mathcal{F}_2,
$$
则称 $\mathbb{P} = \mathbb{P}_1 \times \mathbb{P}_2$ 为乘积概率。 -
乘积概率空间：定义乘积样本空间、乘积事件域与乘积概率构成的三元组 $(\Omega_1 \times \Omega_2, \mathcal{F}_1 \times \mathcal{F}_2, \mathbb{P}_1 \times \mathbb{P}_2)$ 为乘积概率空间。
定义 2.3.6 【随机实验的乘积空间】
-
乘积样本空间：
给定 $n$ 个随机实验，每个实验的样本空间为 $(\Omega_i, \mathcal{F}_i, \mathbb{P}i)$，定义 $n$ 个实验的乘积样本空间为：
$$
\prod{k=1}^n \Omega_k \triangleq {(x_1, x_2, \cdots, x_n) : x_k \in \Omega_k, \forall k \in {1, 2, \cdots, n}}.
$$ -
乘积事件类：
乘积事件类为：
$$
\sigma\left(\prod_{k=1}^n \mathcal{F}k\right) \triangleq \sigma\left{\prod{k=1}^n A_k : A_k \in \mathcal{F}_k, \forall k \in {1, 2, \cdots, n}\right}.
$$ -
乘积概率：
若乘积事件 $A_1 \times A_2 \times \cdots \times A_n$ 满足：
$$
\mathbb{P}\left(\prod_{k=1}^n A_k\right) = \prod_{k=1}^n \mathbb{P}_k(A_k), \quad A_k \in \mathcal{F}_k,
$$
则称 $\mathbb{P}$ 为 $\mathbb{P}_1, \mathbb{P}_2, \cdots, \mathbb{P}_n$ 的乘积概率。 -
乘积概率空间：
由乘积样本空间、乘积事件类和乘积概率构成的三元组：
$$
\left(\prod_{k=1}^n \Omega_k, \prod_{k=1}^n \mathcal{F}k, \prod{k=1}^n \mathbb{P}_k\right),
$$
称为 $n$ 个随机实验的乘积概率空间。 -
独立重复实验：
若每个随机实验的样本空间为 $(\Omega, \mathcal{F}, \mathbb{P})$ 且彼此相互独立，则构成独立重复实验，其乘积概率空间表示为：
$$
\left(\Omega^n, \mathcal{F}^n, \mathbb{P}^n\right),
$$
其中：
$$
\Omega^n = \prod_{k=1}^n \Omega, \quad \mathcal{F}^n = \prod_{k=1}^n \mathcal{F}, \quad \mathbb{P}^n = \prod_{k=1}^n \mathbb{P}.
$$
定理2.3.1 【补事件的独立性】
如果事件A与B相互独立,则A与$\bar{B}$相互独立,$\bar{A}$与$\bar{B}$相互独
立,$\bar{A}$与B相互独立.
定理 2.3.2【多事件相互独立的充要条件】
事件 $A_1, A_2, \dots, A_n$ 相互独立的充要条件为
$$
P\left(\bigcap_{k=1}^n B_k\right) = \prod_{k=1}^n P(B_k), \quad \forall 1 \leq k \leq n, , B_k \in {A_k, \overline{A_k}}.
$$
定理 2.3.3【独立性与事件域】
若 $A_1, A_2, \dots, A_{m+n}$ 相互独立，
$$
B \in \sigma({A_1, A_2, \dots, A_m}), \quad C \in \sigma({A_{m+1}, A_{m+2}, \dots, A_{m+n}}),
$$
则 $B$ 与 $C$ 相互独立。
定理 2.3.4
若 $A_1, A_2, \dots, A_n$ 相互独立，则乘法公式可以简化为
$$
\mathbb{P}(A_1 A_2 \cdots A_n) = \mathbb{P}(A_1) \mathbb{P}(A_2) \cdots \mathbb{P}(A_n), \tag{2.16}
$$
加法公式可以简化为
$$
\mathbb{P}\left( \bigcup_{i=1}^n A_i \right) = 1 - \prod_{i=1}^n \left( 1 - \mathbb{P}(A_i) \right). \tag{2.17}
$$