概率 & 期望

概率#

定义#

古典定义#

在概率论早期实践中，由于涉及到的随机现象都比较简单，具体表现为样本空间 是有限集，且直观上所有样本点是等可能出现的，因此人们便总结出了下述定义：

如果一个随机现象满足：

• 只有有限个基本结果；
• 每个基本结果出现的可能性是一样的；

那么对于每个事件 ，定义它的概率为

其中 表示对随机事件（一个集合）大小的度量。

后来人们发现这一定义可以直接推广到 无限的一部分情景中，于是就有了所谓 几何概型 ↗。

公理化定义#

上述基于直观认识的定义在逻辑上有一个很大的漏洞：在定义「概率」这一概念时用到了「可能性」这一说法，产生了循环定义的问题。同时「等可能」在样本空间无限时会产生歧义，由此产生了包括 Bertrand 悖论 ↗ 在内的一系列问题。

经过不断探索，苏联数学家柯尔莫哥洛夫于 1933 年在他的《概率论基础》一书中第一次给出了概率的公理化定义：

概率函数 是一个从事件域 到闭区间 的映射，且满足：

• 规范性：事件 的概率值为 ，即 。
• 可数可加性：若一列事件 两两不交，则 。

概率函数的性质#

对于任意随机事件 ，有

• 单调性：若 ，则有 。
• 容斥原理：。
• ，这里 表示差集。

期望#

定义#

离散型随机变量#

设离散型随机变量 的概率分布为 ，若和式

绝对收敛，则称其值为 的 期望，记作 。

连续型随机变量#

设连续型随机变量 的密度函数为 。若积分

绝对收敛，则称其值为 的 期望，记作 。

统一定义#

设随机变量 的分布函数为 ，若 Stieltjes 积分 ↗

绝对收敛，则称其值为 的 期望，记作 。

!!! example “期望不存在的例子” 考虑有如下分布的离散型随机变量

$$
P\left\{ X = (-1)^k \frac{2^k}{k} \right\} = \frac{1}{2^k}, \quad k = 1, 2, \cdots
$$

尽管和式 $\sum x_i p_i$ 收敛于 $- \ln 2$，但由于其不是绝对收敛的，故 $X$ 的期望不存在。

再考虑有如下密度函数的连续型随机变量 $Y$

$$
f(y) = \frac{1}{\pi} \cdot \frac{1}{1 + y^2}, \quad y \in (-\infty, +\infty)
$$

容易验证 $Y$ 的期望也不存在。

期望的性质#

线性性#

若随机变量 的期望存在，则

• 对任意实数 ，有 。
• 。

随机变量乘积的期望#

若随机变量 , 的期望存在且 , 相互独立，则有

注意：上述性质中的独立性 并非 必要条件。

??? example “反例” 考察随机变量 和 ，其中 服从 上的均匀分布，。

期望与概率的转化#

对于随机事件 ，考虑其示性函数 ：

根据定义可以求得其期望 。这一转化在实际应用中非常常见。

!!! example 例子 假设对于一个长为 的序列 ，其中 以 的概率取 ，以 的概率取 。考虑如何求 的期望。

如果使用定义直接求，需要求出 $S$ 在每个可能取值处的概率，这个计算过程比较繁琐，这里不展开叙述。

另一方面，用 $I_k$ 表示随机事件 $a_k = k$ 的示性函数，则有

$$
S = \sum_{k=1}^{n} k \cdot I_k
$$

进而不难求出

$$
ES = E \left( \sum_{k=1}^{n} k \cdot I_k \right) = \sum_{k=1}^{n} k \cdot E[I_k] = \sum_{k=1}^{n} k \cdot p_k
$$

条件分布与条件期望#

我们之前研究过条件概率，类似的也可以提出所谓条件期望的概念。

定义#

对于两个随机变量 ,，在已知 的条件下 的概率分布（密度函数）称之为 条件概率分布（条件概率密度），分别记作

在此条件下， 的期望称为 条件期望，记作 。

条件期望的性质#

条件期望的诸多性质可由条件概率推知，在此不做赘述。

值得一提的是 一般是随机变量 的函数，且这个函数通常不是线性的。但实际上有

上式称作 全期望公式。

应用#

例题：[LA 7736]Pocky ↗

题意：有一根长为 的 Pocky，每次随机折成两段。若右边一段的长度不大于 则停止，否则对右边一段重复上述过程。求重复次数的期望。

??? note “题解” 记 表示长度为 的期望次数。 的情形平凡。

当 $x > d$ 时，不妨设折断的位置距右端的长度为 $k$，则显然 $k \sim U[0, x]$，此时期望的重复次数为

$$
g(k) = \begin{cases}
    1, & k \leq d \\
    1 + f(k), & k > d
\end{cases}
$$

由全期望公式可知

$$
f(x) = Eg(k) = 1 + \frac{1}{x} \cdot \int_{d}^{x} f(t) \text{d} t
$$

解上述积分方程并代入初值条件得

$$
f(x) = 1 + \ln \frac{x}{d}
$$