概率论背景补充附录
本附录只服务本书阅读：当正文第一次调用某个经典概率工具，但原书不展开证明时，这里给出可回查的证明路线。主线学习笔记仍以高维概率工具为核心；本页用于补足背景，不替代标准概率论教材。
使用方式
| 何时来这里 | 看哪一节 |
|---|---|
| 第 1 章遇到大数定律、中心极限定理、Poisson 极限定理 | 极限定理背景 |
| 第 1/2 章遇到 Stirling 或 Gamma 函数 | Stirling 与 Gamma |
| 第 2 章疑惑为什么 CLT 不能推出指数尾 | CLT 误差与集中界 |
| 第 2 章理解 $\psi_\alpha$、次指数与大偏差 | 校正版大偏差旁注 |
极限定理背景
目标：若 $X_1,X_2,\ldots$ 独立同分布且 $\mathbb E|X_1|<\infty$，证明
$$ \frac1n\sum_{k=1}^n X_k \to \mathbb E X_1 \quad\text{a.s.} $$证明思路
把变量截断成有界部分和尾部部分。有界部分用方差可和与 Borel-Cantelli 控制；尾部部分由 $\mathbb E|X|<\infty$ 保证平均贡献消失。
证明框架
令
$$ Y_k=X_k\mathbf 1_{\{|X_k|\le k\}}, \qquad R_k=X_k-Y_k. $$因为 $\sum_k\mathbb P\{|X_k|>k\}\le \mathbb E|X_1|+1<\infty$，Borel-Cantelli 给出几乎处处只有有限多个 $R_k$ 非零。因此
$$ \frac1n\sum_{k=1}^n R_k\to0 \quad\text{a.s.} $$对中心化截断项 $Y_k-\mathbb EY_k$，可用 Kolmogorov 型方差判别：
$$ \sum_{k=1}^\infty \frac{\operatorname{Var}(Y_k)}{k^2}<\infty. $$于是由 Kronecker 引理得到
$$ \frac1n\sum_{k=1}^n\bigl(Y_k-\mathbb EY_k\bigr)\to0 \quad\text{a.s.} $$最后由 dominated convergence，$\mathbb EY_k\to\mathbb EX_1$，再用 Cesaro 平均得到 $n^{-1}\sum_{k=1}^n\mathbb EY_k\to\mathbb EX_1$。三部分合并即得强大数定律。
目标：若 $X_i$ i.i.d.，$\mathbb EX_i=\mu$，$\operatorname{Var}(X_i)=\sigma^2\in(0,\infty)$，证明
$$ \frac{\sum_{i=1}^n X_i-n\mu}{\sigma\sqrt n} \Rightarrow N(0,1). $$证明思路
标准化后只需证明特征函数收敛到 $e^{-t^2/2}$。均值为 0、方差为 1 让单个特征函数在原点有二阶展开。
完整证明
令 $Y_i=(X_i-\mu)/\sigma$，则 $\mathbb EY_i=0$，$\mathbb EY_i^2=1$。设 $\varphi(t)=\mathbb E e^{itY_1}$。当 $t\to0$ 时，
$$ \varphi(t)=1-\frac{t^2}{2}+o(t^2). $$标准化和 $Z_n=n^{-1/2}\sum_{i=1}^nY_i$ 的特征函数为
$$ \mathbb E e^{itZ_n} = \left[\varphi\left(\frac{t}{\sqrt n}\right)\right]^n = \left[1-\frac{t^2}{2n}+o\left(\frac1n\right)\right]^n \to e^{-t^2/2}. $$$e^{-t^2/2}$ 是标准正态分布的特征函数，由特征函数连续性定理得到结论。
目标：若 $S_n\sim\operatorname{Binom}(n,p)$，$p\in(0,1)$ 固定，则
$$ \frac{S_n-np}{\sqrt{np(1-p)}}\Rightarrow N(0,1). $$这是 Lindeberg-Levy CLT 的 Bernoulli 特例。取 $X_i\sim\operatorname{Ber}(p)$，则 $\mathbb EX_i=p$，$\operatorname{Var}(X_i)=p(1-p)$，且 $S_n=\sum_iX_i$，直接代入上一节即可。
目标：设 $X_{n,i}\sim\operatorname{Ber}(p_{n,i})$ 独立，$S_n=\sum_{i=1}^nX_{n,i}$。若
$$ \max_i p_{n,i}\to0, \qquad \sum_{i=1}^n p_{n,i}\to\lambda, $$则 $S_n\Rightarrow\operatorname{Pois}(\lambda)$。
证明思路
Bernoulli 变量的特征函数是 $1+p(e^{it}-1)$。小概率条件允许对乘积取对数，并把二阶误差整体压掉。
完整证明
$$ \mathbb E e^{itS_n} = \prod_{i=1}^n\left(1+p_{n,i}(e^{it}-1)\right). $$对数展开 $\log(1+u)=u+O(u^2)$，且 $|u|\le C p_{n,i}$，所以
$$ \log\mathbb E e^{itS_n} = (e^{it}-1)\sum_i p_{n,i} +O\left(\sum_i p_{n,i}^2\right). $$由于 $\sum_i p_{n,i}^2\le(\max_i p_{n,i})\sum_i p_{n,i}\to0$，上式收敛到 $\lambda(e^{it}-1)$。因此
$$ \mathbb E e^{itS_n}\to \exp\{\lambda(e^{it}-1)\}, $$这正是 $\operatorname{Pois}(\lambda)$ 的特征函数。
Stirling 与 Gamma
目标：解释为什么
$$ n!\sim \sqrt{2\pi n}\left(\frac ne\right)^n. $$用 Gamma 积分写
$$ n!=\Gamma(n+1)=\int_0^\infty t^n e^{-t}\,dt. $$令 $t=ns$，得到
$$ n! = n^{n+1}\int_0^\infty e^{n(\log s-s)}\,ds. $$函数 $f(s)=\log s-s$ 在 $s=1$ 处取最大值，$f(1)=-1$，$f''(1)=-1$。在 $s=1+u/\sqrt n$ 附近，
$$ n f(s) = -n-\frac{u^2}{2}+o(1). $$主要贡献来自宽度约为 $n^{-1/2}$ 的邻域，因此
$$ \int_0^\infty e^{n(\log s-s)}\,ds \sim e^{-n}\frac1{\sqrt n}\int_{-\infty}^{\infty}e^{-u^2/2}\,du = e^{-n}\sqrt{\frac{2\pi}{n}}. $$代回即得到 Stirling 公式。严格证明需要控制远离 $s=1$ 的积分贡献；本书使用时通常只需要该渐近或粗略上下界。
Gamma 函数定义为
$$ \Gamma(z)=\int_0^\infty t^{z-1}e^{-t}\,dt, \qquad z>0. $$分部积分给出递推关系
$$ \Gamma(z+1)=z\Gamma(z). $$因此对整数 $n\ge0$，$\Gamma(n+1)=n!$。Laplace 方法对一般实数 $z\to\infty$ 同样适用，得到
$$ \Gamma(z+1) \sim \sqrt{2\pi z}\left(\frac ze\right)^z. $$第 2 章用 Gamma 函数计算高斯绝对矩，例如
$$ \mathbb E|g|^p = \frac{2^{p/2}}{\sqrt\pi}\Gamma\left(\frac{p+1}{2}\right), $$再由 Gamma 版 Stirling 得到 $\|g\|_{L^p}\asymp\sqrt p$。
CLT 误差与集中界
以 $S_N\sim\operatorname{Binom}(N,1/2)$ 为例。CLT 提示
$$ \mathbb P\left\{S_N\ge \frac34N\right\} \approx \mathbb P\{g\ge \sqrt N/2\} \lesssim e^{-N/8}. $$但 Berry-Esseen 型误差通常只有 $O(N^{-1/2})$。这个误差远大于 $e^{-cN}$，所以不能从 CLT 严格推出指数尾界。
这个 $N^{-1/2}$ 阶不是技术缺陷。若 $N=2m$，则
$$ \mathbb P\{S_N=N/2\} = 2^{-2m}\binom{2m}{m} \sim \sqrt{\frac{1}{\pi m}} = \sqrt{\frac{2}{\pi N}}. $$而连续正态变量满足 $\mathbb P\{g=0\}=0$。因此二项分布与正态分布在分布函数层面的误差不可能普遍优于 $N^{-1/2}$。第 2 章的 Hoeffding、Chernoff、Bernstein 方法就是绕开 CLT、直接控制指数矩。
校正版大偏差旁注
要点：若尾部形如 $\exp(-c|x|^\alpha)$，$\alpha>1$，则 Laplace 原理给出的凸共轭增长描述的是 $|\lambda|\to\infty$ 时的 log MGF 主项，不是 $\lambda\to0$ 时的主项。
大 $\lambda$ 尺度
设尾部或密度的指数阶由速率函数 $I(x)=c|x|^\alpha$ 控制。形式上，
$$ \log\mathbb E e^{\lambda X} \approx \sup_{x\in\mathbb R}\{\lambda x-I(x)\} = I^*(\lambda). $$当 $\lambda>0$ 时最大点满足
$$ \lambda=c\alpha x^{\alpha-1}, \qquad x_*=\left(\frac{\lambda}{c\alpha}\right)^{1/(\alpha-1)}. $$代回得到
$$ I^*(\lambda) = (\alpha-1)\alpha^{-\alpha/(\alpha-1)} c^{-1/(\alpha-1)} \lambda^{\alpha/(\alpha-1)}. $$因此在 $|\lambda|\to\infty$ 的尺度上，log MGF 的增长幂次是
$$ \frac{\alpha}{\alpha-1}. $$小 $\lambda$ 尺度
如果 $\alpha>1$，尾部足够轻，所有多项式矩有限，且 MGF 在每个有限 $\lambda$ 处有限。若 $\mathbb EX=0$、$\operatorname{Var}(X)<\infty$，则在 $\lambda\to0$ 时
$$ \log\mathbb E e^{\lambda X} = \frac{\lambda^2}{2}\operatorname{Var}(X)+o(\lambda^2). $$这说明讨论 $\lambda\to0$ 时不能用上面的凸共轭幂次替代二阶 Taylor 展开。对 $1<\alpha<2$，幂次 $\alpha/(\alpha-1)>2$ 反映的是大 $\lambda$ 增长，而不是原点附近增长。
与 $\psi_\alpha$ 的关系
Exercise 2.43 只要求推广 tail、moment、Orlicz 三种刻画：
$$ \mathbb P\{|X|>t\}\lesssim e^{-ct^\alpha/K^\alpha}, \qquad \|X\|_{L^p}\lesssim Kp^{1/\alpha}, \qquad \|X\|_{\psi_\alpha}<\infty. $$普通 MGF $\mathbb E e^{\lambda X}$ 对 $\alpha<1$ 可能在任意非零 $\lambda$ 发散；对 $\alpha=1$ 通常只在原点邻域有限；对 $\alpha>1$ 虽然处处有限，但大 $\lambda$ 和小 $\lambda$ 属于不同问题。阅读时应把这些尺度分开。