第 1 章学习笔记:分析与概率快速回顾

一句话定位

第 1 章把高维概率需要的基础语言快速搭起来:凸性、范数、随机变量、并集界、条件化、基本概率不等式和极限定理。它不是本书的主菜,但会决定后面读集中不等式、随机矩阵和随机过程时是否顺畅。

本章导读

第 1 章的核心问题是:后续高维概率证明会反复调用哪些分析和概率语言?这一章按“几何语言 -> 随机语言 -> 概率控制 -> 极限直觉”的顺序铺工具。

章节 内容 在主线中的作用
1.1 凸集、凸函数、Jensen 建立凸包、平均和最大值的语言
1.2 范数、内积、对偶 建立高维空间中“大小”和“方向”的度量
1.3 随机变量与随机向量 把几何对象放进概率框架
1.4 并集界 把单个事件控制推广到有限多个事件
1.5 条件化 把复杂随机结构拆成先固定、再分析
1.6 Markov、Chebyshev、Paley-Zygmund 把矩信息转成上尾或下尾概率
1.7 CLT、Poisson、Stirling 提供渐近尺度直觉,但不替代非渐近界

本章读法是:先补足几何和概率的共同语言,再把并集界、条件化和基本概率不等式当成后续所有 concentration proof 的低阶版本。

本页使用方式

第 1 章是工具箱,不需要平均用力。初学者应按自己的短板进入:几何语言不熟先看凸性与范数,概率语言不熟先看尾界、条件化和极限定理。

你的短板 先看哪里 这一章要补到什么程度
看不懂后文的凸包、单位球、对偶范数 1.1、1.2、正文读者自证补全 能解释 $\operatorname{conv}(T)$、$B_p^n$、$B_p^n\subset B_q^n$ 和 $\ell^p$ 对偶公式。
Jensen、Hölder、Minkowski 只是见过名字 关键定理卡片、Exercises 1.3、1.14、1.19 能知道每个不等式在证明里负责哪一步,而不是只背公式。
概率不等式容易混 1.6、关键定理完整证明、Exercise 1.16 能区分 Markov 控上尾、Chebyshev 用方差、Paley-Zygmund 给 lower-tail/小球信息。
条件化和并集界不会主动用 1.4、1.5、Exercises 1.7-1.10 能把“固定对象先估计,再 union bound”识别为后续高维证明的基本动作。
CLT、Poisson、Stirling 背景薄弱 1.7、概率论背景补充附录 只需掌握它们的作用和适用尺度;完整证明可在附录回查。
准备进入第 2 章 学习检查表、易混点 能说明为什么 CLT 不能替代非渐近 concentration bound。

本章主线

第 1 章不是完整的基础课,而是给后续高维概率证明准备一套共同语言。读的时候可以按“对象语言 -> 随机语言 -> 控制工具 -> 尺度直觉”这条线走。

推进层 要解决的问题 关键转折 后续用途
几何语言 高维对象怎样被描述? 用凸集、凸函数、范数、对偶范数组织空间结构 覆盖数、随机矩阵范数、PCA 都会回到这些对象
随机语言 几何对象怎样进入概率框架? 把数、向量、事件和独立性统一成随机变量语言 后续所有 concentration proof 的基本语法
事件控制 单个随机量的大小怎样转成概率界? Markov、Chebyshev、Paley-Zygmund 把矩信息变成尾概率 第 2 章指数尾界是这一层的强化版
结构组织 复杂随机结构怎样拆开? 并集界处理有限多坏事件,条件化分离随机性 net argument、随机图、随机矩阵证明反复使用
尺度直觉 渐近定理该怎样使用? CLT、Poisson、Stirling 给尺度感,但不替代非渐近估计 帮助判断后续指数界是否合理

本章学习路线

先抓住一个问题
哪些基础工具会在高维概率里反复出现?

第 1 章不是要重新上一遍分析和概率课,而是挑出后续最常用的语言:凸性控制最大值,范数描述几何大小,概率不等式把矩信息转成尾概率,条件化和并集界把局部估计变成整体估计。

初学者先抓三条线
  1. 凸性与范数:后续所有几何对象的语言。
  2. 随机变量与尾界:后续 concentration 的入口。
  3. 并集界与条件化:高维证明的基本组织方式。
1

从凸性到范数几何

凸包、Jensen、最大值原则、$\ell^p$ 单位球和对偶范数,会在 covering、Gaussian width、随机矩阵范数里反复出现。

convexity Jensen norm duality
这一层要会问 一个几何对象能不能写成凸包、单位球或对偶极值?
2

从随机变量到概率不等式

期望、方差、$L^p$ 范数、尾积分、Markov、Chebyshev 和 Paley-Zygmund,是把随机量的大小转成概率陈述的基础工具。

$L^p$ tail integral Markov Paley-Zygmund
这一层要会问 已知矩或尾概率时,怎样把它转成我要的概率界?
3

从单点估计到高维对象

并集界把有限多个坏事件合并;条件化把复杂随机结构拆成先固定一部分、再分析剩余随机性。后续 net argument 和随机矩阵证明都会使用这两步。

union bound conditioning random graphs
这一层要会问 我是要对所有点同时成立,还是先固定一个随机对象再分析?
凸包 范数与对偶 $L^p$ 与尾部 基本概率不等式 并集界 / 条件化 高维证明模板

分层阅读路线

层次 先抓什么 推荐入口 暂时怎么处理
第一遍:主线阅读 凸性、范数、随机变量、union bound、条件化和基本概率不等式 本章主线、核心对象与符号表 极限定理先只掌握用途和尺度直觉。
第二遍:证明精读 Jensen、$\ell^p$ 对偶、积分尾公式、Paley-Zygmund、Stirling 关键定理完整证明、正文隐藏验证补全 把“矩 -> 尾概率”和“凸性 -> Jensen”两条链写熟。
第三遍:习题与应用 凸包、随机图、孤立点、$L^p$ 范数、对偶范数 Exercises 1.1-1.19 重点检查基础工具能否独立调用。
专题回看 概率论背景、有限维凸分析、后续 concentration 的基础语言 概率论背景补充附录、统一术语表 只在后续证明卡住时回查。

核心对象与符号表

符号 / 对象 在原书中的角色 学习时要抓住的意思
$\operatorname{conv}(T)$ 集合 $T$ 的凸包。 把点集扩展成所有凸组合;Appetizer 和后续几何章节会反复使用。
凸函数 $f$ 满足 Jensen 型不等式的函数。 凸性让“先平均再作用函数”不超过“先作用函数再平均”。
$B_p^n$ $\ell^p$ 单位球。 不同范数对应不同几何形状;后续 covering 和随机矩阵范数都依赖它。
$p'$ $p$ 的共轭指数。 满足 $1/p+1/p'=1$;用于 Hölder 和对偶范数。
$\|X\|_{L^p}$ 随机变量的 $p$ 阶矩范数。 衡量随机变量大小;第 2 章会用它刻画 subgaussian/subexponential。
$\operatorname{Var}(X)$ 方差。 二阶集中程度;Chebyshev 和 CLT 的基础。
$\operatorname{cov}(X)$ 随机向量的协方差矩阵。 第 3 章各向同性随机向量的核心语言。
$\mathbf 1_E$ 事件 $E$ 的指标函数。 把概率转成期望,是并集界和条件化证明的常用写法。
并集界 $\mathbb P(\bigcup_iE_i)\le\sum_i\mathbb P(E_i)$。 把有限多个坏事件合并;高维中常产生 $\log N$ 或 covering number 项。
条件化 先固定部分随机性再分析。 把复杂随机对象拆成可控子问题。
$G(n,p)$ Erdős-Rényi 随机图。 本章用它练习并集界和二阶矩方法。

1.1 凸集与凸函数

重点是把凸性和 Jensen inequality 当成基础工具。凸函数满足

$$ f(\lambda x+(1-\lambda)y)\le \lambda f(x)+(1-\lambda)f(y), $$

并可推广到有限凸组合。若 $X$ 是随机向量,$f$ 凸,则

$$ f(\mathbb E X)\le \mathbb E f(X). $$

1.2 范数与内积

需要熟悉的对象:

  • $\ell_p$ 范数:$\|x\|_p=(\sum_i |x_i|^p)^{1/p}$。
  • $\ell_\infty$ 范数:$\|x\|_\infty=\max_i |x_i|$。
  • Euclidean norm:$\|x\|_2$。
  • Hölder 与 Cauchy-Schwarz。
  • 对偶范数:$\ell_p$ 的对偶是 $\ell_{p'}$,其中 $1/p+1/p'=1$。

后续在随机矩阵、覆盖数和 Gaussian width 中会反复使用范数比较。

1.3 随机变量与随机向量

本书更关心随机对象的 tail behavior,而不仅是分布函数。要特别记住:

  • $L^p$ 范数 $\|X\|_{L^p}=(\mathbb E|X|^p)^{1/p}$。
  • 随机向量的期望、协方差与范数。
  • 独立性用于把和的矩母函数、方差或尾界拆开。

1.4 并集界

并集界是最常用的“把局部概率界推广到有限集合上的统一界”的工具:

$$ \mathbb P\left(\bigcup_i E_i\right)\le \sum_i \mathbb P(E_i). $$

高维概率中,通常会先对一个固定点建立概率界,再对 net 中所有点用并集界,最后由逼近性质推广到整个集合。

1.5 条件化

条件化的学习重点不是公式复杂度,而是识别何时应该“先固定一个随机对象,再对另一个随机对象求概率”。后续随机矩阵和经验过程证明中,经常会条件在某些随机向量或样本上。

1.6 概率不等式

基础工具:

工具 形式 作用
Markov $\mathbb P\{X\ge t\}\le \mathbb E X/t$ for $X\ge0$ 从期望到尾概率。
Chebyshev $\mathbb P\{|X-\mathbb EX|\ge t\}\le \operatorname{Var}(X)/t^2$ 从二阶矩到尾概率。
Paley-Zygmund 控制非负随机变量不太可能远小于其均值 常用于 lower tail 或小球概率。
integrated tail 用尾概率积分表达矩 在从 tail bound 推 moment bound 时使用。

1.7 极限定理

本节是经典概率的回顾:强大数定律、中心极限定理、Poisson 极限定理、Stirling 公式。第 2 章会强调:CLT 给出渐近正态近似,但误差通常太粗,不能替代非渐近集中不等式。背景证明见 概率论背景补充附录

关键定理卡片

Jensen 凸函数与期望

条件:$f$ 凸,$X$ 是取有限多个值的随机向量。

结论:$f(\mathbb EX)\le\mathbb Ef(X)$。

用途:证明范数期望估计、最大值原则和许多 convexity-based bound。
查看完整证明
Hölder 范数对偶性

条件:$p,p'\in[1,\infty]$ 且 $1/p+1/p'=1$。

结论:$|\langle x,y\rangle|\le\|x\|_p\|y\|_{p'}$,并且 $\|x\|_p=\max_{y\in B_{p'}^n}\langle x,y\rangle$。

用途:把范数写成线性函数族的上确界,是随机矩阵算子范数和 Gaussian width 的入口。
查看完整证明
Lemma 1.4.1 并集界

条件:$E_1,\ldots,E_n$ 是任意事件。

结论:$\mathbb P(\bigcup_iE_i)\le\sum_i\mathbb P(E_i)$。

用途:把单点坏事件推广到有限集合上的 uniform guarantee。
查看完整证明
Proposition 1.6.2 / Corollary 1.6.3 Markov 与 Chebyshev

条件:$X\ge0$ 或 $X$ 有有限方差。

结论:Markov 用 $\mathbb EX$ 控制 $\mathbb P\{X\ge t\}$;Chebyshev 用方差控制偏离均值概率。

用途:这是从矩估计到 tail bound 的最基础桥梁。
查看 Markov 证明 查看 Chebyshev 证明
Theorems 1.7.1 / 1.7.3 / 1.7.6 极限定理

条件:独立随机变量和在不同归一化方式下的极限。

结论:强大数定律给几乎处处收敛;CLT 给正态极限;Poisson 极限定理处理稀有事件和。

用途:它们提供经典渐近直觉。第 2 章会转向非渐近 concentration bound,因为高维概率通常需要固定 $n,N$ 下的显式误差界。

关键定理完整证明

Complete Proof Lemma 1.4.1:并集界
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明任意事件 $E_1,\ldots,E_n$ 满足 $\mathbb P(\bigcup_iE_i)\le\sum_i\mathbb P(E_i)$。

对每个样本点 $\omega$,若 $\omega\in\bigcup_iE_i$,则至少有一个指标 $\mathbf 1_{E_i}(\omega)$ 等于 $1$;若 $\omega$ 不在并集中,左侧指标为 $0$。因此逐点有

$$ \mathbf 1_{\bigcup_{i=1}^nE_i} \le \sum_{i=1}^n\mathbf 1_{E_i}. $$

两边取期望,并使用 $\mathbb E\mathbf 1_E=\mathbb P(E)$,得到

$$ \mathbb P\left(\bigcup_{i=1}^nE_i\right) \le \sum_{i=1}^n\mathbb P(E_i). $$
Complete Proof Example 1.4.2:随机图没有孤立点
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明若 $n\ge2$ 且 $p\ge4\ln n/n$,则每个学生都有朋友的概率至少为 $1-1/n$。

令 $E_i$ 表示学生 $i$ 没有朋友。学生 $i$ 与其他 $n-1$ 名学生都没有边,因此

$$ \mathbb P(E_i)=(1-p)^{n-1}. $$

坏事件是 $B=\bigcup_{i=1}^nE_i$。并集界给出

$$ \mathbb P(B) \le n(1-p)^{n-1} \le ne^{-p(n-1)}. $$

因为 $n\ge2$,有 $(n-1)/n\ge1/2$。由 $p\ge4\ln n/n$,可得 $p(n-1)\ge2\ln n$。所以

$$ \mathbb P(B)\le ne^{-2\ln n}=\frac1n. $$

取补事件即得结论。

Complete Proof Example 1.5.1:完全抵消概率
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明若 $a_1,\ldots,a_n$ 不全为零且 $X_i$ 是独立 Rademacher 随机变量,则 $\mathbb P\{\sum_i a_iX_i=0\}\le1/2$。

证明思路

固定所有非零系数之外的一部分随机性,只留下一个真正随机的符号。一个 Rademacher 符号命中任意指定实数的概率最多是 $1/2$。

完整证明

重新编号后设 $a_n\ne0$,并记

$$ S_{n-1}=\sum_{i=1}^{n-1}a_iX_i, \qquad S_n=S_{n-1}+a_nX_n. $$

条件在 $X_1,\ldots,X_{n-1}$ 上。此时 $S_{n-1}$ 是固定数,而 $X_n$ 与前面变量独立。因此

$$ \mathbb P\{S_n=0\mid X_1,\ldots,X_{n-1}\} = \mathbb P\left\{ X_n=-\frac{S_{n-1}}{a_n} \ \middle|\ X_1,\ldots,X_{n-1} \right\} \le \frac12. $$

最后对条件概率取期望:

$$ \mathbb P\{S_n=0\} = \mathbb E\mathbb P\{S_n=0\mid X_1,\ldots,X_{n-1}\} \le \frac12. $$
Complete Proof Lemma 1.6.1:积分尾公式
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明非负随机变量 $X$ 满足 $\mathbb EX=\int_0^\infty\mathbb P\{X>t\}\,dt$。

对任意非负实数 $x$,有

$$ x=\int_0^\infty\mathbf 1_{\{t<x\}}\,dt. $$

把 $x$ 换成随机变量 $X$,并用 Tonelli 定理交换期望与非负积分:

$$ \mathbb EX = \mathbb E\int_0^\infty\mathbf 1_{\{t<X\}}\,dt = \int_0^\infty\mathbb E\mathbf 1_{\{t<X\}}\,dt = \int_0^\infty\mathbb P\{X>t\}\,dt. $$
Complete Proof Proposition 1.6.2:Markov 不等式
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明若 $X\ge0$ 且 $t>0$,则 $\mathbb P\{X\ge t\}\le\mathbb EX/t$。

在事件 $\{X\ge t\}$ 上有 $X\ge t$,在补事件上有 $X\ge0$。因此

$$ \mathbb EX \ge \mathbb E\left[X\mathbf 1_{\{X\ge t\}}\right] \ge t\,\mathbb E\mathbf 1_{\{X\ge t\}} = t\,\mathbb P\{X\ge t\}. $$

两边除以 $t$ 即得结论。

Complete Proof Corollary 1.6.3:Chebyshev 不等式
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明若 $\mathbb EX=\mu$、$\operatorname{Var}(X)=\sigma^2$,则 $\mathbb P\{|X-\mu|\ge t\}\le\sigma^2/t^2$。

事件 $|X-\mu|\ge t$ 等价于 $(X-\mu)^2\ge t^2$。对非负随机变量 $(X-\mu)^2$ 使用 Markov 不等式:

$$ \mathbb P\{|X-\mu|\ge t\} = \mathbb P\{(X-\mu)^2\ge t^2\} \le \frac{\mathbb E(X-\mu)^2}{t^2} = \frac{\sigma^2}{t^2}. $$
Complete Proof Lemma 1.7.8:阶乘上下界
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明对任意 $n\in\mathbb N$,$\left(n/e\right)^n\le n!\le en\left(n/e\right)^n$。

下界来自指数级数。因为

$$ e^x=\sum_{k=0}^\infty\frac{x^k}{k!}\ge\frac{x^n}{n!}, $$

取 $x=n$ 得 $e^n\ge n^n/n!$,即 $n!\ge(n/e)^n$。

上界来自积分比较。由于 $\log x$ 单调递增,

$$ \sum_{k=1}^n\log k \le \int_1^n\log x\,dx+\log n = n\log n-n+1+\log n. $$

取指数得到

$$ n! \le e\,n\left(\frac ne\right)^n. $$

正文读者自证补全

本区整理原书正文中以“检查”“为什么”“试一下”等方式留给读者的证明。若该检查已经是章末习题,则跳到对应习题证明;若正文没有单独编号,则在这里给出独立证明卡片。

原文位置 要补的证明 跳转
1.2 范数是凸函数,赋范空间单位球是凸集。 跳转
1.2 $\ell^p$ 确实定义范数。 跳转
1.2 $p\le q$ 时 $B_p^n\subset B_q^n$。 跳转
1.2 Hölder 取等与 $\ell^p$ 对偶公式。 跳转
1.6 有限值随机向量 Jensen。 跳转
1.6 $L^p$ 范数单调性。 跳转
1.7 Bernoulli 变量的均值和方差。 跳转
Reader Check 1.2:范数凸性与单位球凸性
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:补正文中“证明范数是凸函数、单位球是凸集”的检查。

证明思路

两个结论都只用范数的三角不等式和正齐次性。

完整证明

设 $\|\cdot\|$ 是向量空间上的范数。对任意 $x,y$ 与 $\theta\in[0,1]$,三角不等式和正齐次性给出

$$ \|\theta x+(1-\theta)y\| \le \|\theta x\|+\|(1-\theta)y\| = \theta\|x\|+(1-\theta)\|y\|. $$

这正是函数 $x\mapsto\|x\|$ 的凸性。

令单位球为 $B=\{x:\|x\|\le1\}$。若 $x,y\in B$,则

$$ \|\theta x+(1-\theta)y\| \le \theta\|x\|+(1-\theta)\|y\| \le \theta+(1-\theta)=1. $$

所以 $\theta x+(1-\theta)y\in B$,单位球是凸集。

Reader Check 1.2:$\ell^p$ 范数公理
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:说明 $\|x\|_p$ 对 $p\in[1,\infty]$ 满足范数三条公理。

证明思路

非负性和正齐次性直接来自定义;三角不等式正是 Minkowski 不等式,$p=\infty$ 情形可直接由最大值验证。

完整证明

若 $1\le p<\infty$,则 $\|x\|_p=(\sum_i|x_i|^p)^{1/p}\ge0$,且 $\|x\|_p=0$ 当且仅当每个 $x_i=0$。对任意标量 $a$,

$$ \|ax\|_p = \left(\sum_i|a|^p|x_i|^p\right)^{1/p} = |a|\|x\|_p. $$

还需证明三角不等式。$p=1$ 时直接由 $|x_i+y_i|\le |x_i|+|y_i|$ 求和得到。下面设 $1<p<\infty$,令 $p'=p/(p-1)$。若 $x+y=0$,则 $\|x+y\|_p=0$,三角不等式成立;否则由 Hölder 不等式,

$$ \begin{aligned} \|x+y\|_p^p &= \sum_i |x_i+y_i|^p\\ &\le \sum_i |x_i|\,|x_i+y_i|^{p-1} + \sum_i |y_i|\,|x_i+y_i|^{p-1}\\ &\le \left(\|x\|_p+\|y\|_p\right) \left(\sum_i |x_i+y_i|^{(p-1)p'}\right)^{1/p'}\\ &= \left(\|x\|_p+\|y\|_p\right)\|x+y\|_p^{p-1}. \end{aligned} $$

两边除以 $\|x+y\|_p^{p-1}$,得到 $\|x+y\|_p\le\|x\|_p+\|y\|_p$。因此 $\ell^p$ 是范数。

当 $p=\infty$ 时,$\|x\|_\infty=\max_i|x_i|$。非负性来自绝对值非负,正齐次性来自 $\max_i|a x_i|=|a|\max_i|x_i|$。并且

$$ \|x+y\|_\infty = \max_i|x_i+y_i| \le \max_i(|x_i|+|y_i|) \le \|x\|_\infty+\|y\|_\infty. $$

所以 $\ell^\infty$ 也满足范数公理。

Reader Check 1.2:$\ell^p$ 单位球随 $p$ 增大而变大
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明若 $p\le q$,则 $B_p^n\subset B_q^n$。

证明思路

先取 $x\in B_p^n$。此时每个坐标绝对值都不超过 $1$,所以提高幂次会让每一项不变或变小。

完整证明

设 $x\in B_p^n$,即 $\sum_i|x_i|^p\le1$。于是每个 $|x_i|\le1$。若 $q<\infty$ 且 $q\ge p$,则 $|x_i|^q\le |x_i|^p$,所以

$$ \|x\|_q^q = \sum_i|x_i|^q \le \sum_i|x_i|^p \le1. $$

因此 $\|x\|_q\le1$,即 $x\in B_q^n$。若 $q=\infty$,则 $\|x\|_\infty=\max_i|x_i|\le1$,同样成立。

Reader Check 1.7:Bernoulli 变量的均值与方差
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明若 $X\sim\operatorname{Ber}(p)$,则 $\mathbb EX=p$ 且 $\operatorname{Var}(X)=p(1-p)$。

证明思路

Bernoulli 变量只取 $0$ 和 $1$,所以 $X^2=X$。

完整证明

$$ \mathbb EX = 1\cdot p+0\cdot(1-p) = p. $$

又因为 $X^2=X$,所以 $\mathbb EX^2=p$。由方差公式,

$$ \operatorname{Var}(X) = \mathbb EX^2-(\mathbb EX)^2 = p-p^2 = p(1-p). $$

易混点

Common Pitfall $\ell^p$ 和 $L^p$ 不是同一个对象

$\ell^p$ 范数作用在有限维向量 $x\in\mathbb R^n$ 上;$L^p$ 范数作用在随机变量上。它们形式相似,但一个是坐标求和,一个是对概率空间取期望。

Common Pitfall 并集界一般不是等式

只有事件互斥时,$\mathbb P(\bigcup_iE_i)=\sum_i\mathbb P(E_i)$。高维概率中我们通常只需要上界,因为目标是控制坏事件发生概率。

Common Pitfall 极限定理不能替代非渐近界

CLT 描述 $N\to\infty$ 后的极限分布,但高维概率常需要固定 $n,N$ 下的显式概率界。第 2 章的 concentration inequalities 正是为这个需求服务。

Exercises 1.1-1.19 完整证明

题号 训练目标 跳转
1.1 凸包定义与凸组合合并 跳转
1.2 凸函数在最大值操作下的稳定性 跳转
1.3 有限 Jensen 与随机向量 Jensen 跳转
1.4 凸函数最大值原则 跳转
1.5 立方体的顶点凸组合 跳转
1.6 $\ell^1$ 单位球的顶点表示 跳转
1.7 Poisson thinning 与 Markov 跳转
1.8 随机图独立集的并集界 跳转
1.9 稠密随机图无孤立点 跳转
1.10 二阶矩方法 跳转
1.11 $L^p$ 单调性与重尾反例 跳转
1.12 $L^1$-$L^\infty$ 插值 跳转
1.13 最大值期望的上下界与紧性 跳转
1.14 向量化 Jensen 与 $L^p$ 单调性 跳转
1.15 积分尾公式的推广 跳转
1.16 Paley-Zygmund 不等式 跳转
1.17 $\ell^p$ 范数比较 跳转
1.18 $\ell^\infty$ 作为 $\ell^p$ 极限 跳转
1.19 Hölder 取等与对偶范数 跳转
Exercise 1.1 凸包是凸集
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明 $\operatorname{conv}(T)$ 对任意两点的凸组合封闭,因此是凸集。

证明思路:取 $x=\sum_i\lambda_i x_i$ 和 $y=\sum_j\mu_j y_j$,其中 $x_i,y_j\in T$。对 $\theta\in[0,1]$,把 $\theta x+(1-\theta)y$ 写成同一批点的凸组合;新的权重是 $\theta\lambda_i$ 和 $(1-\theta)\mu_j$。

完整证明:任取 $x,y\in\operatorname{conv}(T)$。存在有限个点 $x_i,y_j\in T$ 和非负权重 $\lambda_i,\mu_j$,使得

$$ x=\sum_{i=1}^m\lambda_i x_i,\qquad y=\sum_{j=1}^\ell\mu_j y_j,\qquad \sum_i\lambda_i=\sum_j\mu_j=1. $$

对任意 $\theta\in[0,1]$,

$$ \theta x+(1-\theta)y = \sum_{i=1}^m\theta\lambda_i x_i + \sum_{j=1}^\ell(1-\theta)\mu_j y_j. $$

这些新权重非负,总和为 $\theta+(1-\theta)=1$,所以 $\theta x+(1-\theta)y$ 仍是 $T$ 中点的凸组合,属于 $\operatorname{conv}(T)$。

Exercise 1.2 凸函数的逐点最大值
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明有限多个凸函数的逐点最大值仍然是凸函数。

证明思路:设 $g(x)=\max_{r\le m} f_r(x)$。对每个 $r$ 用凸性估计 $f_r(\theta x+(1-\theta)y)$,再注意

$$ \max_r\{\theta f_r(x)+(1-\theta)f_r(y)\} \le \theta g(x)+(1-\theta)g(y). $$

完整证明:对任意 $x,y$ 和 $\theta\in[0,1]$,每个 $f_r$ 的凸性给出

$$ f_r(\theta x+(1-\theta)y) \le \theta f_r(x)+(1-\theta)f_r(y) \le \theta g(x)+(1-\theta)g(y). $$

对 $r=1,\ldots,m$ 取最大值,得到

$$ g(\theta x+(1-\theta)y) \le \theta g(x)+(1-\theta)g(y). $$

所以 $g$ 是凸函数。

Exercise 1.3 Jensen 不等式
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明有限 Jensen 不等式,并推出有限值随机向量的 Jensen 形式。

证明思路:(a) 用归纳法把两个点的凸性推广到 $m$ 个点。把前 $m-1$ 个点先合并成一个点,再和第 $m$ 个点做二点凸组合。

完整证明:若有限凸组合不等式成立,取 $m=2$ 就回到凸函数定义,所以只需证明凸性推出有限形式。对 $m$ 归纳。$m=2$ 正是定义。假设结论对 $m-1$ 个点成立。令 $s=\sum_{i=1}^{m-1}\lambda_i$。若 $s=0$,则 $\lambda_m=1$,不等式化为等号。若 $s>0$,设

$$ z=\sum_{i=1}^{m-1}\frac{\lambda_i}{s}x_i. $$

由归纳假设,$f(z)\le\sum_{i=1}^{m-1}(\lambda_i/s)f(x_i)$。再用二点凸性,

$$ f\left(\sum_{i=1}^m\lambda_i x_i\right) = f(sz+\lambda_mx_m) \le s f(z)+\lambda_m f(x_m) \le \sum_{i=1}^m\lambda_i f(x_i). $$

若 $X$ 取有限多个值 $x_i$,且 $\mathbb P\{X=x_i\}=\lambda_i$,则 $\mathbb EX=\sum_i\lambda_i x_i$ 且 $\mathbb Ef(X)=\sum_i\lambda_i f(x_i)$。把上面的有限 Jensen 代入,得到 $f(\mathbb EX)\le\mathbb Ef(X)$。

Exercise 1.4 最大值原则
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明凸函数在 $\operatorname{conv}(T)$ 上的上确界等于它在 $T$ 上的上确界。

证明思路:一边不等式由 $T\subset\operatorname{conv}(T)$ 立刻得到。另一边,对 $x=\sum_i\lambda_i x_i$ 用 Jensen:

$$ f(x)\le \sum_i\lambda_i f(x_i)\le \sup_{u\in T}f(u). $$

完整证明:因为 $T\subset\operatorname{conv}(T)$,所以

$$ \sup_{x\in T}f(x) \le \sup_{x\in\operatorname{conv}(T)}f(x). $$

反过来,任取 $x\in\operatorname{conv}(T)$。存在 $x_i\in T$ 与凸组合系数 $\lambda_i$,使 $x=\sum_i\lambda_i x_i$。由 Jensen 的有限形式,

$$ f(x) \le \sum_i\lambda_i f(x_i) \le \sup_{u\in T}f(u). $$

对所有 $x\in\operatorname{conv}(T)$ 取上确界,得到反向不等式。

Exercise 1.5 立方体是顶点凸包
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明立方体 $[-1,1]^n$ 正好是所有符号顶点 $\{-1,1\}^n$ 的凸包。

证明思路:对 $x\in[-1,1]^n$,令独立随机符号 $\xi_i\in\{-1,1\}$ 满足 $\mathbb E\xi_i=x_i$。则随机向量 $\xi=(\xi_1,\ldots,\xi_n)$ 只取立方体顶点,且 $\mathbb E\xi=x$。

完整证明:先看一个方向:所有顶点都在 $[-1,1]^n$ 中,而立方体是凸集,所以它包含这些顶点的凸包。反过来,任取 $x\in[-1,1]^n$。对每个顶点 $\varepsilon\in\{-1,1\}^n$,定义权重

$$ w_\varepsilon = \prod_{i=1}^n\frac{1+\varepsilon_i x_i}{2}. $$

则 $w_\varepsilon\ge0$,且

$$ \sum_{\varepsilon\in\{-1,1\}^n}w_\varepsilon = \prod_{i=1}^n\left(\frac{1+x_i}{2}+\frac{1-x_i}{2}\right) = 1. $$

第 $j$ 个坐标的加权平均为

$$ \sum_\varepsilon w_\varepsilon\varepsilon_j = \left[ \frac{1+x_j}{2} - \frac{1-x_j}{2} \right] \prod_{i\ne j} \left[ \frac{1+x_i}{2} + \frac{1-x_i}{2} \right] = \frac{1+x_j}{2}-\frac{1-x_j}{2} = x_j. $$

所以 $x=\sum_\varepsilon w_\varepsilon\varepsilon$,即 $x$ 是立方体顶点的凸组合。

Exercise 1.6 Cross-polytope 是顶点凸包
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明 $\ell^1$ 单位球 $B_1^n$ 正好是 $\{\pm e_i\}_{i=1}^n$ 的凸包。

证明思路:若 $x\in B_1^n$,把正坐标和负坐标分别放到 $e_i$ 与 $-e_i$ 上;剩余权重 $1-\|x\|_1$ 分配给一对相反顶点,使其互相抵消。

完整证明:每个顶点 $\pm e_i$ 都有 $\ell^1$ 范数 $1$,而 $B_1^n$ 是凸集,所以顶点凸包包含在 $B_1^n$ 中。反过来,任取 $x\in B_1^n$。令 $x_i^+=\max(x_i,0)$,$x_i^-=\max(-x_i,0)$。则 $x_i=x_i^+-x_i^-$,且 $\sum_i(x_i^++x_i^-)=\|x\|_1\le1$。设 $\delta=1-\|x\|_1$,则

$$ x = \sum_{i=1}^n x_i^+ e_i + \sum_{i=1}^n x_i^-(-e_i) + \frac\delta2 e_1 + \frac\delta2(-e_1). $$

右侧权重非负,且总和为 $\|x\|_1+\delta=1$,所以 $x$ 是 $\{\pm e_i\}$ 的凸组合。

Exercise 1.7 顶点数随机的随机图
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:在 Poisson 顶点数模型中,用孤立点期望和 Markov 不等式证明无孤立点的高概率下界。

证明思路:条件在 $N=n$ 上,某个固定学生没有朋友的概率是 $(1-p)^{n-1}$。再对学生数取期望,用 Markov 不等式控制孤立学生数。

完整证明:令 $S$ 表示没有朋友的学生人数。条件在 $N=n$ 上,孤立学生数的条件期望为

$$ \mathbb E[S\mid N=n] = n(1-p)^{n-1}. $$

因此

$$ \mathbb ES = \mathbb E\left[N(1-p)^{N-1}\right]. $$

若 $N\sim\operatorname{Pois}(\lambda)$,则对 $a\in[0,1]$,

$$ \mathbb E[Na^{N-1}] = \sum_{n=1}^\infty n a^{n-1}e^{-\lambda}\frac{\lambda^n}{n!} = \lambda e^{-\lambda}\sum_{m=0}^\infty\frac{(\lambda a)^m}{m!} = \lambda e^{\lambda(a-1)}. $$

取 $a=1-p$,得到

$$ \mathbb ES = \lambda e^{-\lambda p} \le \lambda e^{-2\ln\lambda} = \frac1\lambda. $$

由 Markov 不等式,$\mathbb P\{S\ge1\}\le\mathbb ES\le1/\lambda$,所以 $\mathbb P\{S=0\}\ge1-1/\lambda$。当 $\lambda\le1$ 时右侧不为正,结论平凡;上面的估计主要用于 $\lambda>1$。

Exercise 1.8 随机图中的独立集
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:用并集界证明 $G(n,1/2)$ 中大独立集以高概率不存在。

证明思路:对固定大小为 $k$ 的点集,它成为独立集的概率是

$$ 2^{-\binom{k}{2}}. $$

再对所有候选点集用并集界,并用 $\binom nk\le(en/k)^k$ 控制组合数。

完整证明:设 $m=\lfloor2\log_2 n\rfloor+1$。若存在大小超过 $2\log_2 n$ 的独立集,则存在大小为 $m$ 的独立集。固定一个 $m$ 元点集,它成为独立集意味着其中 $\binom m2$ 条边都不存在,因此概率为 $2^{-\binom m2}$。并集界给出

$$ \mathbb P\{\exists\text{ independent set of size }m\} \le \binom nm2^{-\binom m2} \le \left(\frac{en}{m}\,2^{-(m-1)/2}\right)^m. $$

下面把最后一步写清楚。由 $m=\lfloor2\log_2 n\rfloor+1$,有 $m>2\log_2 n$,所以 $n<2^{m/2}$。因此

$$ \binom nm2^{-\binom m2} \le \left(\frac{e\,2^{m/2}}{m}\right)^m 2^{-m(m-1)/2} = \left(\frac em\right)^m2^{m/2}. $$

又因为 $n\ge7$ 时 $m\ge6$,故 $2e/m<1$,从而

$$ \left(\frac em\right)^m2^{m/2} = \left(\frac{2e}{m}\right)^m2^{-m/2} \le 2^{-m/2} < \frac1n. $$

所以

$$ \binom nm2^{-\binom m2}\le \frac1n. $$

因此以至少 $1-1/n$ 的概率,不存在大小超过 $2\log_2 n$ 的独立集。

Exercise 1.9 稠密随机图没有孤立点
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明当边概率高于 $\log n/n$ 阈值时,随机图以高概率没有孤立点。

证明思路:固定一个顶点,它孤立的概率是 $(1-p_n)^{n-1}\le e^{-p_n(n-1)}$。用并集界:

$$ \mathbb{P}\{\exists\text{ isolated vertex}\} \le n e^{-p_n(n-1)}. $$

把 $p_n>(1+\varepsilon)\ln n/n$ 代入,右侧趋于 $0$。

完整证明:令 $E_i$ 为顶点 $i$ 孤立。则

$$ \mathbb P(E_i)=(1-p_n)^{n-1}\le e^{-p_n(n-1)}. $$

并集界给出

$$ \mathbb P\{\exists\text{ isolated vertex}\} \le n e^{-p_n(n-1)}. $$

由假设,$p_n(n-1)>(1+\varepsilon)\ln n(1-1/n)$。因此

$$ n e^{-p_n(n-1)} \le \exp\left[ \ln n-(1+\varepsilon)\ln n\left(1-\frac1n\right) \right] = n^{-\varepsilon+o(1)} \to0. $$

所以不存在孤立顶点的概率趋于 $1$。

Exercise 1.10 稀疏随机图存在孤立点
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明当边概率低于 $\log n/n$ 阈值时,随机图以高概率存在孤立点。

证明思路:令 $S_n=\sum_iX_i$ 为孤立点数。先算

$$ \mu_n=\mathbb{E}S_n=n(1-p_n)^{n-1}\to\infty. $$

再展开二阶矩:$X_iX_j=1$ 表示两个顶点都孤立,其概率是 $(1-p_n)^{2n-3}$。证明 $\operatorname{Var}(S_n)/\mu_n^2\to0$,最后用 Chebyshev 控制 $\mathbb P\{S_n=0\}$。

完整证明:令 $X_i=\mathbf 1_{\{i\text{ isolated}\}}$,$S_n=\sum_{i=1}^nX_i$。则

$$ \mu_n=\mathbb ES_n = n(1-p_n)^{n-1}. $$

因为 $p_n=O(\ln n/n)$,有 $p_n\to0$。于是

$$ \log\mu_n = \log n+(n-1)\log(1-p_n) \ge \log n-(1+o(1))np_n > (\varepsilon+o(1))\log n, $$

所以 $\mu_n\to\infty$。对 $i\ne j$,两个顶点都孤立要求它们之间的边不存在,并且它们与其余 $n-2$ 个顶点的所有相关边都不存在;共有 $2n-3$ 条边。因此

$$ \mathbb E X_iX_j=(1-p_n)^{2n-3}. $$

所以

$$ \mathbb ES_n^2 = \mathbb ES_n+n(n-1)(1-p_n)^{2n-3}. $$

记 $a=(1-p_n)^{n-1}$,则 $\mu_n=na$,并且

$$ \frac{\operatorname{Var}(S_n)}{\mu_n^2} = \frac1{\mu_n} + \frac{n-1}{n}\frac1{1-p_n} - 1 \to0. $$

最后由 Chebyshev 不等式,

$$ \mathbb P\{S_n=0\} \le \mathbb P\{|S_n-\mu_n|\ge\mu_n\} \le \frac{\operatorname{Var}(S_n)}{\mu_n^2} \to0. $$

所以 $\mathbb P\{S_n\ge1\}\to1$。

Exercise 1.11 $L^p$ 范数单调性
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明概率空间上 $L^p$ 范数随 $p$ 单调增加,并给出反向不成立的重尾例子。

证明思路:在概率空间上对函数 $u\mapsto u^{q/p}$ 用 Jensen,或用 Hölder 得到 $\mathbb E|X|^p\le(\mathbb E|X|^q)^{p/q}$。反例取重尾变量。

完整证明:设 $0<p<q<\infty$。令 $r=q/p>1$。由 Jensen 或 Lyapunov 不等式,

$$ \mathbb E|X|^p = \mathbb E\left(|X|^q\right)^{p/q} \le \left(\mathbb E|X|^q\right)^{p/q}. $$

两边取 $1/p$ 次方,得到 $\|X\|_{L^p}\le\|X\|_{L^q}$。当 $q=\infty$ 时,由 $|X|\le\|X\|_{L^\infty}$ 几乎处处成立,取 $p$ 阶矩后得到同一结论。

反向一般不成立。给定 $0<p<q<\infty$,取正整数值随机变量 $X$,使

$$ \mathbb P\{X=m\}=c\,m^{-(q+1)},\qquad m=1,2,\ldots, $$

其中 $c$ 是归一化常数。则

$$ \mathbb EX^p=c\sum_{m=1}^\infty m^{p-q-1}<\infty, \qquad \mathbb EX^q=c\sum_{m=1}^\infty\frac1m=\infty. $$

若 $q=\infty$,取任意无界但具有有限 $p$ 阶矩的变量即可。

连续重尾版本:也可以取 Pareto 分布。设 $X$ 的密度为

$$ f(x)=\alpha x^{-\alpha-1}\mathbf 1_{\{x\ge1\}}, $$

其中参数 $\alpha>0$。对任意 $r>0$,

$$ \mathbb E X^r = \alpha\int_1^\infty x^{r-\alpha-1}\,dx. $$

该积分当且仅当 $r<\alpha$ 时收敛。给定 $0<p<q<\infty$,取 $p<\alpha<q$,则 $\|X\|_{L^p}<\infty$ 但 $\|X\|_{L^q}=\infty$。若 $q=\infty$,任取 $\alpha>p$,则 $X$ 有有限 $p$ 阶矩但本质上无界,所以 $\|X\|_{L^\infty}=\infty$。

Exercise 1.12 $L^1$ 与 $L^\infty$ 插值
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明 $L^p$ 范数可由 $L^1$ 与 $L^\infty$ 范数插值控制。

证明思路:直接写

$$ |X|^p=|X|\cdot |X|^{p-1} \le |X|\|X\|_{L^\infty}^{p-1}. $$

取期望再开 $p$ 次方。

完整证明:若 $\|X\|_{L^\infty}=\infty$,结论平凡。否则几乎处处有 $|X|\le\|X\|_{L^\infty}$。于是

$$ |X|^p = |X|\cdot |X|^{p-1} \le |X|\,\|X\|_{L^\infty}^{p-1}. $$

取期望得

$$ \mathbb E|X|^p \le \|X\|_{L^1}\|X\|_{L^\infty}^{p-1}. $$

两边取 $1/p$ 次方,即得

$$ \|X\|_{L^p} \le \|X\|_{L^1}^{1/p}\|X\|_{L^\infty}^{1-1/p}. $$
Exercise 1.13 最大值的期望
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明非负随机变量最大值期望的上下界,并说明常数阶紧性。

证明思路:下界来自 $\max_iX_i\ge X_j$。上界来自 $\max_iX_i\le\sum_iX_i$。最优例子:所有变量相同给下界取等;令 $Y_i$ 互斥地取正值可让上界取等。独立近似最优可让每个 $X_i$ 以概率 $1/n$ 取值 $1$,否则为 $0$。

完整证明:因为 $\max_iX_i\ge X_j$ 对每个 $j$ 成立,所以

$$ \mathbb E\max_iX_i\ge\max_j\mathbb EX_j. $$

另一方面,非负性给出 $\max_iX_i\le\sum_iX_i$,所以

$$ \mathbb E\max_iX_i \le \sum_i\mathbb EX_i \le n\max_i\mathbb EX_i. $$

下界取等:令所有 $X_i=Y$,其中 $Y\ge0$ 且 $\mathbb EY>0$。则 $\max_iX_i=Y$。上界取等:取样本空间 $\{1,\ldots,n\}$,均匀分布,并令 $Y_i=\mathbf 1_{\{\omega=i\}}$。则 $\max_iY_i=1$,而 $\max_i\mathbb EY_i=1/n$。

独立近似最优:令 $X_i$ 独立且 $X_i\sim\operatorname{Ber}(1/n)$。则

$$ \mathbb E\max_iX_i = 1-\left(1-\frac1n\right)^n \ge 1-e^{-1}, $$

同时 $\max_i\mathbb EX_i=1/n$。因此

$$ \mathbb E\max_iX_i \ge (1-e^{-1})\,n\,\max_i\mathbb EX_i. $$
Exercise 1.14 向量化 Jensen/Minkowski
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明非负随机变量向量的 Jensen/Minkowski 型双边估计。

证明思路:左边是 Jensen:函数 $x\mapsto\|x\|_p$ 是凸函数,应用到随机向量 $(X_1,\ldots,X_n)$。右边用概率空间上 $L^p$ 范数单调性。

完整证明:令随机向量 $X=(X_1,\ldots,X_n)$。函数 $x\mapsto\|x\|_p$ 是凸函数,所以 Jensen 给出

$$ \left(\sum_{i=1}^n(\mathbb EX_i)^p\right)^{1/p} = \|\mathbb EX\|_p \le \mathbb E\|X\|_p = \mathbb E\left(\sum_{i=1}^nX_i^p\right)^{1/p}. $$

设 $Y=\|X\|_p=(\sum_iX_i^p)^{1/p}$。由 $L^p$ 范数单调性,$\|Y\|_{L^1}\le\|Y\|_{L^p}$。因此

$$ \mathbb E\left(\sum_{i=1}^nX_i^p\right)^{1/p} = \mathbb EY \le (\mathbb EY^p)^{1/p} = \left(\sum_{i=1}^n\mathbb EX_i^p\right)^{1/p}. $$
Exercise 1.15 积分尾公式
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明一般随机变量的积分尾公式、函数形式和 $p$ 阶矩公式。

证明思路:(a) 在 $\mathbb EX$ 存在的情形下,对正部和负部分别用非负变量的积分尾公式:$X=X_+-X_-$。 (b) 写

$$ f(X)=\int_0^X f'(t)\,dt $$

并用 Fubini/Tonelli 交换积分和期望。 (c) 在 (b) 中取 $f(t)=t^p$ 并应用于 $|X|$。

完整证明:(a) 假设 $\mathbb EX$ 存在,也就是 $\mathbb EX_+$ 与 $\mathbb EX_-$ 不同时为无穷。写 $X=X_+-X_-$。由非负变量的积分尾公式,

$$ \mathbb EX_+ = \int_0^\infty\mathbb P\{X>t\}\,dt, $$

并且

$$ \mathbb EX_- = \int_0^\infty\mathbb P\{X_- >s\}\,ds = \int_0^\infty\mathbb P\{X<-s\}\,ds. $$

令 $t=-s$,得到 $\mathbb EX_-=\int_{-\infty}^0\mathbb P\{X<t\}\,dt$。因此 $\mathbb EX=\mathbb EX_+-\mathbb EX_-$ 给出所需公式。

(b) 对 $X\ge0$,由微积分基本定理,

$$ f(X)=\int_0^X f'(t)\,dt = \int_0^\infty\mathbf 1_{\{t<X\}}f'(t)\,dt. $$

用 Tonelli 定理得到

$$ \mathbb Ef(X) = \int_0^\infty\mathbb P\{X>t\}f'(t)\,dt. $$

(c) 对非负变量 $|X|$ 应用 (b),取 $f(t)=t^p$。因为 $f'(t)=pt^{p-1}$,得到

$$ \mathbb E|X|^p = \int_0^\infty\mathbb P\{|X|>t\}\,pt^{p-1}\,dt. $$
Exercise 1.16 Paley-Zygmund
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明 Paley-Zygmund 不等式,用二阶矩给出非负随机变量的下尾概率下界。

证明思路:令 $A=\{X>\varepsilon\mathbb E X\}$。先写

$$ \mathbb{E}X \le \varepsilon\mathbb{E}X+\mathbb{E}[X\mathbf{1}_A]. $$

于是 $(1-\varepsilon)\mathbb E X\le\mathbb E[X\mathbf 1_A]$。再对右边用 Cauchy-Schwarz。

完整证明:若 $\mathbb EX=0$,结论平凡。以下设 $\mathbb EX>0$,并令 $A=\{X>\varepsilon\mathbb EX\}$。在 $A^c$ 上有 $X\le\varepsilon\mathbb EX$,所以

$$ \mathbb EX = \mathbb E[X\mathbf 1_A]+\mathbb E[X\mathbf 1_{A^c}] \le \mathbb E[X\mathbf 1_A]+\varepsilon\mathbb EX. $$

因此

$$ (1-\varepsilon)\mathbb EX \le \mathbb E[X\mathbf 1_A]. $$

对右侧使用 Cauchy-Schwarz:

$$ \mathbb E[X\mathbf 1_A] \le (\mathbb EX^2)^{1/2}(\mathbb P(A))^{1/2}. $$

合并并平方,得到

$$ \mathbb P\{X>\varepsilon\mathbb EX\} \ge (1-\varepsilon)^2 \frac{(\mathbb EX)^2}{\mathbb EX^2}. $$
Exercise 1.17 $\ell^p$ 范数比较
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明有限维 $\ell^p$ 范数的双边比较,并给出取等例子。

证明思路:第一不等式可由坐标大小排序或概率测度上的 $L^p$ 单调性推出。第二不等式对归一化计数测度使用 $L^p$ 单调性:

$$ n^{-1/p}\|x\|_p\le n^{-1/q}\|x\|_q. $$

紧性例子分别取只含一个非零坐标的向量和全 $1$ 向量。

完整证明:设 $0<p\le q<\infty$。若 $x=0$,结论显然。否则令 $a_i=|x_i|/\|x\|_p$,则 $\sum_i a_i^p=1$ 且 $0\le a_i\le1$。因为 $q\ge p$,有 $a_i^q\le a_i^p$,故

$$ \|x\|_q^q = \|x\|_p^q\sum_i a_i^q \le \|x\|_p^q. $$

这给出 $\|x\|_q\le\|x\|_p$。当 $q=\infty$ 时同样有 $\|x\|_\infty\le\|x\|_p$。

第二个不等式来自归一化计数测度上的 $L^p$ 单调性:

$$ \left(\frac1n\sum_i|x_i|^p\right)^{1/p} \le \left(\frac1n\sum_i|x_i|^q\right)^{1/q}. $$

整理得

$$ \|x\|_p \le n^{1/p-1/q}\|x\|_q. $$

若 $q=\infty$,同理得到 $\|x\|_p\le n^{1/p}\|x\|_\infty$。紧性例子:取 $x=e_1$,则 $\|x\|_p=\|x\|_q=1$;取 $y=(1,\ldots,1)$,则 $\|y\|_p=n^{1/p}$、$\|y\|_q=n^{1/q}$,第二个不等式取等。

Exercise 1.18 $\ell^\infty$ 是 $\ell^p$ 极限
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明 $\ell^p$ 范数在 $p\to\infty$ 时收敛到 $\ell^\infty$ 范数,并给出 $p\ge\ln n$ 的粗等价。

证明思路:总有 $\|x\|_\infty\le\|x\|_p\le n^{1/p}\|x\|_\infty$。令 $p\to\infty$ 得 (a)。若 $p\ge\ln n$,则 $n^{1/p}\le e$,得到 (b)。

完整证明:由 Exercise 1.17,

$$ \|x\|_\infty \le \|x\|_p \le n^{1/p}\|x\|_\infty. $$

当 $p\to\infty$ 时,$n^{1/p}\to1$,夹逼定理给出 $\|x\|_p\to\|x\|_\infty$。若 $p\ge\ln n$,则

$$ n^{1/p} = e^{(\ln n)/p} \le e. $$

代回上式得到 $\|x\|_\infty\le\|x\|_p\le e\|x\|_\infty$。

Exercise 1.19 $\ell_p$ 对偶性
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明 $\ell_p$ 对偶范数公式,并构造 Hölder 不等式中的取等向量。

证明思路:当 $1<p<\infty$ 时,可取

$$ y_i=\operatorname{sgn}(x_i)|x_i|^{p-1}. $$

再归一化 $y$。端点 $p=1,\infty$ 分别取符号向量或支撑在最大坐标上的向量。Hölder 给出上界,构造给出等号。

完整证明:若 $x=0$,任取非零 $y$ 即可。以下设 $x\ne0$。当 $1<p<\infty$ 时,令

$$ y_i=\operatorname{sgn}(x_i)|x_i|^{p-1}. $$

因为 $p'=p/(p-1)$,所以

$$ \|y\|_{p'} = \left(\sum_i |x_i|^p\right)^{1/p'} = \|x\|_p^{p-1}, $$

并且

$$ \langle x,y\rangle = \sum_i|x_i|^p = \|x\|_p^p = \|x\|_p\|y\|_{p'}. $$

当 $p=1$、$p'=\infty$ 时,取 $y_i=\operatorname{sgn}(x_i)$,则 $\|y\|_\infty=1$ 且 $\langle x,y\rangle=\|x\|_1$。当 $p=\infty$、$p'=1$ 时,取 $j$ 使 $|x_j|=\|x\|_\infty$,令 $y=\operatorname{sgn}(x_j)e_j$,则 $\|y\|_1=1$ 且 $\langle x,y\rangle=\|x\|_\infty$。

Hölder 不等式给出对所有 $y\in B_{p'}^n$,

$$ \langle x,y\rangle\le\|x\|_p\|y\|_{p'}\le\|x\|_p. $$

另一方面,上面的取等向量归一化后属于 $B_{p'}^n$,并使 $\langle x,y\rangle=\|x\|_p$。因此

$$ \max_{y\in B_{p'}^n}\langle x,y\rangle = \|x\|_p. $$

学习检查表

  • [ ] 能写出 Jensen、Hölder、Cauchy-Schwarz 的常用形式。
  • [ ] 能区分向量范数 $\ell_p$ 和随机变量范数 $L^p$。
  • [ ] 能解释并集界为什么会带来 $\log N$ 或 covering number 项。
  • [ ] 能识别什么时候应该条件化。
  • [ ] 能写出 Markov、Chebyshev、Paley-Zygmund 的使用场景。
  • [ ] 能区分 CLT 型近似和非渐近 concentration bound。
  • [ ] 遇到 SLLN、CLT、Poisson 极限定理、Stirling 或 Gamma 函数时,知道去 概率论背景补充附录 回查。

后续衔接

本章之后进入 第 2 章学习笔记,核心工具会从基础概率不等式升级为独立随机变量和的指数型集中不等式。