Appetizer 学习笔记:用概率覆盖集合

一句话定位

Appetizer 的作用是用 approximate Caratheodory theorem 展示一个高维概率的核心套路:把确定性几何问题随机化,再用平均意义上的好性质推出确定性对象存在。

本篇导读

Appetizer 的核心问题是:如何用随机抽样证明一个确定性的几何近似结论?它不是预备知识列表,而是整本书的一个微型样板。

部分 内容 在主线中的作用
凸组合随机化 把 $x\in\operatorname{conv}(T)$ 写成某个随机向量 $Z$ 的期望 把确定性几何点转成概率对象
Approximate Caratheodory 用 $k$ 个独立样本的平均近似 $\mathbb EZ$ 从期望误差推出存在一个具体近似
Polytope covering 把所有 $k$ 次抽样平均当作覆盖中心 从点的近似表示转到集合覆盖
Volume bound 用覆盖球总体积控制 polytope 体积 得到高维几何结论
Exercises 检查紧性、计数改进和 Hoeffding 型强化 把概率方法从均方误差升级到尾界

本篇读法是:先看清“凸组合 = 随机变量期望”,再看样本均值如何给出近似,最后看近似点集如何变成 covering 和 volume estimate。

本页使用方式

Appetizer 不适合按“定义逐条背”的方式读。初学者应先抓住一件事:概率方法怎样证明一个确定性的几何覆盖结论。

你现在卡在哪里 先看哪里 读完要能说出的句子
不理解“随机化证明确定性存在性” 本篇学习路线、Theorem 0.0.2 卡片 “把凸组合写成随机向量的期望,再抽样;平均表现好就存在一个具体好样本。”
看不懂 Maurey empirical method Theorem 0.0.2 完整证明 “证明目标是找 $k$ 个点近似 $x$,不是估计随机样本本身。”
覆盖数和体积界没有画面 Corollary 0.0.3、Theorem 0.0.4 完整证明 “$N$ 个顶点经过 $k$ 次抽样产生 $N^k$ 个中心;球覆盖再转成体积上界。”
想知道哪些跳步已经补齐 正文读者自证补全、Exercises 0.1-0.9 “原文留给读者的紧性、二项式估计、Hoeffding 入口都在练习里。”
只想检查是否读懂 易混点、学习检查表 “我能从 $x\in\operatorname{conv}(T)$ 自己构造随机变量 $Z$。”

本篇主线

Appetizer 的主线很短,但代表了全书的基本思维方式:先把确定性对象随机化,再用概率估计证明存在性,最后把点的近似表示转成集合的覆盖结论。

推进层 要解决的问题 关键转折 读完后的抓手
随机化 凸组合为什么能引入概率? 把 $x=\sum_i\lambda_i z_i$ 读成 $x=\mathbb EZ$ 凸组合就是一个离散随机向量的期望
近似 怎样用少量点近似原来的 $x$? 用 $k$ 个独立样本的平均近似 $\mathbb EZ$ 方差计算给出 $1/\sqrt k$ 误差尺度
固定化 随机样本好,为什么推出确定性存在? 期望误差小意味着至少有一个样本不差 概率方法提供存在性证明
覆盖 点的近似如何变成集合结论? 所有 $k$ 次抽样平均组成覆盖中心 中心数 $N^k$ 与覆盖半径共同控制体积
强化 练习在训练什么? 从均方误差、计数和尾界三个方向加固主定理 看见 Hoeffding 型强化如何进入高维几何

本篇学习路线

先抓住一个问题
概率为什么能证明一个确定性的几何结论?

Appetizer 只讲一个核心套路:把凸组合看成随机变量的期望,随机抽样得到平均意义上的好近似,再固定一个好的样本,实现确定性存在性。

初学者先抓三件事
  1. 凸组合可以改写为 $\mathbb E Z$。
  2. 样本均值可以近似 $\mathbb E Z$。
  3. 近似点集可以覆盖 polytope,并推出体积界。
1

把几何点变成随机变量

若 $x=\sum_i\lambda_i z_i$,就令随机向量 $Z$ 以概率 $\lambda_i$ 取值 $z_i$。于是 $x=\mathbb E Z$。这是 Maurey empirical method 的入口。

convex combination expectation Caratheodory
这一层要会问 一个凸组合能不能看成某个离散随机向量的均值?
2

用样本均值近似期望

独立抽样 $Z_1,\ldots,Z_k$ 后,$\frac1k\sum_j Z_j$ 是 $k$ 个点的等权平均。方差计算给出平均误差平方 $\le 1/k$,所以存在一个具体样本误差 $\le 1/\sqrt k$。

sample average variance identity existence by expectation
这一层要会问 如果随机选择的平均误差很小,为什么必然存在一个确定性选择也很好?
3

从近似表示走向覆盖和体积

对有 $N$ 个顶点的 polytope,所有 $k$ 个顶点等权平均至多有 $N^k$ 个。这些点形成覆盖中心;半径来自 approximate Caratheodory。再用“覆盖总体积”控制 polytope 体积。

covering centers $N^k$ volume scaling high-dimensional geometry
这一层要会问 半径和中心数量如何共同决定体积上界?
凸组合 随机变量期望 样本均值 近似 Caratheodory 覆盖数 体积界

分层阅读路线

层次 先抓什么 推荐入口 暂时怎么处理
第一遍:主线阅读 凸组合随机化、样本均值近似、covering 到 volume 本篇主线、Theorem 0.0.2 卡片 先看懂“随机样本好 -> 存在确定性样本好”,不急着优化常数。
第二遍:证明精读 Maurey empirical method、polytope covering、volume bound Theorem 0.0.2、Corollary 0.0.3、Theorem 0.0.4 完整证明 把方差计算、$N^k$ 计数和体积缩放逐步写出来。
第三遍:习题与应用 紧性、计数改进、Hoeffding 型强化 Exercises 0.1-0.9 先按“基础验证 -> 核心证明 -> 高价值挑战”做。
专题回看 凸几何中的 covering、Carl-Pajor、approximate Caratheodory 第 10 部分深入阅读路线 为后续读 asymptotic convex geometry 做入口。

核心对象与符号表

符号 / 对象 在原书中的角色 学习时要抓住的意思
$T\subset\mathbb R^n$ 被取凸包的点集,包含在 Euclidean 单位球中。 原始候选点集合;之后抽样只能从 $T$ 里取点。
$\operatorname{conv}(T)$ $T$ 的 convex hull。 所有凸组合形成的集合;Appetizer 的目标是在这里近似任意点。
$x\in\operatorname{conv}(T)$ 要被近似的点。 先把它写成精确凸组合,再把凸组合解释成随机变量期望。
$Z$ 由凸组合系数定义的离散随机向量。 人为引入的随机化工具,满足 $\mathbb E Z=x$。
$Z_1,\ldots,Z_k$ $Z$ 的独立拷贝。 它们的样本均值是 $k$ 个点的等权平均。
$k$ 抽样次数 / 等权平均中点的个数。 控制误差半径 $1/\sqrt k$,也控制覆盖中心数量。
$P$ 有 $N$ 个顶点的 polytope。 把 approximate Caratheodory 用到有限顶点凸包上。
$N^k$ 有序选择 $k$ 个顶点的粗略计数。 给 Corollary 0.0.3 的覆盖中心数量;Exercise 0.9 会改进它。
$B$ $\mathbb R^n$ 的 Euclidean 单位球。 体积比较的参照物,也是高维直觉的来源。

关键定理卡片

Theorem 0.0.2 Approximate Caratheodory theorem

条件:$T\subset\mathbb R^n$ 位于 Euclidean 单位球中,$x\in\operatorname{conv}(T)$,$k\in\mathbb N$。

结论:存在 $x_1,\ldots,x_k\in T$,使得

$$ \left\|x-\frac1k\sum_{j=1}^k x_j\right\|_2\le \frac1{\sqrt k}. $$
用途:把凸包中的点用少量等权样本近似;后续覆盖数、经验方法和随机构造都会用到这个思想。
查看完整证明
Corollary 0.0.3 Covering polytopes by balls

条件:$P\subset\mathbb R^n$ 是包含在单位球中的 polytope,有 $N$ 个顶点。

结论:对每个 $k\in\mathbb N$,$P$ 可由至多 $N^k$ 个半径 $1/\sqrt{k}$ 的 Euclidean 球覆盖。

用途:这是从近似凸组合到 covering number 的第一座桥。
查看完整证明
Theorem 0.0.4 Polytope volume bound

条件:$P$ 是有 $N$ 个顶点的 polytope,且 $P$ 包含在 $\mathbb R^n$ 的 Euclidean 单位球 $B$ 中。

结论:

$$ \frac{\operatorname{Vol}(P)}{\operatorname{Vol}(B)} \le \left(3\sqrt{\frac{\log N}{n}}\right)^n. $$
用途:把 covering number 转成体积估计;它告诉我们,在高维中,如果顶点数不够指数级大,polytope 在单位球中只占很小体积。
查看完整证明
Remark 高维直觉:顶点多不等于体积大

Theorem 0.0.4 的读法不是“多面体体积有一个公式”,而是:在高维中,如果顶点数 $N$ 没有达到足够大的指数级,$\operatorname{conv}\{z_1,\ldots,z_N\}$ 即使看起来很复杂,也只能占单位球很小一部分体积。

记忆方式:高维体积主要藏在海量方向里;有限顶点只能抓住有限方向。

关键定理完整证明

Complete Proof Theorem 0.0.1:Caratheodory 定理
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明 Theorem 0.0.1,即 $\operatorname{conv}(T)$ 中任一点都可表示为 $T$ 中至多 $n+1$ 个点的凸组合。

原书只陈述了 Caratheodory 定理。标准证明如下。设

$$ x=\sum_{i=1}^m\lambda_i z_i,\qquad \lambda_i\ge0,\qquad \sum_{i=1}^m\lambda_i=1. $$

若 $m\le n+1$,已经完成。若 $m>n+1$,则 $z_1,\ldots,z_m$ 仿射相关,所以存在不全为零的 $a_1,\ldots,a_m$,使得

$$ \sum_{i=1}^m a_i z_i=0, \qquad \sum_{i=1}^m a_i=0. $$

这些 $a_i$ 中必有正有负。取

$$ t=\min_{a_i>0}\frac{\lambda_i}{a_i}. $$

定义新系数 $\lambda_i'=\lambda_i-ta_i$。则 $\lambda_i'\ge0$,至少有一个 $\lambda_i'=0$,并且

$$ \sum_i\lambda_i'=1,\qquad \sum_i\lambda_i' z_i = \sum_i\lambda_i z_i - t\sum_i a_i z_i = x. $$

因此可以删去一个点。重复这个过程,直到剩下至多 $n+1$ 个点。

Complete Proof Theorem 0.0.2:近似 Caratheodory 定理
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明任意 $x\in\operatorname{conv}(T)$ 都能被 $k$ 个 $T$ 中点的等权平均近似,误差至多 $1/\sqrt k$。

证明思路

把确定性的凸组合改写成随机向量的期望,再用 $k$ 个独立样本的样本均值来构造等权平均。均方误差估计说明随机构造平均表现很好,因此存在一个具体样本实现满足同样的误差界。

完整证明

固定 $x\in\operatorname{conv}(T)$。由凸包定义,可取 $z_1,\ldots,z_m\in T$ 与 $\lambda_i\ge0$,$\sum_i\lambda_i=1$,使得

$$ x=\sum_{i=1}^m\lambda_i z_i. $$

定义随机向量 $Z$,令

$$ \mathbb P\{Z=z_i\}=\lambda_i,\qquad i=1,\ldots,m. $$

于是

$$ \mathbb EZ=\sum_{i=1}^m\lambda_i z_i=x. $$

令 $Z_1,\ldots,Z_k$ 为 $Z$ 的独立同分布副本。样本均值 $\frac1k\sum_{j=1}^kZ_j$ 是 $k$ 个 $T$ 中点的等权平均。下面估计它到 $x$ 的均方误差:

$$ \mathbb E\left\|x-\frac1k\sum_{j=1}^kZ_j\right\|_2^2 = \frac1{k^2} \mathbb E\left\|\sum_{j=1}^k(Z_j-x)\right\|_2^2. $$

记 $Y_j=Z_j-x$。则 $Y_j$ 独立且 $\mathbb EY_j=0$。展开平方:

$$ \mathbb E\left\|\sum_{j=1}^kY_j\right\|_2^2 = \sum_{i,j=1}^k\mathbb E\langle Y_i,Y_j\rangle. $$

当 $i\ne j$ 时,由独立性与零均值得

$$ \mathbb E\langle Y_i,Y_j\rangle = \langle\mathbb EY_i,\mathbb EY_j\rangle = 0. $$

所以只剩对角项:

$$ \mathbb E\left\|\sum_{j=1}^kY_j\right\|_2^2 = \sum_{j=1}^k\mathbb E\|Y_j\|_2^2 = k\,\mathbb E\|Z-\mathbb EZ\|_2^2. $$

再由向量方差恒等式,

$$ \mathbb E\|Z-\mathbb EZ\|_2^2 = \mathbb E\|Z\|_2^2-\|\mathbb EZ\|_2^2 \le \mathbb E\|Z\|_2^2 \le 1, $$

其中最后一步使用 $Z\in T$ 且 $T$ 包含在单位球中。因此

$$ \mathbb E\left\|x-\frac1k\sum_{j=1}^kZ_j\right\|_2^2 \le \frac1k. $$

由于误差平方是非负随机变量,若所有样本实现都大于 $1/k$,则其期望也会大于 $1/k$,矛盾。因此存在某个样本实现 $x_1,\ldots,x_k\in T$,使得

$$ \left\|x-\frac1k\sum_{j=1}^kx_j\right\|_2^2 \le \frac1k. $$

开方即得

$$ \left\|x-\frac1k\sum_{j=1}^kx_j\right\|_2 \le \frac1{\sqrt k}. $$
Complete Proof Corollary 0.0.3:覆盖中心构造
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明 Corollary 0.0.3,即 $N$ 顶点 polytope 可由至多 $N^k$ 个半径 $1/\sqrt k$ 的 Euclidean 球覆盖。

设 $T$ 为 $P$ 的顶点集合。定义覆盖中心集合

$$ \mathcal N = \left\{ \frac1k\sum_{j=1}^k x_j: x_j\in T \right\}. $$

因为 $T$ 有 $N$ 个点,选择有序的 $k$ 个顶点、允许重复,最多有 $N^k$ 种,所以 $|\mathcal N|\le N^k$。

任取 $x\in P=\operatorname{conv}(T)$。由 Theorem 0.0.2,存在 $x_1,\ldots,x_k\in T$,使

$$ \left\| x-\frac1k\sum_{j=1}^kx_j \right\|_2 \le \frac1{\sqrt k}. $$

右侧的等权平均属于 $\mathcal N$。因此每个 $x\in P$ 都落在某个以 $\mathcal N$ 中点为中心、半径 $1/\sqrt k$ 的球内,这些球覆盖 $P$。

Complete Proof Theorem 0.0.4:由覆盖数推出体积界
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明若 $P\subset B_2^n$ 有 $N$ 个顶点,则 $\operatorname{Vol}(P)/\operatorname{Vol}(B)\le(3\sqrt{\log N/n})^n$。

证明思路

先用 Corollary 0.0.3 把 $P$ 覆盖成许多小球。球的数量至多 $N^k$,半径为 $1/\sqrt k$。用覆盖球总体积控制 $P$ 的体积,然后选择合适的 $k$ 平衡“球的数量”和“球的半径”。

完整证明

若 $N=1$,则 $P$ 只是一个点,$n$ 维体积为 $0$,结论成立。以下设 $N\ge2$。

由 Corollary 0.0.3,$P$ 可由至多 $N^k$ 个半径为 $1/\sqrt k$ 的 Euclidean 球覆盖。每个这样的球体积为 $k^{-n/2}\operatorname{Vol}(B)$,因为 $n$ 维体积在半径缩放 $r$ 时乘以 $r^n$。于是

$$ \operatorname{Vol}(P) \le N^k k^{-n/2}\operatorname{Vol}(B), $$

$$ \frac{\operatorname{Vol}(P)}{\operatorname{Vol}(B)} \le \frac{N^k}{k^{n/2}}. \tag{*} $$

这个界对每个 $k\in\mathbb N$ 成立。先把 $k$ 暂时看成正实数,优化右侧。取对数:

$$ \phi(k)=k\log N-\frac n2\log k. $$

求导并令导数为零:

$$ \phi'(k)=\log N-\frac n{2k}=0, \qquad k_0=\frac n{2\log N}. $$

若直接代入 $k_0$,则

$$ \frac{N^{k_0}}{k_0^{n/2}} = \exp\left(\frac n2\right) \left(\frac{2\log N}{n}\right)^{n/2} = \left(\sqrt{\frac{2e\log N}{n}}\right)^n. $$

但 $k$ 必须是整数。取 $k=\lceil k_0\rceil$。若 $k_0\le k\le k_0+1$,由 (*) 得

$$ \frac{\operatorname{Vol}(P)}{\operatorname{Vol}(B)} \le \frac{N^{k_0+1}}{k_0^{n/2}} = N\left(\sqrt{\frac{2e\log N}{n}}\right)^n. $$

若 $N\le e^{n/9}$,则

$$ N\left(\sqrt{\frac{2e\log N}{n}}\right)^n \le \left(e^{1/9}\sqrt{2e}\right)^n \left(\sqrt{\frac{\log N}{n}}\right)^n. $$

由于 $e^{1/9}\sqrt{2e}<3$,所以

$$ \frac{\operatorname{Vol}(P)}{\operatorname{Vol}(B)} \le \left(3\sqrt{\frac{\log N}{n}}\right)^n. $$

若 $N>e^{n/9}$,则 $3\sqrt{\log N/n}>1$,从而目标右侧大于 $1$。另一方面 $P\subset B$,所以

$$ \frac{\operatorname{Vol}(P)}{\operatorname{Vol}(B)} \le 1, $$

结论同样成立。两种情况合并即证 Theorem 0.0.4。

易混点

Common Pitfall 随机变量不是题目给的,是为了证明而造的

原问题是确定性的:给定 $x\in\operatorname{conv}(T)$,要找确定的 $x_1,\ldots,x_k\in T$。证明中引入 $Z$ 只是把凸组合系数 $\lambda_i$ 变成抽样概率。随机性是工具,不是结论的一部分。

Common Pitfall “平均很好”到“存在很好”只需要一行逻辑

若 $\mathbb E Y\le a$ 且 $Y\ge0$,就不可能所有样本都满足 $Y>a$;因此至少存在一个样本使 $Y\le a$。Approximate Caratheodory 最后一步用的正是这个存在性逻辑。

Common Pitfall $N^k$ 是有序计数,不是最优计数

Corollary 0.0.3 用所有有序 $k$ 元组生成覆盖中心,所以得到 $N^k$。这足够推出 Theorem 0.0.4,但并不精细。Exercise 0.9 的 Carl-Pajor 改进会把“有序选择”换成“带重复的多重集合”计数,即 $\binom{N+k-1}{k}$。

Common Pitfall 体积界用的是覆盖球体积和,不要求球不重叠

证明 Theorem 0.0.4 时,只需要 $P$ 被这些球覆盖,因此 $\operatorname{Vol}(P)$ 不超过所有覆盖球体积之和。球之间可以大量重叠;这里用的是 union bound 的体积版本。

Exercises 0.1-0.9 完整证明

先按训练目标分配精力:

题目 难度 训练目标 证明
0.1 基础 验证方差恒等式,服务 Theorem 0.0.2 的误差计算。 跳转
0.2 进阶 理解“期望最小化均方误差”。 跳转
0.3 基础 证明独立和的方差可加性。 跳转
0.4 基础 用 Rademacher 随机化证明确定性向量平衡。 跳转
0.5 进阶 说明 approximate Caratheodory 的 $1/\sqrt k$ 量级基本不能改。 跳转
0.6 基础 掌握二项式和估计,为 Carl-Pajor 改进做计数准备。 跳转
0.7 基础 用体积缩放理解高维球的薄壳现象。 跳转
0.8 基础 把薄壳现象转成随机半径的分布函数和期望。 跳转
0.9 进阶 把有序计数替换为多重集合计数,得到更强体积界。 跳转

0.1-0.3:方差恒等式

这三题是 Maurey empirical method 的计算底座。目标是熟悉“展开范数平方、利用独立性消掉交叉项”。

Exercise 0.1 两个方差公式
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明两个向量方差公式:中心化二阶矩公式,以及独立副本距离公式。

完整证明 (a):把范数平方写成内积,展开得到

$$ \|Z-\mathbb{E}Z\|_2^2 = \|Z\|_2^2 -2\langle Z,\mathbb{E}Z\rangle +\|\mathbb{E}Z\|_2^2. $$

两边取期望,并用 $\mathbb E\langle Z,\mathbb EZ\rangle=\langle\mathbb EZ,\mathbb EZ\rangle=\|\mathbb EZ\|_2^2$,得到

$$ \mathbb E\|Z-\mathbb EZ\|_2^2 = \mathbb E\|Z\|_2^2-\|\mathbb EZ\|_2^2. $$

完整证明 (b):展开独立副本的距离:

$$ \mathbb E\|Z-Z'\|_2^2 = \mathbb E\|Z\|_2^2+\mathbb E\|Z'\|_2^2 -2\mathbb E\langle Z,Z'\rangle. $$

由于 $Z'$ 与 $Z$ 同分布,前两项相同;由于二者独立,

$$ \mathbb E\langle Z,Z'\rangle = \langle \mathbb EZ,\mathbb EZ'\rangle = \|\mathbb EZ\|_2^2. $$

因此

$$ \mathbb E\|Z-Z'\|_2^2 = 2\mathbb E\|Z\|_2^2-2\|\mathbb EZ\|_2^2 = 2\mathbb E\|Z-\mathbb EZ\|_2^2, $$

即得结论。

Exercise 0.2 期望最小化均方误差
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明 $\mathbb EZ$ 是所有常向量 $a\in\mathbb R^n$ 中使 $\mathbb E\|Z-a\|_2^2$ 最小的点。

证明:对任意 $a\in\mathbb R^n$,写成

$$ Z-a=(Z-\mathbb{E}Z)+(\mathbb{E}Z-a). $$

平方取期望后,交叉项为 $0$,所以

$$ \mathbb{E}\|Z-a\|_2^2 = \mathbb{E}\|Z-\mathbb{E}Z\|_2^2 + \|\mathbb{E}Z-a\|_2^2. $$

右侧第一项与 $a$ 无关,第二项非负,并且当 $a=\mathbb EZ$ 时取到 $0$。所以最小值正是

$$ \mathbb E\|Z-\mathbb EZ\|_2^2. $$
Exercise 0.3 和的方差
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明独立零均值随机向量之和的二阶矩等于各二阶矩之和。

证明:展开平方:

$$ \mathbb{E}\biggl\|\sum_{j=1}^k Z_j\biggr\|_2^2 = \sum_{i,j}\mathbb{E}\langle Z_i,Z_j\rangle. $$

当 $i\ne j$ 时,由独立性和零均值得到

$$ \mathbb E\langle Z_i,Z_j\rangle = \langle\mathbb EZ_i,\mathbb EZ_j\rangle = 0. $$

于是交叉项全部消失,只剩对角项:

$$ \mathbb{E}\biggl\|\sum_{j=1}^k Z_j\biggr\|_2^2 = \sum_{j=1}^k\mathbb E\|Z_j\|_2^2. $$

0.4-0.5:概率方法与近似 Caratheodory 的紧性

这两题分别训练两个判断:概率方法如何给出确定性符号选择,以及 $1/\sqrt k$ 误差为什么不能随便改进。

Exercise 0.4 平衡向量
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明存在符号选择 $\varepsilon_i\in\{-1,1\}$ 使 $\|\sum_i\varepsilon_i x_i\|_2\le\sqrt n$,并说明该半径一般不能降低。

完整证明 (a):令 $\varepsilon_1,\ldots,\varepsilon_n$ 为独立 Rademacher 随机变量,即 $\mathbb P\{\varepsilon_i=1\}=\mathbb P\{\varepsilon_i=-1\}=1/2$。考虑随机和

$$ S=\sum_{i=1}^n\varepsilon_i x_i. $$

各项 $\varepsilon_i x_i$ 独立且均值为零。由 Exercise 0.3,

$$ \mathbb{E}\|S\|_2^2 = \sum_{i=1}^n\mathbb E\|\varepsilon_i x_i\|_2^2 = \sum_{i=1}^n\|x_i\|_2^2 \le n. $$

若所有符号选择都满足 $\|S\|_2^2>n$,则平均也会大于 $n$,矛盾。因此存在一个具体符号选择使 $\|S\|_2^2\le n$,即 $\|S\|_2\le\sqrt n$。

完整证明 (b):取 $x_i=e_i$,即标准正交基。任意符号选择都给出

$$ \left\|\sum_{i=1}^n\varepsilon_i e_i\right\|_2^2 = \sum_{i=1}^n\varepsilon_i^2 = n. $$

所以范数恒等于 $\sqrt n$,一般不能把半径降低。

Exercise 0.5 Approximate Caratheodory 渐近紧
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:构造一个例子,说明 Theorem 0.0.2 的 $1/\sqrt k$ 误差阶一般不能改进。

证明:取 $T=\{e_1,\ldots,e_n\}$,并令

$$ x=\frac1n\sum_{i=1}^n e_i. $$

因为 $x$ 是 $T$ 中 $n$ 个点的等权凸组合,所以 $x\in\operatorname{conv}(T)$。现在任取 $T$ 中 $k$ 个点,并考虑它们的任意凸组合 $y=\sum_{j=1}^k\lambda_jx_j$。设 $S$ 是 $y$ 的支撑,则 $|S|\le k$,且 $\sum_{i\in S}y_i=1$。于是

$$ \|x-y\|_2^2 = \sum_{i\in S}\left(y_i-\frac1n\right)^2 + \sum_{i\notin S}\frac1{n^2} = \sum_{i\in S}y_i^2-\frac1n. $$

由 Cauchy-Schwarz 不等式,

$$ \sum_{i\in S}y_i^2 \ge \frac1{|S|} \ge \frac1k. $$

因此

$$ \|x-y\|_2^2 \ge \frac1k-\frac1n. $$

开方得到题设结论。这里主要关心 $k\le n$;若 $k>n$,右侧不再给出正的下界,题目的渐近紧性讨论也不需要这一情形。

0.6-0.9:组合计数与高维体积

这一组连接 Appetizer 后半段:二项式估计用于控制支撑数量,体积缩放解释高维薄壳,Carl-Pajor 定理改进 covering centers 的计数。

Exercise 0.6 二项式系数的界
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:在 $1\le k\le n$ 时证明 $\left(n/k\right)^k\le\binom nk\le\sum_{j=0}^k\binom nj\le\left(en/k\right)^k$。

证明:中间的不等式来自求和项中包含 $j=k$ 这一项。先看下界:

$$ \binom nk = \prod_{i=0}^{k-1}\frac{n-i}{k-i}. $$

由于 $k\le n$,每个因子都满足

$$ \frac{n-i}{k-i}\ge\frac nk, $$

所以 $\binom nk\ge(n/k)^k$。

再证上界。令 $x=k/n\le1$。当 $0\le j\le k$ 时,$x^j\ge x^k$,所以

$$ \sum_{j=0}^k\binom nj \le x^{-k}\sum_{j=0}^k\binom njx^j \le x^{-k}(1+x)^n. $$

代入 $x=k/n$,并用 $1+u\le e^u$,得到

$$ x^{-k}(1+x)^n = \left(\frac nk\right)^k \left(1+\frac kn\right)^n \le \left(\frac{en}{k}\right)^k. $$
Exercise 0.7 Thin shell phenomenon
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明单位球超过 $99\%$ 的体积位于距离球面 $5/n$ 以内的薄壳中。
高维单位球中靠近表面的薄壳区域
图 0.3 $\mathbb R^n$ 单位球超过 $99\%$ 的体积位于距离表面 $5/n$ 以内的区域。

证明:若 $n\le5$,则 $5/n\ge1$,单位球内任意点到球面的距离都不超过 $1$,因此整个单位球都落在该薄壳中。

下面设 $n>5$。距离球面超过 $5/n$ 的点,正好落在半径 $1-5/n$ 的同心球中。因此这部分体积占比为

$$ \left(1-\frac5n\right)^n \le e^{-5} <0.01. $$

补集就是距离球面不超过 $5/n$ 的薄壳,所以它的体积占比大于 $1-0.01=99\%$。

Exercise 0.8 Thin shell phenomenon,续
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明若 $X$ 在 Euclidean 单位球中均匀分布,则 $\mathbb E\|X\|_2=n/(n+1)$。

证明:令 $R=\|X\|_2$。由于 $X$ 在单位球中均匀分布,且半径为 $r$ 的球体积是单位球体积的 $r^n$ 倍,所以

$$ \mathbb{P}\{R\le r\}=r^n,\qquad 0\le r\le1. $$

因此 $R$ 的密度为 $f_R(r)=nr^{n-1}$,$0\le r\le1$。于是

$$ \mathbb{E}R = \int_0^1 r\cdot nr^{n-1}\,dr = \frac{n}{n+1}. $$
Exercise 0.9 Carl-Pajor 定理
状态:完整证明已按当前笔记标准给出闭合推导。
证明目标:证明 Theorem 0.0.4 的 Carl-Pajor 改进:把体积界中的 $\log N$ 改成 $\log(eN/n)$ 量级。

证明:Theorem 0.0.4 中用了粗计数 $N^k$。这里改用更精确的计数:Theorem 0.0.2 输出的是 $k$ 个顶点的等权平均,允许重复;不同的有序 $k$ 元组可能给出同一个多重集合。因此覆盖中心数至多为大小为 $k$ 的多重集合数

$$ M_k = \binom{N+k-1}{k}. $$

若 $1\le k\le N$,由 Exercise 0.6 得到

$$ M_k \le \binom{2N}{k} \le \left(\frac{2eN}{k}\right)^k. $$

于是,与 Theorem 0.0.4 相同的覆盖-体积论证给出

$$ \frac{\operatorname{Vol}(P)}{\operatorname{Vol}(B)} \le \binom{N+k-1}{k}k^{-n/2} \le \left(\frac{2eN}{k}\right)^k k^{-n/2}. $$

$$ L=\log\left(\frac{eN}{n}\right). $$

由于 $N\ge n$,有 $L\ge1$。若 $L\ge n$,则选取足够大的绝对常数 $C$ 后,右侧目标界

$$ \left(C\sqrt{\frac Ln}\right)^n $$

已经不小于 $1$,而 $\operatorname{Vol}(P)\le\operatorname{Vol}(B)$,结论平凡。

下面设 $L<n$,取

$$ k=\left\lceil\frac n{2L}\right\rceil. $$

则 $1\le k\le n\le N$,所以前面的多重集合计数估计可以使用;并且 $k\asymp n/L$。代入上式:

$$ \frac{\operatorname{Vol}(P)}{\operatorname{Vol}(B)} \le \left(\frac{2eN}{k}\right)^k k^{-n/2}. $$

第一因子只贡献一个指数常数。具体地,因 $k\asymp n/L$,

$$ \log\left(\frac{2eN}{k}\right) \le C_1 L $$

对某个绝对常数 $C_1$ 成立,所以

$$ \left(\frac{2eN}{k}\right)^k \le \exp(C_2 n). $$

另一方面,由 $k\ge n/(2L)$,

$$ k^{-n/2}\le \left(\frac{2L}{n}\right)^{n/2}. $$

合并得到

$$ \frac{\operatorname{Vol}(P)}{\operatorname{Vol}(B)} \le \exp(C_2n) \left(\frac{2L}{n}\right)^{n/2} = \left(C\sqrt{\frac{\log(eN/n)}{n}}\right)^n, $$

其中 $C>0$ 是绝对常数。这就是 Carl-Pajor 型改进。

学习检查表

  • [ ] 能把凸组合解释成随机变量的期望。
  • [ ] 能复现 approximate Caratheodory 的 empirical method 证明。
  • [ ] 能补出 Theorem 0.0.2 中独立和方差可加的展开计算。
  • [ ] 能补出 Theorem 0.0.4 中优化 $k$ 和常数 $3$ 的检查。
  • [ ] 能说明为什么 $N^k$ 个中心足以覆盖 $N$ 顶点 polytope。
  • [ ] 能说明 Exercise 0.9 为什么使用 $\binom{N+k-1}{k}$ 而不是 $N^k$。
  • [ ] 能从 covering number 推出 polytope 的体积上界。
  • [ ] 能解释这个例子为什么体现“概率方法证明确定性存在性”。

后续衔接

Appetizer 之后进入 第 1 章学习笔记,主要补齐后续章节会反复使用的分析与概率语言。本篇的 covering 思想会在第 4.2 节的 covering / packing numbers 中正式系统化;“随机抽样构造确定性对象”的套路也会在随机矩阵、随机过程和 chaining 中反复出现。