HDP 读书笔记
设置
字号 标准
精校翻译 Ch.7 随机过程

第 7 章精校翻译:随机过程

第 7 章随机过程

本章转向随机过程,即一族定义在同一概率空间上的随机变量 $(X_t)_{t\in T}$。这些随机变量可以彼此相关。在经典例子布朗运动中,$t$ 表示时间,$T\subset\mathbb R$;但在高维概率中,$T$ 可以是抽象集合。最重要的例子是典范高斯过程:

$$ X_t=\langle g,t\rangle,\qquad t\in T, $$

其中 $T\subset\mathbb R^n$,$g\sim N(0,I_n)$。我们会在第 7.1 节引入它。

第 7.2 节介绍高斯过程的强大比较不等式:Slepian、Sudakov-Fernique 和 Gordon 不等式,并使用一个新技巧:高斯插值。第 7.3 节用这些工具证明 $m\times n$ 高斯随机矩阵算子范数的尖锐界。

高斯过程 $(X_t)_{t\in T}$ 如何捕捉 $T$ 的几何?第 7.4 节证明 Sudakov 不等式,它用覆盖数给出 Gaussian width 的下界

$$ w(T)=\mathbb E\sup_{t\in T}\langle g,t\rangle. $$

上界会在第 8 章出现。Gaussian width 是连接概率与度量几何的关键概念;第 7.5 节会更仔细地研究它,并把它和有效维数等其他概念联系起来。

第 7.6 节计算任意有界集 $T\subset\mathbb R^n$ 的随机投影大小。决定它的关键量正是 Gaussian width。

你会有很多机会练习这些想法:证明随机过程的对称化与收缩不等式(Exercises 7.2-7.4、7.8),推出高斯过程的重要极小极大不等式,也就是 Gordon 不等式(Exercise 7.9),得到高斯矩阵的尖锐界(Exercises 7.11 和 7.13),计算 $\ell^p$ 球的高斯宽度(Exercise 7.17),探索核范数(Exercises 7.18 和 7.19)、有效维数(Exercises 7.21-7.22)、一般集合的随机投影(Exercises 7.25 和 7.26)以及矩阵草图(Exercise 7.27)。

Tips:第 7 章的主线是“把随机问题几何化”:随机过程先用典范度量编码相关性,高斯比较把复杂过程换成容易比较的过程,Gaussian width 再把随机过程的上确界变成集合大小的度量。

7.1 基本概念与例子

Definition 7.1.1随机过程

随机过程就是一族随机变量 $(X_t)_{t\in T}$,它们定义在同一概率空间上,并由集合 $T$ 中的元素索引。

Example 7.1.2离散时间

当 $T=\{1,\dots,n\}$ 时,随机过程就是随机向量 $(X_1,\dots,X_n)$。当 $T=\mathbb N$ 时,随机过程是一个随机变量序列。

Example 7.1.3随机游走

令 $Z_1,Z_2,\dots$ 为独立且均值为 $0$ 的随机变量。随机游走定义为

$$ X_n=\sum_{i=1}^n Z_i, $$

它给出一个由 $T=\mathbb N$ 索引的随机过程。

Random walk trials Brownian motion trials
Figure 7.1:随机游走若干样本路径(左)与标准布朗运动若干样本路径(右)。
Example 7.1.4布朗运动

标准布朗运动 $(X_t)_{t\ge0}$ 又称 Wiener 过程,可由两条性质刻画:样本路径几乎处处连续;并且对 $t\ge s$,增量独立且

$$ X_t-X_s\sim N(0,t-s). $$
Example 7.1.5随机场

当 $T\subset\mathbb R^n$ 时,随机过程也称为空间随机过程或随机场。例如,地球表面每一点的水温可以视为一个随机场。

7.1.1 协方差与增量

为简化讨论,先假设 $\mathbb EX_t=0$。随机过程的协方差函数定义为

$$ \Sigma(t,s)=\operatorname{cov}(X_t,X_s)=\mathbb EX_tX_s. $$

过程的增量定义为

$$ d(t,s)=\|X_t-X_s\|_{L^2} =\bigl(\mathbb E(X_t-X_s)^2\bigr)^{1/2}. \tag{7.1} $$

Example 7.1.6布朗运动与随机游走的增量

布朗运动的增量满足 $d(t,s)=\sqrt{t-s}$,$t\ge s$。若随机游走的增量满足 $\mathbb EZ_i^2=1$,则

$$ d(n,m)=\sqrt{n-m},\qquad n\ge m. $$ 查看学习笔记:随机游走增量计算
Remark 7.1.7典范度量

即使索引集合 $T$ 本身没有几何结构,增量 $d(t,s)$ 也会在 $T$ 上定义一个度量,从而自动把 $T$ 变成一个度量空间。不过这个度量未必等于 $T\subset\mathbb R^n$ 时的欧氏距离。

Remark 7.1.8协方差与增量

协方差和增量携带的信息大致相同。展开平方得

$$ d(t,s)^2=\Sigma(t,t)-2\Sigma(t,s)+\Sigma(s,s). $$

如果过程包含零随机变量,则也可以由增量恢复协方差,见 Exercise 7.1。

查看学习笔记:Exercise 7.1 证明

7.1.2 高斯过程

Definition 7.1.9高斯过程

随机过程 $(X_t)_{t\in T}$ 称为高斯过程,如果任意有限子集 $T_0\subset T$ 上的随机向量 $(X_t)_{t\in T_0}$ 都服从正态分布。等价地,任意有限线性组合 $\sum_{t\in T_0}a_tX_t$ 都是正态随机变量。

Remark 7.1.10高斯过程的分布由协方差决定

均值为 $0$ 的高斯随机向量的分布由协方差矩阵决定。类似地,均值为 $0$ 的高斯过程的分布由协方差函数决定;在过程包含零随机变量的情形下,也可由增量决定。

Theorem 7.1.11高斯过程的集中

设 $(X_t)_{t\in T}$ 是高斯过程,且 $T$ 有限。那么

$$ \left\| \sup_{t\in T}X_t-\mathbb E\sup_{t\in T}X_t \right\|_{\psi_2} \le C\sup_{t\in T}\sqrt{\operatorname{Var}(X_t)}. $$ 查看学习笔记:Theorem 7.1.11 完整证明

这是 Exercise 5.9(b) 的直接重述;如果之前跳过了,现在应当补做。

典范高斯过程定义为

$$ X_t=\langle g,t\rangle,\qquad t\in T\subset\mathbb R^n,\quad g\sim N(0,I_n). \tag{7.2} $$

它的增量就是欧氏距离:

$$ \|X_t-X_s\|_{L^2}=\|t-s\|_2. $$

查看学习笔记:典范过程的增量计算

Lemma 7.1.12高斯随机向量

设 $X$ 是 $\mathbb R^n$ 中均值为 $0$ 的高斯随机向量。那么存在点 $t_1,\dots,t_n\in\mathbb R^n$,使得

$$ X\stackrel{d}{=}(\langle g,t_i\rangle)_{i=1}^n, \qquad g\sim N(0,I_n). $$ 查看学习笔记:Lemma 7.1.12 完整证明
Proof of Lemma 7.1.12用协方差矩阵平方根表示高斯向量

设 $\Sigma$ 是 $X$ 的协方差矩阵。由 (3.12),

$$ X\stackrel{d}{=}\Sigma^{1/2}g, \qquad g\sim N(0,I_n). $$

$\Sigma^{1/2}g$ 的第 $i$ 个坐标可以写成 $\langle t_i,g\rangle$,其中 $t_i$ 是 $\Sigma^{1/2}$ 的第 $i$ 行。因此

$$ X\stackrel{d}{=}(\langle g,t_i\rangle)_{i=1}^n. $$

因此,对任意高斯过程 $(X_s)_{s\in S}$,其所有有限维边缘分布 $(X_s)_{s\in S_0}$,$|S_0|=n$,都可表示为典范高斯过程 (7.2) 在某个 $T_0\subset\mathbb R^n$ 上的限制。

7.2 Slepian、Sudakov-Fernique 与 Gordon 不等式

Tips:本节的比较不等式是第 7 章的发动机:Slepian 控制最大值的分布,Sudakov-Fernique 控制期望上确界,Gordon 控制极小极大问题。后面高斯矩阵范数、最小奇异值和随机投影都会回到这些比较。

很多应用需要控制随机过程的统一上界:

$$ \mathbb E\sup_{t\in T}X_t. $$

Remark 7.2.1可测性

为避免可测性问题,本章把 $\mathbb E\sup_{t\in T}X_t$ 理解为所有有限子集 $T_0\subset T$ 上 $\mathbb E\max_{t\in T_0}X_t$ 的上确界。这样只需证明有限索引集情形;一般情形由有限子集近似推出。

Theorem 7.2.2Slepian 不等式

设 $(X_t)_{t\in T}$ 与 $(Y_t)_{t\in T}$ 是两个均值为 $0$ 的高斯过程。假设对所有 $t,s\in T$,

$$ \mathbb EX_t^2=\mathbb EY_t^2, \qquad \mathbb E(X_t-X_s)^2\le\mathbb E(Y_t-Y_s)^2. \tag{7.3} $$

那么 $\sup_tX_t$ 被 $\sup_tY_t$ 随机支配:对任意 $\tau\in\mathbb R$,

$$ \mathbb P\{\sup_{t\in T}X_t\ge\tau\} \le \mathbb P\{\sup_{t\in T}Y_t\ge\tau\}. \tag{7.4} $$

从而

$$ \mathbb E\sup_{t\in T}X_t \le \mathbb E\sup_{t\in T}Y_t. \tag{7.5} $$ 查看学习笔记:Slepian 不等式完整证明

7.2.1 高斯插值

我们将用一个叫做高斯插值的技巧证明 Slepian 不等式。假设 $T$ 有限;于是可以把 $X=(X_t)_{t\in T}$ 和 $Y=(Y_t)_{t\in T}$ 看成 $\mathbb R^n$ 中的高斯随机向量,其中 $n=|T|$。也可以假设 $X$ 与 $Y$ 独立。

查看学习笔记:为什么可假设 $X,Y$ 独立

定义高斯随机向量 $Z(u)$,使它在 $Z(0)=Y$ 与 $Z(1)=X$ 之间连续插值:

$$ Z(u)=\sqrt u\,X+\sqrt{1-u}\,Y,\qquad u\in[0,1]. \tag{7.8} $$

那么 $Z(u)$ 的协方差矩阵在线性意义上连续插值于 $Y$ 和 $X$ 的协方差矩阵:

$$ \Sigma(Z(u))=u\Sigma(X)+(1-u)\Sigma(Y). $$

查看学习笔记:插值协方差计算

给定函数 $f:\mathbb R^n\to\mathbb R$,我们研究当 $u$ 从 $0$ 增加到 $1$ 时,$\mathbb Ef(Z(u))$ 如何变化。我们特别关心

$$ f(x)=\mathbf 1_{\{\max_i x_i\lt \tau\}}. $$

我们将证明在这种情形下 $\mathbb Ef(Z(u))$ 随 $u$ 增加而增加。这会立即推出 Slepian 不等式的结论,因为此时

$$ \mathbb Ef(Z(1))\ge \mathbb Ef(Z(0)), \qquad\text{即}\qquad \mathbb P\{\max_iX_i\lt \tau\}\ge \mathbb P\{\max_iY_i\lt \tau\}. $$

现在进入详细论证。为了发展高斯插值,先从一个有用恒等式开始。

Lemma 7.2.3高斯分部积分

设 $X\sim N(0,1)$。对可微函数 $f:\mathbb R\to\mathbb R$,在期望存在时有

$$ \mathbb EXf(X)=\mathbb Ef'(X). $$ 查看学习笔记:Lemma 7.2.3 完整证明
Proof of Lemma 7.2.3对高斯密度分部积分

先假设 $f$ 有有界支撑。记高斯密度为

$$ p(x)=\frac1{\sqrt{2\pi}}e^{-x^2/2}. $$

把期望写成积分并分部积分,得到

$$ \mathbb Ef'(X) = \int_{\mathbb R}f'(x)p(x)\,dx = -\int_{\mathbb R}f(x)p'(x)\,dx. \tag{7.6} $$

直接检查可知 $p'(x)=-xp(x)$,因此 (7.6) 中的积分等于

$$ \int_{\mathbb R}f(x)p(x)x\,dx = \mathbb EXf(X), $$

这就是所需结论。一般函数情形可通过逼近论证推出。

通过重新缩放,可把高斯分部积分推广到 $X\sim N(0,\sigma^2)$:

$$ \mathbb EXf(X)=\sigma^2\mathbb Ef'(X). $$

只需写 $X=\sigma Z$,其中 $Z\sim N(0,1)$,再应用 Lemma 7.2.3。它也可以推广到高维。

Lemma 7.2.4多元高斯分部积分

设 $X\sim N(0,\Sigma)$。对可微函数 $f:\mathbb R^n\to\mathbb R$,若期望均存在,则

$$ \mathbb EXf(X)=\Sigma\cdot\mathbb E\nabla f(X). $$

换句话说,

$$ \mathbb EX_i f(X) = \sum_{j=1}^n\Sigma_{ij}\mathbb E\frac{\partial f}{\partial x_j}(X), \qquad i=1,\dots,n. \tag{7.7} $$ 查看学习笔记:Lemma 7.2.4 完整证明

这个推广将在 Exercise 7.6 中证明。

Lemma 7.2.5高斯插值公式

设 $X\sim N(0,\Sigma^X)$、$Y\sim N(0,\Sigma^Y)$ 独立,并定义 $Z(u)$ 如 (7.8)。对二阶可微函数 $f:\mathbb R^n\to\mathbb R$,

$$ \frac{d}{du}\mathbb Ef(Z(u)) = \frac12 \sum_{i,j=1}^n (\Sigma^X_{ij}-\Sigma^Y_{ij}) \mathbb E \frac{\partial^2f}{\partial x_i\partial x_j}(Z(u)). \tag{7.9} $$ 查看学习笔记:Lemma 7.2.5 完整证明
Proof of Lemma 7.2.5链式法则与多元高斯分部积分

由 chain rule,

$$ \begin{aligned} \frac d{du}\mathbb Ef(Z(u)) &= \sum_{i=1}^n \mathbb E \frac{\partial f}{\partial x_i}(Z(u)) \frac{dZ_i}{du}\\ &= \frac12 \sum_{i=1}^n \mathbb E \frac{\partial f}{\partial x_i}(Z(u)) \left( \frac{X_i}{\sqrt u} - \frac{Y_i}{\sqrt{1-u}} \right), \end{aligned} \tag{7.10} $$

其中第二步使用了 (7.8)。把这个和分成两部分,先计算包含 $X_i$ 的项。为此,条件化在 $Y$ 上,并写成

$$ \sum_{i=1}^n \frac1{\sqrt u} \mathbb EX_i \frac{\partial f}{\partial x_i}(Z(u)) = \sum_{i=1}^n \frac1{\sqrt u} \mathbb EX_i g_i(X), \tag{7.11} $$

其中

$$ g_i(X)= \frac{\partial f}{\partial x_i} \left(\sqrt u X+\sqrt{1-u}Y\right). $$

对 $X$ 应用多元高斯分部积分(Lemma 7.2.4)。由 (7.7),

$$ \begin{aligned} \mathbb EX_i g_i(X) &= \sum_{j=1}^n \Sigma^X_{ij} \mathbb E\frac{\partial g_i}{\partial x_j}(X)\\ &= \sum_{j=1}^n \Sigma^X_{ij} \mathbb E \frac{\partial^2 f}{\partial x_i\partial x_j} \left(\sqrt u X+\sqrt{1-u}Y\right) \sqrt u. \end{aligned} $$

代入 (7.11),得到

$$ \sum_{i=1}^n \frac1{\sqrt u} \mathbb EX_i \frac{\partial f}{\partial x_i}(Z(u)) = \sum_{i,j=1}^n \Sigma^X_{ij} \mathbb E \frac{\partial^2 f}{\partial x_i\partial x_j}(Z(u)). $$

再对 $Y$ 取期望,即解除对 $Y$ 的条件化。对 (7.10) 中包含 $Y_i$ 的另一项做完全类似的计算,并合并两部分,就得到 (7.9)。

7.2.2 Slepian 不等式的证明

Lemma 7.2.6Slepian 不等式的函数形式

设 $X,Y$ 是 $\mathbb R^n$ 中均值为 $0$ 的高斯随机向量,满足同方差和增量支配条件。若二阶可微函数 $f$ 满足对所有 $i\ne j$,

$$ \frac{\partial^2 f}{\partial x_i\partial x_j}\ge0, $$

则 $\mathbb Ef(X)\ge\mathbb Ef(Y)$。

查看学习笔记:Lemma 7.2.6 完整证明
Proof of Lemma 7.2.6由增量比较转为协方差比较

这些假设意味着 $X$ 与 $Y$ 的协方差矩阵 $\Sigma^X,\Sigma^Y$ 满足

$$ \Sigma^X_{ii}=\Sigma^Y_{ii}, \qquad \Sigma^X_{ij}\ge\Sigma^Y_{ij}, \qquad i,j=1,\ldots,n. $$

确实,展开 $\mathbb E(X_i-X_j)^2$ 与 $\mathbb E(Y_i-Y_j)^2$,再用对角方差相等即可得到非对角协方差的比较。我们可以假设 $X$ 与 $Y$ 独立。应用 Lemma 7.2.5,并使用上面的协方差比较以及 $\partial^2 f/(\partial x_i\partial x_j)\ge0$,得到

$$ \frac d{du}\mathbb Ef(Z(u))\ge0. $$

因此 $\mathbb Ef(Z(u))$ 随 $u$ 增加。于是

$$ \mathbb Ef(X)=\mathbb Ef(Z(1)) \ge \mathbb Ef(Z(0))=\mathbb Ef(Y). $$
Theorem 7.2.7Slepian 不等式:向量形式

设 $X,Y$ 是 Lemma 7.2.6 中的两个高斯随机向量。则对任意 $\tau\ge0$,

$$ \mathbb P\{\max_i X_i\ge \tau\} \le \mathbb P\{\max_i Y_i\ge \tau\}, $$

从而

$$ \mathbb E\max_i X_i\le \mathbb E\max_i Y_i. $$ 查看学习笔记:Theorem 7.2.7 完整证明
Proof of Theorem 7.2.7用平滑指标函数逼近事件 $\{\max_i x_i\lt \tau\}$

令 $h:\mathbb R\to[0,1]$ 是一个二阶可微、非增函数,用来近似 interval $(-\infty,\tau)$ 的 indicator 函数:

$$ h(x)\approx\mathbf 1_{(-\infty,\tau)}. $$
Smooth indicator approximation
Figure 7.2:函数 $h(x)$ 是指标函数 $\mathbf 1_{(-\infty,\tau)}$ 的平滑非增近似。

定义 $f:\mathbb R^n\to\mathbb R$ 为

$$ f(x)=h(x_1)\cdots h(x_n). $$

则 $f(x)$ 近似 indicator 函数

$$ f(x)\approx\mathbf 1_{\{\max_i x_i\lt \tau\}}. $$

为了应用 Lemma 7.2.6,需要检查二阶混合偏导的符号。对 $i\ne j$,

$$ \frac{\partial^2 f}{\partial x_i\partial x_j} =h'(x_i)h'(x_j)\prod_{k\notin\{i,j\}}h(x_k)\ge0. $$

这里前两个因子都是非正的,其余因子非负,所以乘积非负。由 Lemma 7.2.6,

$$ \mathbb Ef(X)\ge \mathbb Ef(Y). $$

取平滑近似极限,得到

$$ \mathbb P\{\max_{i\le n}X_i\lt \tau\} \ge \mathbb P\{\max_{i\le n}Y_i\lt \tau\}. $$

这证明了随机支配。期望比较由 Exercise 1.15(b) 中的积分尾公式得到。

查看学习笔记:从随机支配推出期望比较

7.2.3 Sudakov-Fernique 与 Gordon inequalities

Slepian 不等式对 (7.3) 中的过程 $(X_t)$ 和 $(Y_t)$ 有两个假设:方差相等,以及增量被支配。现在去掉方差相等的假设,仍然能得到 (7.5)。

Theorem 7.2.8Sudakov-Fernique 不等式

设 $(X_t)_{t\in T}$ 与 $(Y_t)_{t\in T}$ 是均值为 $0$ 的高斯过程。若对所有 $t,s\in T$,

$$ \mathbb E(X_t-X_s)^2\le\mathbb E(Y_t-Y_s)^2, $$

$$ \mathbb E\sup_{t\in T}X_t \le \mathbb E\sup_{t\in T}Y_t. $$ 查看学习笔记:Theorem 7.2.8 完整证明
Proof of Theorem 7.2.8用软最大值避开方差相等假设

像 Theorem 7.2.7 中证明 Slepian 不等式那样,只需处理 $\mathbb R^n$ 中的高斯随机向量 $X,Y$。仍从高斯插值 Lemma 7.2.5 推出结论。但这一次,不取近似 $\{\max_i x_i\lt \tau\}$ 的 indicator 函数,而是取近似 $\max_i x_i$ 的函数。

为此,令 $\beta\gt 0$,定义软最大值

$$ f(x)=\frac1\beta\log\sum_{i=1}^n e^{\beta x_i}. \tag{7.12} $$

直接检查可知

$$ f(x)\to\max_{i\le n}x_i \qquad\text{as }\beta\to\infty. $$

把 $f(x)$ 代入高斯插值公式 (7.9) 并化简,可得

$$ \frac d{du}\mathbb Ef(Z(u))\le0, \qquad u\in[0,1]. $$

这个计算需要仔细展开,见 Exercise 7.7。于是 $\mathbb Ef(Z(u))$ 随 $u$ 增加而不增。令 $u=0,1$,得到 $\mathbb Ef(X)\le\mathbb Ef(Y)$;再令 $\beta\to\infty$,就得到 Sudakov-Fernique 不等式。

查看学习笔记:软最大值的极限与导数计算

有些应用需要随机过程的极小极大界。例如由 (4.14),若 $A$ 是元素独立且服从 $N(0,1)$ 的 $m\times n$ 高斯矩阵,则其最小奇异值可写为

$$ s_n(A) = \min_{u\in S^{n-1}}\|Au\|_2 = \min_{u\in S^{n-1}}\max_{v\in S^{m-1}}X_{uv}, $$

其中 $X_{uv}=\langle Au,v\rangle$ 是正态随机变量。处理这类问题的一个方便工具是 Gordon 不等式,它把 Slepian 和 Sudakov-Fernique 推广到 min-max setting。

Theorem 7.2.9Gordon 不等式

设 $(X_{ut})_{u\in U,t\in T}$ 与 $(Y_{ut})_{u\in U,t\in T}$ 是在 $U\times T$ 上索引的两个均值为 $0$ 的高斯过程。若对所有 $u,t,s$,

$$ \mathbb E(X_{ut}-X_{us})^2 \le \mathbb E(Y_{ut}-Y_{us})^2, $$

并且对所有 $u\ne v$ 与所有 $t,s$,

$$ \mathbb E(X_{ut}-X_{vs})^2 \ge \mathbb E(Y_{ut}-Y_{vs})^2, $$

则对任意 $\tau\ge0$,

$$ \mathbb P\left\{\inf_{u\in U}\sup_{t\in T}X_{ut}\ge\tau\right\} \le \mathbb P\left\{\inf_{u\in U}\sup_{t\in T}Y_{ut}\ge\tau\right\}, $$

从而相应的期望也满足同向比较。

查看学习笔记:Gordon 不等式的证明入口

可以先在额外相等方差假设下自己证明 Gordon 不等式(Exercise 7.9)。也可以尝试高斯版本的 Talagrand 收缩原理(Exercise 7.8)。

7.3 应用:高斯矩阵的尖锐界

把刚证明的高斯比较不等式用到随机矩阵上。Section 4.6 中,我们研究了具有独立次高斯行的 $m\times n$ 随机矩阵 $A$,并用 $\varepsilon$-net argument 得到

$$ \mathbb E\|A\|\le \sqrt m+C\sqrt n, $$

其中 $C$ 是常数(见 Exercise 4.41)。现在用 Sudakov-Fernique 不等式,把高斯随机矩阵的这个界改进到尖锐常数 $C=1$。

Theorem 7.3.1高斯随机矩阵的范数

设 $A$ 是 $m\times n$ 矩阵,元素独立且服从 $N(0,1)$。那么

$$ \mathbb E\|A\|\le\sqrt m+\sqrt n. $$ 查看学习笔记:Theorem 7.3.1 完整证明
Proof of Theorem 7.3.1把算子范数写成高斯过程的上确界

由 (4.9),把 $A$ 的范数写成高斯过程的上确界:

$$ \|A\| = \max_{u\in S^{n-1},v\in S^{m-1}}\langle Au,v\rangle = \max_{(u,v)\in T}X_{uv}, $$

其中 $T=S^{n-1}\times S^{m-1}$,并且

$$ X_{uv}:=\langle Au,v\rangle\sim N(0,1). $$

为了使用 Sudakov-Fernique 比较不等式(Theorem 7.2.8),先计算过程 $(X_{uv})$ 的增量。对任意 $(u,v),(w,z)\in T$,

$$ \begin{aligned} \mathbb E(X_{uv}-X_{wz})^2 &= \mathbb E\left(\langle Au,v\rangle-\langle Aw,z\rangle\right)^2\\ &= \mathbb E\left( \sum_{i,j}A_{ij}(u_jv_i-w_jz_i) \right)^2\\ &= \sum_{i,j}(u_jv_i-w_jz_i)^2 \qquad\text{by independence, mean }0,\text{ 方差 }1\\ &= \|uv^{\mathsf T}-wz^{\mathsf T}\|_F^2\\ &\le \|u-w\|_2^2+\|v-z\|_2^2, \end{aligned} $$

最后一步见 Exercise 7.10。

定义一个增量更简单的高斯过程:

$$ Y_{uv}:=\langle g,u\rangle+\langle h,v\rangle,\qquad (u,v)\in T, $$

其中 $g\sim N(0,I_n)$,$h\sim N(0,I_m)$,且二者独立。这个过程的增量为

$$ \begin{aligned} \mathbb E(Y_{uv}-Y_{wz})^2 &= \mathbb E\left(\langle g,u-w\rangle+\langle h,v-z\rangle\right)^2\\ &= \mathbb E\langle g,u-w\rangle^2 + \mathbb E\langle h,v-z\rangle^2\\ &= \|u-w\|_2^2+\|v-z\|_2^2. \end{aligned} $$

比较两个过程的增量,得到

$$ \mathbb E(X_{uv}-X_{wz})^2 \le \mathbb E(Y_{uv}-Y_{wz})^2 \quad\text{for all }(u,v),(w,z)\in T. $$

由 Sudakov-Fernique 不等式(Theorem 7.2.8),

$$ \begin{aligned} \mathbb E\|A\| &= \mathbb E\sup_{(u,v)\in T}X_{uv} \le \mathbb E\sup_{(u,v)\in T}Y_{uv}\\ &= \mathbb E\sup_{u\in S^{n-1}}\langle g,u\rangle + \mathbb E\sup_{v\in S^{m-1}}\langle h,v\rangle\\ &= \mathbb E\|g\|_2+\mathbb E\|h\|_2\\ &\le \left(\mathbb E\|g\|_2^2\right)^{1/2} + \left(\mathbb E\|h\|_2^2\right)^{1/2}\\ &= \sqrt n+\sqrt m. \end{aligned} $$ 查看学习笔记:秩一 Frobenius 距离计算

Theorem 7.3.1 只给出期望界,但可以用第 5.2 节的集中工具把它升级成高概率界。

Corollary 7.3.2高斯随机矩阵的尾界

在 Theorem 7.3.1 的假设下,对所有 $t\ge0$,

$$ \mathbb P\{\|A\|\ge\sqrt m+\sqrt n+t\} \le 2\exp(-ct^2). $$ 查看学习笔记:Corollary 7.3.2 完整证明
Proof of Corollary 7.3.2高斯集中应用于算子范数

把期望界(Theorem 7.3.1)与高斯集中(Theorem 5.2.3)结合。把 $A$ 通过拼接行视为 $\mathbb R^{m\times n}$ 中的长向量,则 $A\sim N(0,I_{mn})$。考虑函数

$$ f(A):=\|A\|. $$

由于算子范数被 Frobenius 范数控制,而 Frobenius 范数正是 $\mathbb R^{m\times n}$ 上的欧氏范数,函数 $f$ 是 Lipschitz 函数,且 Lipschitz 范数至多为 $1$。因此 Theorem 5.2.3 给出

$$ \mathbb P\{\|A\|\ge\mathbb E\|A\|+t\} \le 2\exp(-ct^2). $$

再代入 Theorem 7.3.1 对 $\mathbb E\|A\|$ 的界,证明完成。

查看学习笔记:为什么 $A\mapsto\|A\|$ 是 1-Lipschitz

现在可以尝试 Exercise 7.11:证明对称高斯矩阵满足 $\mathbb E\|A\|\le2\sqrt n$。还可以做 Exercise 7.13:证明 $m\times n$ 高斯矩阵 $A$ 的最小奇异值满足

$$ \mathbb Es_n(A)\ge \sqrt m-\sqrt n. $$

7.4 Sudakov 不等式

Tips:Sudakov 不等式给出“覆盖数不能太大”的下界逻辑:如果 $T$ 中有很多彼此分离的点,那么高斯过程必须有足够大的上确界。它是第 8 章 Dudley 上界的反方向。

回到任意指标集 $T$ 上的一般均值为零高斯过程 $(X_t)_{t\in T}$。如 Remark 7.1.7 所述,增量

$$ d(t,s)=\|X_t-X_s\|_{L^2}. \tag{7.13} $$

在 $T$ 上定义一个度量,称为典范度量。这个度量决定协方差函数 $\Sigma(t,s)$,而协方差函数又决定过程 $(X_t)_{t\in T}$ 的分布(回忆 Remark 7.1.10)。因此原则上,只要理解度量空间 $(T,d)$ 的几何,就能回答关于该高斯过程分布的问题;换句话说,可以通过几何研究概率。

这里有一个重要的具体问题:如何用 $(T,d)$ 的几何估计

$$ \mathbb E\sup_{t\in T}X_t? \tag{7.14} $$

这是一个困难问题,本章先开始研究,第 8 章继续深入。

先用度量熵给出 (7.14) 的下界。回忆 Section 4.2:对任意 $\varepsilon\gt 0$,覆盖数

$$ \mathcal N(T,d,\varepsilon) $$

是 $T$ 在度量 $d$ 下的最小 $\varepsilon$-net 基数,等价地说,是覆盖 $T$ 所需半径为 $\varepsilon$ 的闭球的最小数量。覆盖数的对数 $\log_2\mathcal N(T,d,\varepsilon)$ 称为 $T$ 的度量熵。

Theorem 7.4.1Sudakov 不等式

设 $(X_t)_{t\in T}$ 是均值为 $0$ 的高斯过程,$d$ 为其典范度量。那么对任意 $\varepsilon\ge0$,

$$ \mathbb E\sup_{t\in T}X_t \ge c\varepsilon\sqrt{\log\mathcal N(T,d,\varepsilon)}. $$ 查看学习笔记:Theorem 7.4.1 完整证明
Proof of Theorem 7.4.1用分离集比较独立高斯过程

从 Sudakov-Fernique 比较不等式(Theorem 7.2.8)推出该结果。先假设

$$ \mathcal N(T,d,\varepsilon)=:N $$

有限;无限情形留给 Exercise 7.14。令 $\mathcal N$ 是 $T$ 的 maximal $\varepsilon$-separated 子集。由 Lemma 4.2.6,$\mathcal N$ 是 $T$ 的 $\varepsilon$-net,因此

$$ |\mathcal N|\ge N. $$

把过程限制到 $\mathcal N$ 上,可见只需证明

$$ \mathbb E\sup_{t\in\mathcal N}X_t \ge c\varepsilon\sqrt{\log N}. $$

将 $(X_t)_{t\in\mathcal N}$ 与更简单的高斯过程 $(Y_t)_{t\in\mathcal N}$ 比较,其中

$$ Y_t=\frac{\varepsilon}{\sqrt2}g_t $$

且 $g_t$ 是独立 $N(0,1)$ 随机变量。为了使用 Sudakov-Fernique,比较两个过程的增量。若 $t\ne s$ 且 $t,s\in\mathcal N$,由 $\varepsilon$-separated 的定义,

$$ \mathbb E(X_t-X_s)^2=d(t,s)^2\ge\varepsilon^2, $$

$$ \mathbb E(Y_t-Y_s)^2 = \frac{\varepsilon^2}{2}\mathbb E(g_t-g_s)^2 = \varepsilon^2, $$

这里用了 $g_t-g_s\sim N(0,2)$。于是

$$ \mathbb E(X_t-X_s)^2 \ge \mathbb E(Y_t-Y_s)^2 \quad\text{for all }t,s\in\mathcal N. $$

应用 Theorem 7.2.8,得到

$$ \mathbb E\sup_{t\in\mathcal N}X_t \ge \mathbb E\sup_{t\in\mathcal N}Y_t = \frac{\varepsilon}{\sqrt2} \mathbb E\max_{t\in\mathcal N}g_t \ge c\varepsilon\sqrt{\log N}. $$

最后一步用了 $N$ 个 i.i.d. $N(0,1)$ 随机变量的期望最大值至少为 $c\sqrt{\log N}$;见 Exercise 2.38(b)。

7.4.1 $\mathbb R^n$ 中覆盖数的应用

Sudakov 不等式可用来控制任意集合 $T\subset\mathbb R^n$ 的覆盖数。

Corollary 7.4.2$\mathbb R^n$ 中的 Sudakov 不等式

设 $T\subset\mathbb R^n$。对任意 $\varepsilon\gt 0$,

$$ \mathbb E\sup_{t\in T}\langle g,t\rangle \ge c\varepsilon\sqrt{\log\mathcal N(T,\varepsilon)}. $$ 查看学习笔记:Corollary 7.4.2 完整证明
Proof of Corollary 7.4.2典范过程的度量就是欧氏度量

考虑典范高斯过程 $X_t:=\langle g,t\rangle$,其中 $g\sim N(0,I_n)$。如 Section 7.1.2 所述,这个过程的典范距离就是 $\mathbb R^n$ 中的欧氏距离:

$$ d(t,s)=\|X_t-X_s\|_{L^2}=\|t-s\|_2. $$

因此结论直接由 Sudakov 不等式(Theorem 7.4.1)推出。

Exercise 8.5 会证明 Corollary 7.4.2 只差一个对数因子就是尖锐的:

$$ \mathbb E\sup_{t\in T}\langle g,t\rangle \le C\log(n)\,\varepsilon\sqrt{\log\mathcal N(T,\varepsilon)}. $$

作为 Sudakov 不等式的快速应用,粗略重推 Corollary 0.0.3 中关于 $\mathbb R^n$ 中多面体的覆盖数界。

Corollary 7.4.3多面体的覆盖数

设 $P\subset\mathbb R^n$ 是有 $N$ 个顶点的多胞体,且包含在欧氏单位球中。那么对所有 $\varepsilon\gt 0$,

$$ \mathcal N(P,\varepsilon)\le N^{C/\varepsilon^2}. $$ 查看学习笔记:Corollary 7.4.3 完整证明
Proof of Corollary 7.4.3用高斯宽度上界反推覆盖数

设 $x_1,\ldots,x_N$ 是 $P$ 的 vertices。则

$$ \mathbb E\sup_{t\in P}\langle g,t\rangle \le \mathbb E\sup_{i\le N}\langle g,x_i\rangle \le C\sqrt{\log N}. \tag{7.15} $$

第一个界来自最大值原理(Exercise 1.4):因为 $P$ 位于其 vertices 的凸包中,对每个固定 $g$,线性函数 $t\mapsto\langle g,t\rangle$ 在某个 vertex 处达到最大值。第二个界来自最大值不等式 (2.22),因为 $\langle g,x_i\rangle\sim N(0,\|x_i\|_2^2)$ 且 $\|x_i\|_2\le1$。

把 (7.15) 代入 Corollary 7.4.2,并整理,即得

$$ \mathcal N(P,\varepsilon)\le N^{C/\varepsilon^2}. $$

7.5 高斯宽度

Section 7.4.1 中,我们看到一个和任意集合 $T\subset\mathbb R^n$ 相关的重要量:典范高斯过程在 $T$ 上的大小。它在高维概率中频繁出现,所以给它命名,并看看它的基本性质。

Definition 7.5.1高斯宽度

集合 $T\subset\mathbb R^n$ 的高斯宽度定义为

$$ w(T)=\mathbb E\sup_{x\in T}\langle g,x\rangle, \qquad g\sim N(0,I_n). $$

高斯宽度可视为集合 $T\subset\mathbb R^n$ 的一个基本几何量,类似体积或表面积。

Proposition 7.5.2高斯宽度的基本性质

(a) Finiteness:$w(T)$ 有限当且仅当 $T$ 有界。

(b) Invariance:对任意 orthogonal 矩阵 $U$ 和任意 vector $y$,有 $w(UT+y)=w(T)$。

(c) 凸包:$w(\operatorname{conv}(T))=w(T)$。

(d) Minkowski 加法与缩放:对任意 $T,S\subset\mathbb R^n$ 和 $a\in\mathbb R$,

$$ w(T+S)=w(T)+w(S), \qquad w(aT)=|a|w(T). $$

(e) Symmetry:

$$ w(T)=\frac12 w(T-T) = \frac12\mathbb E\sup_{x,y\in T}\langle g,x-y\rangle, $$

(f) 宽度与直径:

$$ \frac1{\sqrt{2\pi}}\operatorname{diam}(T) \le w(T) \le \frac{\sqrt n}{2}\operatorname{diam}(T). $$

(g) Linear maps:对任意 $m\times n$ 矩阵 $A$,有 $w(AT)\le\|A\|w(T)$。

查看学习笔记:Proposition 7.5.2 完整证明
Proof of Proposition 7.5.2(f)高斯宽度与直径的上下界

这里只证明 (f),其余性质留给 Exercise 7.15。

对下界,固定任意 $x,y\in T$。由于 $x-y$ 与 $y-x$ 都属于 $T-T$,由性质 (e),

$$ \begin{aligned} w(T) &\ge \frac12\mathbb E\max\left(\langle x-y,g\rangle,\langle y-x,g\rangle\right)\\ &= \frac12\mathbb E|\langle x-y,g\rangle| = \frac12\sqrt{\frac2\pi}\,\|x-y\|_2. \end{aligned} $$

最后一个等号成立,是因为 $\langle x-y,g\rangle\sim N(0,\|x-y\|_2^2)$ 且 $\mathbb E|X|=\sqrt{2/\pi}$ 对 $X\sim N(0,1)$ 成立。对所有 $x,y\in T$ 取上确界,得到下界。

对 (f) 中的上界,再次使用性质 (e):

$$ \begin{aligned} w(T) &= \frac12\mathbb E\sup_{x,y\in T}\langle g,x-y\rangle\\ &\le \frac12\mathbb E\sup_{x,y\in T}\|g\|_2\|x-y\|_2\\ &\le \frac12\mathbb E\|g\|_2\cdot\operatorname{diam}(T). \end{aligned} $$

又因为 $\mathbb E\|g\|_2\le(\mathbb E\|g\|_2^2)^{1/2}=\sqrt n$,上界得证。

Remark 7.5.3宽度与直径

Proposition 7.5.2(f) 中高斯宽度与直径的上下界都是最优的,不能去掉相差的 $O(\sqrt n)$ 因子;Exercise 7.16 给出达到两端的例子。因此直径不是描述高斯宽度的精细几何量。

查看学习笔记:Exercise 7.16 证明

7.5.1 宽度的几何意义

高斯宽度有很好的几何意义:它描述集合 $T\subset\mathbb R^n$ 在随机方向上看起来有多宽。方向 $\theta\in S^{n-1}$ 上的宽度是包含 $T$ 的最小板状区域(两条垂直于 $\theta$ 的平行超平面之间区域)的宽度,见 Figure 7.3,它可写为 $\sup_{x,y\in T}\langle\theta,x-y\rangle$。如果对所有单位方向 $\theta$ 平均,就得到

$$ \mathbb E\sup_{x,y\in T}\langle\theta,x-y\rangle = \mathbb E\sup_{z\in T-T}\langle\theta,z\rangle. \tag{7.16} $$

查看学习笔记:方向宽度公式

Width of a set in a direction
Figure 7.3:集合 $T$ 在单位向量 $\theta$ 方向上的宽度。
Definition 7.5.4球面宽度

集合 $T\subset\mathbb R^n$ 的球面宽度定义为

$$ w_s(T)=\mathbb E\sup_{x\in T}\langle\theta,x\rangle, \qquad \theta\sim\operatorname{Unif}(S^{n-1}). $$

高斯宽度和球面宽度的唯一区别,是平均所用的随机向量不同:$g\sim N(0,I_n)$ 与 $\theta\sim\operatorname{Unif}(S^{n-1})$。二者都旋转不变,但 $g$ 的长度约为 $\sqrt n$ 倍的 $\theta$。因此得到下面结论。

Lemma 7.5.5高斯宽度与球面宽度

高斯宽度大约是 $\sqrt n$ 倍的球面宽度:

$$ \left(\sqrt n-\frac C{\sqrt n}\right)w_s(T) \le w(T) \le \sqrt n\,w_s(T). $$ 查看学习笔记:Lemma 7.5.5 完整证明
Proof of Lemma 7.5.5把高斯向量分解为长度与方向

把高斯向量 $g$ 写成长度和方向的乘积:

$$ g=r\theta, \qquad r=\|g\|_2,\quad \theta=\frac{g}{\|g\|_2}. $$

由 Exercise 3.22,$\theta\sim\operatorname{Unif}(S^{n-1})$,且 $\theta$ 与 $r$ 独立。因此

$$ \begin{aligned} w(T) &= \mathbb E\sup_{x\in T}\langle r\theta,x\rangle\\ &= \mathbb E[r]\cdot \mathbb E\sup_{x\in T}\langle\theta,x\rangle\\ &= \mathbb E\|g\|_2\cdot w_s(T). \end{aligned} $$

最后使用范数集中(见 Exercise 3.2):

$$ \sqrt n-\frac C{\sqrt n} \le \mathbb E\|g\|_2 \le \sqrt n. $$

代入即可得到结论。

7.5.2 例子

Example 7.5.6欧氏球与球面

欧氏球和球面的高斯宽度为

$$ w(S^{n-1})=w(B_2^n)=\mathbb E\|g\|_2 =\sqrt n\pm \frac C{\sqrt n}. \tag{7.17} $$

对应的球面宽度与 $1$ 同阶。

Example 7.5.7立方体

立方体 $B_\infty^n=[-1,1]^n$ 的高斯宽度为

$$ w(B_\infty^n)=\mathbb E\|g\|_1 =\sqrt{\frac2\pi}\,n. \tag{7.18} $$
Example 7.5.8cross-polytope

cross-polytope $B_1^n$ 的高斯宽度满足

$$ w(B_1^n)=\mathbb E\|g\|_\infty \asymp \sqrt{\log n}. \tag{7.19} $$
Example 7.5.9有限点集

有限点集 $T$ 满足

$$ w(T)\le C\sqrt{\log|T|}\operatorname{diam}(T). $$ 查看学习笔记:有限点集高斯宽度
Proof of Example 7.5.9有限点集的最大高斯上界

通过重新缩放,可假设 $\operatorname{diam}(T)=1/2$;通过平移,可假设 $T$ 位于单位欧氏球中。于是对每个 $x\in T$,$\langle g,x\rangle$ 是均值为零高斯随机变量,且方差至多为 $1$。用最大值不等式 (2.22),

$$ w(T) = \mathbb E\sup_{x\in T}\langle g,x\rangle \le C\sqrt{\log|T|}. $$

恢复缩放,就得到 $w(T)\le C\sqrt{\log|T|}\operatorname{diam}(T)$。

作为练习,可以做 Exercise 7.17:一次性计算任意 $\ell^p$ 球的高斯宽度,从而同时覆盖欧氏球($p=2$)、立方体($p=\infty$)和 cross-polytope($p=1$)。也可以做 Exercises 7.18-7.19,计算算子范数至多为 $1$ 的 $n\times n$ 矩阵集合的高斯宽度。

Remark 7.5.10立方体与 cross-polytope 的直觉差异

从高斯宽度看,立方体 $B_\infty^n$ 的大小接近其外接欧氏球 $\sqrt n B_2^n$;而 cross-polytope $B_1^n$ 的大小更接近其内接欧氏球 $(1/\sqrt n)B_2^n$。直观上,立方体有 $2^n$ 个顶点,宽度由庞大的主体贡献;cross-polytope 只有 $2n$ 个尖点,单个尖点很长但总体宽度仍只有 $\sqrt{\log n}$ 量级。

Milman hyperbolic sketch of cross-polytope Milman hyperbolic sketch of a convex set
Figure 7.4:Milman 对高维凸体的 hyperbolic sketch。

7.5.3 高斯复杂度与有效维数

高斯宽度 $w(T)$ 有几个有用的近亲。通常我们取 $\langle g,t\rangle$ 的期望最大值,但有时 $L^1$ 或 $L^2$ averages 更方便:

$$ w(T)=\mathbb E\sup_{x\in T}\langle g,x\rangle, \qquad \gamma(T)=\mathbb E\sup_{x\in T}|\langle g,x\rangle|, \qquad h(T)=\left(\mathbb E\sup_{x\in T}\langle g,x\rangle^2\right)^{1/2}. $$

这里 $\gamma(T)$ 称为 $T$ 的高斯复杂度。显然

$$ w(T)\le \gamma(T)\le h(T), $$

反向控制也基本成立。

Lemma 7.5.11高斯宽度的等价版本

对任意有界集合 $T\subset\mathbb R^n$:

(a) $\gamma(T-T)=2w(T)$。

(b) 对任意 $y\in T$,$h(T)\asymp\gamma(T)\asymp w(T)+\|y\|_2$。特别地,若 $0\in T$,则

$$ h(T)\asymp\gamma(T)\asymp w(T). $$ 查看学习笔记:Lemma 7.5.11 完整证明
Proof of Lemma 7.5.11用对称化与高斯集中比较三个版本

(a) 由 Proposition 7.5.2(e) 得到,因为 $T-T$ 关于原点对称。

(b) 只证明 $h(T)\asymp\gamma(T)$,而等价式 $\gamma(T)\asymp w(T)+\|y\|_2$ 留给 Exercise 7.20。显然 $\gamma(T)\le h(T)$。

反过来,考虑函数

$$ z\mapsto \sup_{x\in T}|\langle z,x\rangle| $$

定义在 $\mathbb R^n$ 上。它的 Lipschitz 范数至多为 radius

$$ r(T):=\sup_{x\in T}\|x\|_2. $$

由高斯集中 (5.5),

$$ \left\| \sup_{x\in T}|\langle g,x\rangle|-\gamma(T) \right\|_{\psi_2} \lesssim r(T). $$

于是由三角不等式和 Proposition 2.6.6(ii),

$$ \begin{aligned} h(T) &= \left\| \sup_{x\in T}|\langle g,x\rangle| \right\|_{L^2}\\ &\lesssim \left\| \sup_{x\in T}|\langle g,x\rangle| \right\|_{\psi_2}\\ &\lesssim \gamma(T)+r(T) \lesssim \gamma(T). \end{aligned} $$

最后一步用了事实 $\gamma(T)\gtrsim r(T)$;这来自 (b) 的第二部分,只需对 $y\in T$ 取上确界。

查看学习笔记:半径控制 Lipschitz 范数

高斯宽度还帮助定义一个稳健的维数概念。集合 $T\subset\mathbb R^n$ 的普通线性代数维数,也就是包含它的最小仿射空间的维数,会因 $T$ 的微小扰动而大幅变化。下面是更稳健的替代品。

Definition 7.5.12有效维数

有界集合 $T\subset\mathbb R^n$ 的有效维数定义为

$$ d(T)= \frac{h(T-T)^2}{\operatorname{diam}(T)^2} \asymp \frac{w(T)^2}{\operatorname{diam}(T)^2}. $$

它总是被线性代数维数控制:

$$ d(T)\le \dim(T), $$

且当 $T$ 是某个子空间中的欧氏球时取等号;见 Exercise 7.21。与普通维数不同,有效维数是稳定的:$T$ 的小扰动只会轻微改变其宽度和直径。

为了练习有效维数,可以计算椭球的有效维数(Exercise 7.23),并控制一般有限集的有效维数(Exercise 7.22)。

7.6 应用:集合的随机投影

Tips:随机投影这一节把 Gaussian width 变成几何结论:投影后的直径由“线性缩放项”与“球面宽度项”共同控制。初学者应特别看清楚:有效维数以下,投影不再按 $\sqrt{m/n}$ 继续缩小。

如果把集合 $T\subset\mathbb R^n$ 投影到一个随机的 $m$ 维子空间(在 Grassmannian $G_{n,m}$ 中均匀选择),会发生什么?实践中,$T$ 可以是数据集,$P$ 可以看成一种降维方法,比如 Johnson-Lindenstrauss lemma。我们关心投影后的集合 $PT$ 的大小,也就是直径。

对有限集 $T$,Johnson-Lindenstrauss lemma(Theorem 5.3.1)说明,当 $m\gtrsim\log|T|$ 时,随机投影 $P$ 基本上像一个缩放:它把 $T$ 中所有点对距离约缩小为 $\sqrt{m/n}$ 倍。因此特别有

$$ \operatorname{diam}(PT)\approx \sqrt{\frac mn}\operatorname{diam}(T). \tag{7.20} $$

但如果 $T$ 的基数过大或为无限集,(7.20) 可能失败。例如,如果 $T=B_2^n$ 是欧氏球,没有任何投影能真正缩小它的大小:

$$ \dim(PT)=\dim(T). \tag{7.21} $$

那么一般集合 $T$ 会怎样?下一个结果说明,随机投影会按 (7.20) 缩小 $T$,但不能把它缩到球面宽度 $w_s(T)$ 以下。

Theorem 7.6.1集合随机投影后的大小

设 $T\subset\mathbb R^n$ 有界,$P$ 是到随机 $m$ 维子空间 $E\sim\operatorname{Unif}(G_{n,m})$ 的正交投影。那么

$$ \mathbb E\operatorname{diam}(PT) \asymp w_s(T)+\sqrt{\frac mn}\operatorname{diam}(T). $$ 查看学习笔记:Theorem 7.6.1 完整证明
Proof of Theorem 7.6.1用 net、球面集中和并集界控制投影直径

这里只证明上界,下界留给 Exercise 7.26。

步骤 1:改变模型。 像 Proposition 5.3.2 的证明那样改变视角。随机子空间 $E\subset\mathbb R^n$ 可以通过把某个固定子空间,例如 $\mathbb R^m$,随机旋转得到。与其固定 $T$ 并随机旋转 $\mathbb R^m$,不如固定 $E=\mathbb R^m$ 并随机旋转 $T$。若 $U\sim\operatorname{Unif}(O(n))$ 是随机正交矩阵,则向量 $x\in T$ 的随机旋转为 $Ux$。把 $Ux$ 投影到 $E=\mathbb R^m$ 等价于保留前 $m$ 个坐标,即 $Qx$,其中 $Q$ 是由 $U$ 的前 $m$ 行组成的 $m\times n$ 矩阵。因此可以用 $Q$ 代替 $P$。

步骤 2:逼近。 不失一般性,设 $\operatorname{diam}(T)\le1$。需要控制

$$ \operatorname{diam}(QT) = \sup_{x\in T-T}\|Qx\|_2 = \sup_{x\in T-T}\max_{z\in S^{m-1}}\langle Qx,z\rangle. $$

像 Theorem 4.4.3 的证明一样使用 $\varepsilon$-net argument。取 $S^{m-1}$ 的一个 $1/2$-net $\mathcal N$,由 Corollary 4.2.11 可使

$$ |\mathcal N|\le5^m. $$

用 net 替换球面上的上确界,会付出因子 $2$:

$$ \operatorname{diam}(QT) \le 2\max_{z\in\mathcal N} \sup_{x\in T-T}\langle Q^{\mathsf T}z,x\rangle. \tag{7.22} $$

见 Exercise 4.35。计划是:先对固定 $z\in\mathcal N$ 控制

$$ \sup_{x\in T-T}\langle Q^{\mathsf T}z,x\rangle, \tag{7.23} $$

再对所有 $z$ 做并集界。

步骤 3:集中。 固定 $z\in\mathcal N$。由构造,$Q^{\mathsf T}z$ 均匀分布在球面上:

$$ Q^{\mathsf T}z\sim\operatorname{Unif}(S^{n-1}), $$

这个事实在 Exercise 7.24 中仔细验证。于是 (7.23) 的期望可写成球面宽度:

$$ \mathbb E\sup_{x\in T-T}\langle Q^{\mathsf T}z,x\rangle = w_s(T-T) = 2w_s(T), $$

最后一个等号是 Proposition 7.5.2(e) 的 spherical version。

为了检查 (7.23) 围绕其均值集中,使用球面上的集中不等式(Theorem 5.1.3,更具体地说 (5.30))。由于假设 $\operatorname{diam}(T)\le1$,函数

$$ z\mapsto\sup_{x\in T-T}\langle z,x\rangle $$

在球面上的 Lipschitz 范数至多为 $1$。于是 (5.30) 给出

$$ \mathbb P\left\{ \sup_{x\in T-T}\langle Q^{\mathsf T}z,x\rangle \ge 2w_s(T)+t \right\} \le 2\exp(-cnt^2). $$

步骤 4:并集界。 对 $z\in\mathcal N$ 使用并集界,解除固定 $z$:

$$ \mathbb P\left\{ \max_{z\in\mathcal N} \sup_{x\in T-T}\langle Q^{\mathsf T}z,x\rangle \ge 2w_s(T)+t \right\} \le |\mathcal N|\cdot2\exp(-cnt^2). \tag{7.24} $$

回忆 $|\mathcal N|\le5^m$。取 $t=Cs\sqrt{m/n}$,并令绝对常数 $C$ 足够大,则 (7.24) 中概率对任意 $s\ge1$ 都至多为 $2e^{-ms^2}$。结合 (7.24) 与 (7.22),得到

$$ \mathbb P\left\{ \frac12\operatorname{diam}(QT) \ge 2w_s(T)+Cs\sqrt{\frac mn} \right\} \le 2e^{-ms^2}, \qquad s\ge1. $$

由此可用积分尾公式(Lemma 1.6.1)控制 $\mathbb E\operatorname{diam}(QT)$;这一步留给读者检查。恢复一般 $\operatorname{diam}(T)$ 的缩放,即得上界。

查看学习笔记:为什么可归一化 $\operatorname{diam}(T)\le1$ 查看学习笔记:为什么 $Q^{\mathsf T}z$ 均匀分布在球面 查看学习笔记:球面函数的 Lipschitz 范数 查看学习笔记:由尾界推出期望界
Remark 7.6.2相变

从 Theorem 7.6.1 可以得到更多直观。因为两个正项之和与它们的最大值等价(只差因子 $2$),所以可写成

$$ \operatorname{diam}(PT) \asymp \max\left[ w_s(T), \sqrt{\frac mn}\operatorname{diam}(T) \right]. $$

找相变 point,就是让两项相等并解出 $m$:

$$ m= \frac{(\sqrt n\,w_s(T))^2}{\operatorname{diam}(T)^2} \asymp \frac{w(T)^2}{\operatorname{diam}(T)^2} \asymp d(T), $$

这里用了 Lemma 7.5.5 和有效维数 $d(T)$ 的定义(Definition 7.5.12)。所以结论是:当 $m\ge d(T)$ 时,随机投影大致按 $\sqrt{m/n}$ 缩小;一旦 $m$ 降到有效维数 $d(T)$ 以下,缩小停止,直径停在球面宽度 $w_s(T)$ 附近,见 Figure 7.5。这是因为 $\operatorname{conv}(PT)$ 看起来像半径 $w_s(T)$ 的球;Section 9.7.2 会看到这一点。

Phase transition of random projection diameter
Figure 7.5:集合 $T$ 的随机 $m$ 维投影直径随 $m$ 的变化。

借助更多工具,我们将在 Section 9.2.2 中改进 Theorem 7.6.1,去掉 $\sqrt{m/n}$ 前面的常数损失。

7.7 Notes

Slepian 不等式(Theorem 7.2.2)最初归功于 D. Slepian [304, 305];现代证明可见例如 [210, Corollary 3.12]、[11, Section 2.2]、[330, Section 6.1]、[169]、[180]。

Sudakov-Fernique 不等式(Theorem 7.2.8)归功于 V. N. Sudakov [309, 310] 和 X. Fernique [124]。我们在 Section 7.2 中对 Slepian 和 Sudakov-Fernique inequalities 的证明,基于 J.-P. Kahane [180] 的方法以及 S. Chatterjee 的 smoothing argument(见 [11, Section 2.2]),并遵循 [330, Section 6.1]。

比较不等式与随机矩阵 theory 的相关性由 S. Szarek 注意到。Section 7.3 中的应用可从 Y. Gordon [140] 的工作推出。我们在那里的叙述遵循 [94, Section II.c] 的论证,该论证也在 [340, Section 5.3.1] 中复现。

Sudakov 不等式(Theorem 7.4.1)最初由 V. N. Sudakov 证明。我们的叙述遵循 [210, Theorem 3.18];另见 [21, Section 4.2] 中通过 duality 给出的另一种证明。

Section 7.5 中引入的高斯宽度起源于几何泛函分析和渐近凸几何 [21, 246]。从 [290] 开始,人们认识到高斯宽度在信号处理和高维统计学中的作用。Remark 7.5.10 中讨论的 Milman 的 “hyperbolic sketch” 来自 [241];更多相关内容见 [21] 的前言和 [23]。

Section 7.5.3 中引入的有效维数在文献中有若干变体,包括凸锥的 statistical dimension [228, 18, 267]。

Theorem 7.6.1 关于集合随机投影直径的结果归功于 V. Milman [245];另见 [21, Proposition 5.7.1]。

Talagrand 收缩原理(Exercise 7.3)可见 [210, Corollary 3.17],那里还有一个更一般的结果,允许上确界外作用凸递增函数。

Exercise 7.3 改编自 [330, Exercise 7.4]。Exercise 7.8 中高斯收缩不等式的更一般版本可见 [210, Corollary 3.17]。

Gordon 不等式(Theorem 7.2.9)及其扩展可见 [140, 141, 144, 180]。Exercise 7.11 关于对称高斯矩阵的范数,以及 Exercise 7.13(a) 关于高斯矩阵的最小奇异值,来自 [94, Section II.c]。

Exercise 7.18 引入 nuclear 范数,它是 Schatten 范数的一个例子;Schatten 范数是矩阵奇异值的 $\ell^p$ 范数。特殊情形包括 nuclear 范数($p=1$)、Frobenius 范数($p=2$)和算子范数($p=\infty$)。对偶性可自然推广到所有 Schatten 范数,并可由 von Neumann trace inequality 推出。

Exercises

Tips:第 7 章习题最好按工具链阅读:7.1-7.8 巩固随机过程和比较工具,7.9-7.13 训练 Gordon 与高斯矩阵,7.15-7.22 计算 Gaussian width 与有效维数,7.25-7.27 进入随机投影和矩阵草图应用。
Exercise 7.1协方差 vs 增量

设 $(X_t)$ 是随机过程。

(a) 假设过程包含零随机变量 $0$。把协方差函数 $\Sigma(t,s)=\mathbb E X_tX_s$ 用度量 $d(t,s)=\|X_t-X_s\|_{L^2}$ 表示出来。

(b) 在过程对取负封闭,即 $X_t$ 在过程中就有 $-X_t$ 也在过程中时,做同样的表示。

(c) 构造例子说明:如果没有这些额外假设,通常不能由增量恢复协方差。

查看学习笔记:Exercise 7.1 证明
Exercise 7.2随机过程的对称化

令 $X_1(t),\ldots,X_N(t)$ 是独立、均值为 $0$ 的随机过程,均由 $t\in T$ 索引。令 $\varepsilon_i$ 为独立 Rademacher 随机变量。证明

$$ \frac12\mathbb E\sup_{t\in T} \left|\sum_{i=1}^N\varepsilon_iX_i(t)\right| \le \mathbb E\sup_{t\in T} \left|\sum_{i=1}^NX_i(t)\right| \le 2\mathbb E\sup_{t\in T} \left|\sum_{i=1}^N\varepsilon_iX_i(t)\right|. $$ 查看学习笔记:Exercise 7.2 证明
Exercise 7.3Talagrand 收缩原理

令 $T\subset\mathbb R^n$ 有界,令 $\varphi_i:\mathbb R\to\mathbb R$ 为收缩映射,即 Lipschitz 常数不超过 $1$。证明

$$ \mathbb E\sup_{t\in T}\sum_i\varepsilon_i\varphi_i(t_i) \le \mathbb E\sup_{t\in T}\sum_i\varepsilon_i t_i. \tag{7.25} $$

(a) 先证明 $n=2$ 的一步不等式:对 $T\subset\mathbb R^2$ 与收缩 $\varphi$,有

$$ \sup_T(t_1+\varphi(t_2))+\sup_T(t_1-\varphi(t_2)) \le \sup_T(t_1+t_2)+\sup_T(t_1-t_2). $$

(b) 对 $n$ 做归纳。

查看学习笔记:Exercise 7.3 证明
Exercise 7.4一般 Talagrand 收缩原理

把 Exercise 7.3 推广到一般 Lipschitz 函数 $\varphi_i:\mathbb R\to\mathbb R$,其中 Lipschitz 常数不必都小于等于 $1$。

查看学习笔记:Exercise 7.4 证明
Exercise 7.5将随机游走表示为典范过程

把 Example 7.1.3 中 $N$ 步随机游走写成典范高斯过程 (7.2) 在某个集合 $T\subset\mathbb R^N$ 上的限制,其中 $Z_i\sim N(0,1)$。

查看学习笔记:Exercise 7.5 证明
Exercise 7.6多元高斯分部积分
Exercise 7.7Differentiating expected log-partition 函数

在 Sudakov-Fernique 不等式的证明中,令 $Z(u)=\sqrt u\,X+\sqrt{1-u}\,Y$,并令

$$ f(x)=\frac1\beta\log\sum_i e^{\beta x_i}. $$

验证 $\frac d{du}\mathbb E f(Z(u))\le0$,步骤如下。

(a) 证明

$$ \partial_i f(x)= \frac{e^{\beta x_i}}{\sum_k e^{\beta x_k}} =:p_i(x), \qquad \partial_{ij}^2f(x)=\beta(\delta_{ij}p_i(x)-p_i(x)p_j(x)). $$

(b) 用高斯插值公式 (7.9) 化简得到

$$ \frac d{du}\mathbb Ef(Z(u)) = \frac\beta4\sum_{i\ne j} \bigl[ \mathbb E(X_i-X_j)^2-\mathbb E(Y_i-Y_j)^2 \bigr] \mathbb E p_i(Z(u))p_j(Z(u)). $$

(c) 在 Sudakov-Fernique 的假设下说明该表达式非正。

查看学习笔记:Exercise 7.7 证明
Exercise 7.8高斯收缩

令 $T\subset\mathbb R^n$ 有界,令 $g_i$ 为独立标准高斯,令 $\varphi_i$ 为收缩映射。用 Sudakov-Fernique 不等式证明

$$ \mathbb E\sup_{t\in T}\sum_i g_i\varphi_i(t_i) \le \mathbb E\sup_{t\in T}\sum_i g_i t_i. $$ 查看学习笔记:Exercise 7.8 证明
Exercise 7.9Gordon 不等式

在额外假设

$$ \mathbb E X_{ut}^2=\mathbb E Y_{ut}^2 \qquad\text{for all }u,t $$

下,证明 Theorem 7.2.9。这个同方差假设可以去掉,但本题不要求证明去掉后的版本。

查看学习笔记:Exercise 7.9 证明
Exercise 7.10Frobenius distance

证明:对 $u,w\in S^{n-1}$ 与 $v,z\in S^{m-1}$,有

$$ \|uv^{\mathsf T}-wz^{\mathsf T}\|_F^2 \le \|u-w\|_2^2+\|v-z\|_2^2. $$ 查看学习笔记:Exercise 7.10 证明
Exercise 7.11GOE 随机矩阵的范数

令 $A$ 是 $n\times n$ 高斯对称矩阵,上三角元素独立,其中对角线元素服从 $N(0,2)$,非对角线元素服从 $N(0,1)$。

(a) 证明 $\mathbb E\|A\|\le2\sqrt n$。

(b) 证明尾界

$$ \mathbb P\{\|A\|\ge2\sqrt n+t\}\le2\exp(-ct^2). $$ 查看学习笔记:Exercise 7.11 证明
Exercise 7.12高斯向量范数

令 $g\sim N(0,I_n)$。证明函数

$$ f(n)=\mathbb E\|g\|_2-\sqrt n $$

在 $n\ge C$ 时单调递增。

查看学习笔记:Exercise 7.12 证明
Exercise 7.13Smallest 奇异值

令 $A$ 为 $m\times n$ 高斯随机矩阵,且 $m\ge n\ge C$。用 Gordon 不等式证明:

(a) $\mathbb E s_n(A)\ge\sqrt m-\sqrt n$。

(b) 对所有 $t\ge0$,

$$ \mathbb P\{s_n(A)\le\sqrt m-\sqrt n-t\} \le 2\exp(-ct^2). $$ 查看学习笔记:Exercise 7.13 证明
Exercise 7.14非紧度量空间上的 Sudakov 不等式

若 $(T,d)$ 不是 relatively compact,即存在 $\varepsilon\gt 0$ 使得 $\mathcal N(T,d,\varepsilon)=\infty$,证明均值为零的高斯过程满足

$$ \mathbb E\sup_{t\in T}X_t=\infty. $$ 查看学习笔记:Exercise 7.14 证明
Exercise 7.15高斯宽度的性质

证明 Proposition 7.5.2 中的性质 (a)-(d) 与 (g)。

查看学习笔记:Exercise 7.15 证明
Exercise 7.16高斯宽度 and 直径

构造例子说明 Proposition 7.5.2(f) 中高斯宽度与直径的上下界在任意维数 $n$ 下都可达到常数因子精度。

查看学习笔记:Exercise 7.16 证明
Exercise 7.17$\ell^p$ 球的高斯宽度

令 $1\le p\le\infty$,并令 $B_p^n$ 为 $\mathbb R^n$ 中的 unit $\ell^p$ 球。证明

$$ w(B_p^n)\asymp \begin{cases} \sqrt{p'}\,n^{1/p'}, & p'\le\log n,\\ \sqrt{\log n}, & p'\ge\log n, \end{cases} $$

其中 $p'$ 是 $p$ 的共轭指数。

查看学习笔记:Exercise 7.17 证明
Exercise 7.18Nuclear 范数

对矩阵 $A$,定义 nuclear 范数为奇异值之和:

$$ \|A\|_*=\sum_i s_i(A). $$

(a) 证明 nuclear 范数是算子范数的对偶范数:

$$ \|A\|_*=\max\{\langle A,B\rangle:\|B\|\le1\}. $$

(b) 推出 nuclear 范数确实是一个范数。

查看学习笔记:Exercise 7.18 证明
Exercise 7.19高斯宽度 of 矩阵 with bounded 算子范数

令 $T=\{B:\|B\|\le1\}$ 为所有 $n\times n$ 矩阵中算子范数至多为 $1$ 的集合。证明

$$ w(T)\asymp n^{3/2}. $$ 查看学习笔记:Exercise 7.19 证明
Exercise 7.20高斯宽度 vs 高斯复杂度

设 $T\subset\mathbb R^n$ 有界,并取 $y\in T$。证明

$$ \gamma(T)\asymp w(T)+\|y\|_2. $$ 查看学习笔记:Exercise 7.20 证明
Exercise 7.21有效维数 vs algebraic dimension

(a) 证明 $d(T)\le\dim(T)$。

(b) 当 $T$ 是某个子空间中的欧氏球时,证明等号成立。

查看学习笔记:Exercise 7.21 证明
Exercise 7.22有效维数 of a 有限集

若 $T$ 是有限集合,证明

$$ d(T)\le C\log|T|. $$ 查看学习笔记:Exercise 7.22 证明
Exercise 7.23椭球

考虑 ellipsoid $A(B_2^n)$。

(a) 证明 $w(A(B_2^n))\asymp\|A\|_F$。

(b) 证明

$$ d(A(B_2^n))=r(A^{\mathsf T}A)=s(A), $$

其中 $d$ 是有效维数,$r$ 是有效秩,$s$ 是稳定秩。

查看学习笔记:Exercise 7.23 证明
Exercise 7.24在球面上建模随机向量

令 $z\in S^{m-1}$ 固定。令 $U$ 在正交群 $O(n)$ 上服从 Haar 分布,并令 $B$ 为 $U$ 的前 $m$ 列。验证 $Bz$ 均匀分布在 $S^{n-1}$ 上。

查看学习笔记:Exercise 7.24 证明
Exercise 7.25高斯 projections

令 $G$ 为 $m\times n$ i.i.d. 高斯矩阵。证明对任意有界 $T\subset\mathbb R^n$,

$$ \mathbb E\operatorname{diam}(GT) \asymp w(T)+\sqrt m\,\operatorname{diam}(T). $$ 查看学习笔记:Exercise 7.25 证明
Exercise 7.26随机投影: 下界

证明 Theorem 7.6.1 的下界:

$$ \mathbb E\operatorname{diam}(PT) \ge c\left[ w_s(T)+\sqrt{\frac mn}\operatorname{diam}(T) \right]. $$ 查看学习笔记:Exercise 7.26 证明
Exercise 7.27矩阵草图

令 $A$ 为一个大的 $n\times k$ 矩阵。

(a) 若 $P$ 是到随机 $m$ 维子空间的正交投影,证明

$$ \mathbb E\|PA\| \asymp \frac1{\sqrt n}\|A\|_F+\sqrt{\frac mn}\|A\|. $$

(b) 若 $G$ 是 $m\times n$ i.i.d. 高斯矩阵,证明

$$ \mathbb E\|GA\| \asymp \|A\|_F+\sqrt m\,\|A\|. $$ 查看学习笔记:Exercise 7.27 证明
学习笔记 Ch.7 随机过程

第 7 章学习笔记:随机过程

一句话定位

第 7 章把“一个随机向量的范数”升级为“一族随机变量的上确界”:用 Gaussian interpolation 比较 Gaussian processes,再把 $\mathbb E\sup_{t\in T}\langle g,t\rangle$ 解释为集合 $T$ 的 Gaussian width

本章导读

本章核心问题是:当随机量不再是单个 $X$,而是一族 $(X_t)_{t\in T}$ 时,怎样控制 $\sup_tX_t$?答案分两步。第一步是 Gaussian comparison:只要两个 Gaussian processes 的增量可以比较,就可以比较它们的上确界。第二步是几何化:canonical Gaussian process 的增量就是 Euclidean 距离,于是过程大小变成集合几何量。

章节 内容 在主线中的作用
7.1 随机过程、协方差、增量、canonical Gaussian process 把过程变成带 metric 的索引集合
7.2 Slepian、Sudakov-Fernique、Gordon 用增量比较上确界和 min-max
7.3 Gaussian matrices 用比较不等式给出 $\sqrt m+\sqrt n$ sharp 范数界
7.4 Sudakov inequality 用 covering number 下界 Gaussian process 大小
7.5 Gaussian width 与 effective dimension 把 process complexity 翻译成集合几何
7.6 Random projections of sets 用 Gaussian width 描述随机投影后的直径

本页使用方式

你现在卡在哪里 先看哪里 读完应形成的判断
不知道随机过程和随机向量有什么差别 7.1 随机过程是由索引集组织的一族随机变量,有限索引时就是随机向量。
Slepian / Sudakov-Fernique 条件难记 7.2 比较对象不是方差本身,而是 canonical metric 的增量。
Gaussian interpolation 看起来抽象 Lemma 7.2.5 插值只是在比较 $\mathbb Ef(Z(u))$ 随 $u$ 的单调性。
Gaussian width 不像几何量 7.5.1 它是在随机方向上看集合平均有多宽。
random projection 的相变不清楚 7.6 当 $m$ 降到 effective dimension 以下,直径不再按 $\sqrt{m/n}$ 缩小。

本章主线

推进层 要解决的问题 关键转折 后续用途
过程度量化 如何描述索引之间的相关性? 用 $d(t,s)=\|X_t-X_s\|_{L^2}$ Gaussian comparison、chaining
比较不等式 如何估计 $\mathbb E\sup X_t$? 增量支配 $\Rightarrow$ 上确界比较 Gaussian matrices、Sudakov
Gaussian width canonical process 的大小是什么? $\mathbb E\sup_{x\in T}\langle g,x\rangle=w(T)$ 统计复杂度、投影、恢复
Effective dimension 哪个维度真正控制集合? $d(T)\asymp w(T)^2/\operatorname{diam}(T)^2$ random projection phase transition
随机投影 投影后集合多大? $w_s(T)+\sqrt{m/n}\operatorname{diam}(T)$ 第 9 章矩阵偏差与 Dvoretzky

本章学习路线

先抓住一个问题
随机过程把概率问题变成索引集合的几何问题。

如果知道任意两点 $t,s$ 之间的增量大小,就知道 canonical metric。Gaussian comparison 让我们只用这个 metric 控制过程的上确界。

初学者先抓三件事
  1. Slepian:同方差 + 增量支配。
  2. Sudakov-Fernique:去掉同方差,只比较期望上确界。
  3. Gaussian width:canonical process 的期望上确界。
Gaussian processcanonical metriccomparisonGaussian widtheffective dimensionrandom projections

分层阅读路线

层次 先抓什么 推荐入口 暂时怎么处理
第一遍:主线阅读 Random process、canonical metric、Gaussian comparison、Gaussian width、random projections 本章主线、核心对象与符号表 先看懂“过程上确界 = 索引集合几何”。
第二遍:证明精读 Slepian、Sudakov-Fernique、Gordon、Sudakov inequality 关键定理完整证明、三种比较 把每个比较定理的增量条件和输出区分清楚。
第三遍:习题与应用 Gaussian matrix norm、width 计算、effective dimension、random projection Exercises 7.1-7.27 先把每题对应到 comparison、width 或 projection。
专题回看 Gaussian width、effective dimension、随机投影相变 第 8 章 chaining、第 9 章 matrix deviation 为 generic chaining、$M^*$ 和 Dvoretzky 做准备。

初学者补充:三种比较

Reading PatternSlepian

同方差时,如果 $Y$ 的增量比 $X$ 大,那么 $Y$ 的最大值更倾向于取大值。

Reading PatternSudakov-Fernique

不要求同方差,只给出期望上确界比较,是估计 Gaussian width 的常用工具。

Reading PatternGordon

处理 $\inf_u\sup_t$ 的 min-max 结构,用于 smallest singular value 和 escape theorem。

核心对象与符号表

符号 / 对象 含义 本章用途
$(X_t)_{t\in T}$ random process 被研究的一族随机变量
$d(t,s)$ canonical metric 衡量过程增量大小
$\Sigma(t,s)$ covariance function 决定均值零 Gaussian process
$X_t=\langle g,t\rangle$ canonical Gaussian process 把集合几何转成概率
$w(T)$ Gaussian width $\mathbb E\sup_{x\in T}\langle g,x\rangle$
$w_s(T)$ spherical width 用随机单位方向定义的宽度
$\gamma(T),h(T)$ Gaussian complexity 与二次版本 与 $w(T)$ 基本等价
$d(T)$ effective dimension 随机投影相变点

关键定理卡片

结论 条件 核心用途 证明入口
Slepian 同方差 + 增量支配 随机支配最大值 证明
Sudakov-Fernique 增量支配 比较期望上确界 证明
Gordon product index 的两类增量支配 min-max Gaussian 比较 证明
Gaussian matrix norm i.i.d. Gaussian entries $\mathbb E\|A\|\le\sqrt m+\sqrt n$ 证明
Sudakov inequality Gaussian process covering number 下界 证明
Random projection size bounded set $T$ 投影直径相变 证明

关键定理完整证明

ProofTheorem 7.1.11:Gaussian process concentration
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明有限 Gaussian process 的上确界围绕均值次高斯集中。

完整证明:有限 $T=\{t_1,\dots,t_N\}$ 时,向量 $X=(X_{t_1},\dots,X_{t_N})$ 是 Gaussian random vector。令 $f(x)=\max_i x_i$。对 Euclidean norm,$f$ 是 1-Lipschitz;若把 $X$ 表示为 $\Sigma^{1/2}g$,则 $g\mapsto f(\Sigma^{1/2}g)$ 的 Lipschitz 范数不超过 $\|\Sigma^{1/2}\|_{2\to\infty}$,该量等于 $\max_i\sqrt{\operatorname{Var}(X_{t_i})}$。对标准 Gaussian vector 使用 Gaussian concentration,即得 $\psi_2$ 界。

ProofLemma 7.1.12:Gaussian vector 的 canonical representation
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:把任意均值零 Gaussian vector 表示成 canonical process 的有限维边缘。

完整证明:设 $X\sim N(0,\Sigma)$。取 $g\sim N(0,I_n)$,则 $\Sigma^{1/2}g\sim N(0,\Sigma)$,故与 $X$ 同分布。令 $t_i$ 为矩阵 $\Sigma^{1/2}$ 的第 $i$ 行,则 $(\Sigma^{1/2}g)_i=\langle t_i,g\rangle$。因此 $X\stackrel d=(\langle g,t_i\rangle)_{i=1}^n$。

ProofLemma 7.2.3:Gaussian integration by parts
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\mathbb EXf(X)=\mathbb Ef'(X)$。

完整证明:设 $p(x)=(2\pi)^{-1/2}e^{-x^2/2}$。先对 compact support 的 $f$ 积分分部:

$$\mathbb Ef'(X)=\int f'(x)p(x)dx=-\int f(x)p'(x)dx.$$

由于 $p'(x)=-xp(x)$,右侧等于 $\int xf(x)p(x)dx=\mathbb EXf(X)$。一般可微函数由截断和逼近取得,期望存在保证极限可交换。

ProofLemma 7.2.4:多元 Gaussian integration by parts
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\mathbb EX_if(X)=\sum_j\Sigma_{ij}\mathbb E\partial_jf(X)$。

完整证明:写 $X=\Sigma^{1/2}g$,$g\sim N(0,I_n)$。则 $X_i=\sum_k(\Sigma^{1/2})_{ik}g_k$。对函数 $\varphi(g)=f(\Sigma^{1/2}g)$ 应用一维 integration by parts 到每个 $g_k$:

$$\mathbb Eg_k\varphi(g)=\mathbb E\partial_k\varphi(g)=\sum_j(\Sigma^{1/2})_{jk}\mathbb E\partial_jf(X).$$

乘上 $(\Sigma^{1/2})_{ik}$ 并对 $k$ 求和,得到系数 $\sum_k(\Sigma^{1/2})_{ik}(\Sigma^{1/2})_{jk}=\Sigma_{ij}$。

ProofLemma 7.2.5:Gaussian interpolation formula
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:计算 $\frac d{du}\mathbb Ef(Z(u))$。

完整证明:由链式法则,

$$\frac d{du}\mathbb Ef(Z(u))=\frac12\sum_i\mathbb E\partial_if(Z(u))\left(\frac{X_i}{\sqrt u}-\frac{Y_i}{\sqrt{1-u}}\right).$$

条件化 $Y$,对 $X$ 使用 Lemma 7.2.4,并注意 $\partial_j[\partial_if(\sqrt uX+\sqrt{1-u}Y)]=\sqrt u\,\partial_{ij}^2f(Z(u))$,得到 $X$ 部分贡献为 $\frac12\sum_{ij}\Sigma^X_{ij}\mathbb E\partial_{ij}^2f(Z(u))$。对 $Y$ 部分同算,因前面有负号,贡献为 $-\frac12\sum_{ij}\Sigma^Y_{ij}\mathbb E\partial_{ij}^2f(Z(u))$。合并即得公式。

ProofLemma 7.2.6:Slepian 函数形式
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:用 interpolation 证明 $\mathbb Ef(X)\ge\mathbb Ef(Y)$。

完整证明:同方差与增量条件给出 $\Sigma^X_{ii}=\Sigma^Y_{ii}$,且对 $i\ne j$,$\Sigma^X_{ij}\ge\Sigma^Y_{ij}$。由 Lemma 7.2.5,导数等于 $\frac12\sum_{ij}(\Sigma^X_{ij}-\Sigma^Y_{ij})\mathbb E\partial_{ij}^2f(Z(u))$。对角项系数为 $0$,非对角项的两个因子均非负,因此导数非负。于是 $\mathbb Ef(Z(1))\ge\mathbb Ef(Z(0))$,即 $\mathbb Ef(X)\ge\mathbb Ef(Y)$。

ProofTheorem 7.2.7:Slepian inequality
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:由函数形式推出最大值的随机支配与期望比较。

完整证明:取二阶可微非增函数 $h:\mathbb R\to[0,1]$,逼近 $\mathbf1_{(-\infty,\tau)}$,令 $f(x)=\prod_i h(x_i)$。对 $i\ne j$,$\partial_{ij}^2f=h'(x_i)h'(x_j)\prod_{k\ne i,j}h(x_k)\ge0$。Lemma 7.2.6 给出 $\mathbb Ef(X)\ge\mathbb Ef(Y)$。让平滑逼近收敛到指标函数,得到 $\mathbb P\{\max_iX_i<\tau\}\ge\mathbb P\{\max_iY_i<\tau\}$,等价于上尾支配。若最大值的正负部分可积,期望比较由 tail integration 得到;一般用截断后取极限。

ProofTheorem 7.2.8:Sudakov-Fernique
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:只用增量支配比较 Gaussian processes 的期望上确界。

完整证明:有限维情形令 $f_\beta(x)=\beta^{-1}\log\sum_i e^{\beta x_i}$。Exercise 7.7 的计算给出

$$\frac d{du}\mathbb Ef_\beta(Z(u))=\frac\beta4\sum_{i\ne j}\bigl[\mathbb E(X_i-X_j)^2-\mathbb E(Y_i-Y_j)^2\bigr]\mathbb Ep_i(Z(u))p_j(Z(u))\le0.$$

因此 $\mathbb Ef_\beta(X)\le\mathbb Ef_\beta(Y)$。令 $\beta\to\infty$,$f_\beta(x)\to\max_i x_i$,得到有限维结论。一般索引集按有限子集定义上确界期望,取上确界即可。

ProofTheorem 7.2.9:Gordon inequality
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:说明 min-max Gaussian comparison 的证明机制。

完整证明:在 Exercise 7.9 的同方差版本中,用平滑函数逼近 $\inf_u\sup_t x_{ut}$。对同一个 $u$ 内部的 $t$ 方向,二阶混合导数与 sup 平滑项同号,需要 $X$ 的 $t$-增量被 $Y$ 支配;对不同 $u$ 的交叉项,由 inf 平滑带来相反符号,需要 $X$ 的跨 $u$ 增量支配 $Y$。将该平滑函数代入 Gaussian interpolation formula 后,导数符号按两类项分别控制。积分 $u\in[0,1]$ 并让平滑参数趋于极限,得到随机支配;期望比较由 tail integration 得到。

ProofTheorem 7.3.1:Gaussian matrix norm
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\mathbb E\|A\|\le\sqrt m+\sqrt n$。

完整证明:

$$\|A\|=\sup_{u\in S^{n-1},v\in S^{m-1}}\langle Au,v\rangle=: \sup_{u,v}X_{uv}.$$

定义比较过程 $Y_{uv}=\langle g,u\rangle+\langle h,v\rangle$,其中 $g,h$ 为独立标准 Gaussian vectors。直接计算

$$\mathbb E(X_{uv}-X_{wz})^2=\|uv^{\mathsf T}-wz^{\mathsf T}\|_F^2\le\|u-w\|_2^2+\|v-z\|_2^2=\mathbb E(Y_{uv}-Y_{wz})^2.$$

由 Sudakov-Fernique,$\mathbb E\|A\|\le\mathbb E\sup_{u,v}Y_{uv}=\mathbb E\|g\|_2+\mathbb E\|h\|_2\le\sqrt n+\sqrt m$。

ProofCorollary 7.3.2:Gaussian matrix norm tails
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:把期望界提升为高概率界。

完整证明:把矩阵 $A$ 向量化为 $\mathbb R^{mn}$ 中的标准 Gaussian vector。函数 $A\mapsto\|A\|$ 对 Frobenius norm 是 1-Lipschitz,因为 $|\|A\|-\|B\||\le\|A-B\|\le\|A-B\|_F$。Gaussian concentration 给出 $\mathbb P\{\|A\|\ge\mathbb E\|A\|+t\}\le2e^{-ct^2}$。代入 Theorem 7.3.1 的期望界即可。

ProofTheorem 7.4.1:Sudakov inequality
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:用 covering number 下界 Gaussian process 的期望上确界。

完整证明:设 $N=\mathcal N(T,d,\varepsilon)<\infty$。取 maximal $\varepsilon$-separated subset $\mathcal M$,则 $\mathcal M$ 是 $\varepsilon$-net,故 $|\mathcal M|\ge N$。限制到 $\mathcal M$ 后,只需下界 $\mathbb E\sup_{t\in\mathcal M}X_t$。定义 $Y_t=(\varepsilon/\sqrt2)g_t$,其中 $g_t$ 独立标准正态。对 $t\ne s$,$\mathbb E(Y_t-Y_s)^2=\varepsilon^2\le d(t,s)^2=\mathbb E(X_t-X_s)^2$。由 Sudakov-Fernique,$\mathbb E\sup_{\mathcal M}X_t\ge\mathbb E\sup_{\mathcal M}Y_t=(\varepsilon/\sqrt2)\mathbb E\max_{t\in\mathcal M}g_t\ge c\varepsilon\sqrt{\log N}$。

ProofCorollary 7.4.2:Euclidean Sudakov
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:把 Sudakov inequality 应用于 canonical Gaussian process。

完整证明:取 $X_t=\langle g,t\rangle$。则 canonical metric 为 $d(t,s)=\|t-s\|_2$,因此 $\mathcal N(T,d,\varepsilon)$ 就是 Euclidean covering number。把 Theorem 7.4.1 直接用于该过程,得到结论。

ProofCorollary 7.4.3:polytope covering
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $N$ 顶点 polytope 的 covering number 上界。

完整证明:设顶点为 $x_1,\dots,x_N$。固定 $g$ 时,线性函数 $t\mapsto\langle g,t\rangle$ 在 polytope 上的最大值可在顶点取得,所以 $\sup_{t\in P}\langle g,t\rangle=\max_i\langle g,x_i\rangle$。由于 $\|x_i\|_2\le1$,Gaussian maximal inequality 给出 $\mathbb E\max_i\langle g,x_i\rangle\le C\sqrt{\log N}$。Corollary 7.4.2 给出 $c\varepsilon\sqrt{\log\mathcal N(P,\varepsilon)}\le C\sqrt{\log N}$,整理得 $\mathcal N(P,\varepsilon)\le N^{C/\varepsilon^2}$。

ProofProposition 7.5.2:Gaussian width 性质
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 Gaussian width 的基本代数与几何性质。

完整证明:有限性由 $\sup_{x\in T}\langle g,x\rangle$ 与半径的比较得到;正交不变性来自 $U^{\mathsf T}g\stackrel d=g$,平移项期望为 $\mathbb E\langle g,y\rangle=0$。凸包不变性来自线性函数在凸包上的上确界等于在原集合上的上确界。Minkowski 加法由 $\sup_{t+s}\langle g,t+s\rangle=\sup_t\langle g,t\rangle+\sup_s\langle g,s\rangle$。对称性由 $g\stackrel d=-g$ 推出 $w(T-T)=2w(T)$。直径下界取任意 $x,y\in T$,用 $\mathbb E|\langle g,x-y\rangle|=\sqrt{2/\pi}\|x-y\|_2$;上界用 Cauchy-Schwarz 控制 $\langle g,x-y\rangle\le\|g\|_2\operatorname{diam}(T)$。线性映射性质由 $w(AT)=\mathbb E\sup_{t\in T}\langle A^{\mathsf T}g,t\rangle\le\|A\|w(T)$ 的标准比较得到。

ProofLemma 7.5.5:Gaussian vs spherical width
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:比较 $w(T)$ 与 $w_s(T)$。

完整证明:写 $g=r\theta$,其中 $r=\|g\|_2$,$\theta=g/\|g\|_2$。Gaussian 的方向与长度独立,且 $\theta$ 均匀分布在球面上。因此

$$w(T)=\mathbb E\sup_{x\in T}\langle r\theta,x\rangle=\mathbb Er\cdot w_s(T).$$

由 Gaussian norm 的估计,$\sqrt n-C/\sqrt n\le\mathbb E\|g\|_2\le\sqrt n$,代入即可。

ProofLemma 7.5.11:width、complexity 与 $h(T)$
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\gamma,h,w$ 的基本等价。

完整证明:$T-T$ 关于原点对称,因此 $\gamma(T-T)=\mathbb E\sup_{z\in T-T}|\langle g,z\rangle|=\mathbb E\sup_{z\in T-T}\langle g,z\rangle=w(T-T)=2w(T)$。另一方面,$\gamma(T)\le h(T)$ 由 $L^1\le L^2$。令 $F(g)=\sup_{x\in T}|\langle g,x\rangle|$,其 Lipschitz 范数不超过 $r(T)=\sup_{x\in T}\|x\|_2$。Gaussian concentration 给出 $\|F-\gamma(T)\|_{\psi_2}\lesssim r(T)$,从而 $h(T)=\|F\|_{L^2}\lesssim\gamma(T)+r(T)$。再由 $\gamma(T)\gtrsim r(T)$ 得 $h(T)\lesssim\gamma(T)$。最后用平移 $T-y$ 和三角不等式得 $\gamma(T)\asymp w(T)+\|y\|_2$。

ProofTheorem 7.6.1:随机投影直径
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\mathbb E\operatorname{diam}(PT)\asymp w_s(T)+\sqrt{m/n}\operatorname{diam}(T)$。

完整证明:先证明上界。由齐次性设 $\operatorname{diam}(T)\le1$。把随机子空间投影改写为固定 $\mathbb R^m$ 后对集合随机旋转,记 $Q$ 为 Haar orthogonal matrix 的前 $m$ 行。取 $S^{m-1}$ 的 $1/2$-net $\mathcal N$,$|\mathcal N|\le5^m$。net argument 给出

$$\operatorname{diam}(QT)\le2\max_{z\in\mathcal N}\sup_{x\in T-T}\langle Q^{\mathsf T}z,x\rangle.$$

固定 $z$,$Q^{\mathsf T}z$ 均匀分布在 $S^{n-1}$,故该上确界的期望为 $w_s(T-T)=2w_s(T)$。函数 $\theta\mapsto\sup_{x\in T-T}\langle\theta,x\rangle$ 的 Lipschitz 范数不超过 $\operatorname{diam}(T)\le1$,球面集中给出尾界 $2e^{-cnt^2}$。对 $|\mathcal N|\le5^m$ 取 union bound,令 $t=Cs\sqrt{m/n}$,再积分尾概率,得上界。下界由 Exercise 7.26:一方面 $\operatorname{diam}(PT)\ge c\,w_s(T)$;另一方面对实现直径的两点差向量,随机投影长度期望为 $c\sqrt{m/n}$ 倍原长度,得到第二项。

正文隐藏验证补全

Hidden Check7.1:随机游走增量
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:计算 $d(n,m)=\sqrt{n-m}$。

完整证明:当 $n\ge m$,$X_n-X_m=\sum_{i=m+1}^n Z_i$。独立、均值零、方差一给出 $\mathbb E(X_n-X_m)^2=\sum_{i=m+1}^n\mathbb EZ_i^2=n-m$,开方即得。

Hidden Check7.1:canonical process 增量
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\|X_t-X_s\|_{L^2}=\|t-s\|_2$。

完整证明:$X_t-X_s=\langle g,t-s\rangle$。由于 $g\sim N(0,I_n)$,该变量服从 $N(0,\|t-s\|_2^2)$,所以其 $L^2$ 范数为标准差 $\|t-s\|_2$。

Hidden Check7.2:为什么可假设 $X,Y$ 独立
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:说明 comparison proof 中可重构联合分布。

完整证明:要比较的量只依赖 $X$ 和 $Y$ 各自的边缘分布,而不依赖二者之间的联合耦合。给定两个 Gaussian vectors 的边缘分布,可以在乘积概率空间上构造相互独立的副本 $\tilde X,\tilde Y$,它们分别与 $X,Y$ 同分布。所有待证不等式对边缘分布表述,因此可使用独立副本进行 interpolation。

Hidden Check7.2:插值协方差
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\Sigma(Z(u))=u\Sigma(X)+(1-u)\Sigma(Y)$。

完整证明:$Z(u)=\sqrt uX+\sqrt{1-u}Y$。由于 $X,Y$ 独立且均值零,交叉协方差为 $0$。因此 $\mathbb EZ_iZ_j=u\mathbb EX_iX_j+(1-u)\mathbb EY_iY_j$,即矩阵形式的结论。

Hidden Check7.2:随机支配推出期望比较
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:由 $\mathbb P\{M_X\ge\tau\}\le\mathbb P\{M_Y\ge\tau\}$ 推出 $\mathbb EM_X\le\mathbb EM_Y$。

完整证明:对非负部分使用 $\mathbb EZ_+=\int_0^\infty\mathbb P\{Z\ge t\}dt$,对负部分可先平移两个最大值使其非负,或对截断变量使用同一积分公式。随机支配保证每个阈值处上尾不大,积分后期望不大。

Hidden Check7.2:soft maximum 的导数
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:补齐 Sudakov-Fernique 中 $f_\beta$ 的计算。

完整证明:令 $p_i(x)=e^{\beta x_i}/\sum_ke^{\beta x_k}$。则 $\partial_if=p_i$,且 $\partial_{ij}^2f=\beta(\delta_{ij}p_i-p_ip_j)$。代入 interpolation formula,对角项可用 $\sum_i p_i=1$ 合并,得到 $\frac\beta4\sum_{i\ne j}[\mathbb E(X_i-X_j)^2-\mathbb E(Y_i-Y_j)^2]\mathbb Ep_i(Z)p_j(Z)$。增量支配使该式非正。又 $\max_i x_i\le f_\beta(x)\le\max_i x_i+\beta^{-1}\log n$,故 $\beta\to\infty$ 得到最大值。

Hidden Check7.3:rank-one Frobenius 距离
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\|uv^{\mathsf T}-wz^{\mathsf T}\|_F^2\le\|u-w\|_2^2+\|v-z\|_2^2$。

完整证明:写 $uv^{\mathsf T}-wz^{\mathsf T}=(u-w)v^{\mathsf T}+w(v-z)^{\mathsf T}$。平方 Frobenius norm 并展开,利用单位向量性质可直接化简为 $2-2\langle u,w\rangle\langle v,z\rangle$。右侧为 $2-2\langle u,w\rangle+2-2\langle v,z\rangle$。由于 $\langle u,w\rangle,\langle v,z\rangle\le1$,有 $1-ab\le(1-a)+(1-b)$,结论成立。

Hidden Check7.3:operator norm 的 Lipschitz 性
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $A\mapsto\|A\|$ 对 Frobenius norm 为 1-Lipschitz。

完整证明:由反三角不等式,$|\|A\|-\|B\||\le\|A-B\|$。又 operator norm 不超过 Frobenius norm,即 $\|A-B\|\le\|A-B\|_F$。合并得到 Lipschitz 常数为 $1$。

Hidden Check7.5:方向宽度公式
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:说明方向 $\theta$ 上宽度为 $\sup_{x,y\in T}\langle\theta,x-y\rangle$。

完整证明:垂直于 $\theta$ 的 slab 由两个超平面 $\langle\theta,z\rangle=a$ 与 $\langle\theta,z\rangle=b$ 夹出。包含 $T$ 的最窄 slab 必须覆盖所有投影 $\langle\theta,x\rangle$,宽度为 $\sup_{x\in T}\langle\theta,x\rangle-\inf_{y\in T}\langle\theta,y\rangle=\sup_{x,y\in T}\langle\theta,x-y\rangle$。

Hidden Check7.5:有限点集 width
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $w(T)\le C\sqrt{\log|T|}\operatorname{diam}(T)$。

完整证明:平移和缩放使 $\operatorname{diam}(T)=1/2$ 且 $T$ 位于单位球中。则 $\langle g,t\rangle$ 是方差不超过 $1$ 的 Gaussian 变量。Gaussian maximal inequality 给出 $\mathbb E\max_{t\in T}\langle g,t\rangle\le C\sqrt{\log|T|}$。缩放回原集合得到结论。

Hidden Check7.5:半径控制 Lipschitz 范数
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $z\mapsto\sup_{x\in T}|\langle z,x\rangle|$ 的 Lipschitz 范数不超过 $r(T)$。

完整证明:对 $z,z'$,有 $|\sup_x|\langle z,x\rangle|-\sup_x|\langle z',x\rangle||\le\sup_x|\langle z-z',x\rangle|\le\|z-z'\|_2\sup_x\|x\|_2$。最后一项即 $r(T)\|z-z'\|_2$。

Hidden Check7.6:直径归一化
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:说明可设 $\operatorname{diam}(T)\le1$。

完整证明:若 $D=\operatorname{diam}(T)>0$,对集合 $T/D$ 证明上界。投影直径、spherical width 和 diameter 都按比例缩放:$\operatorname{diam}(P(T/D))=D^{-1}\operatorname{diam}(PT)$,$w_s(T/D)=D^{-1}w_s(T)$。乘回 $D$ 即得一般情形。

Hidden Check7.6:$Q^{\mathsf T}z$ 的球面均匀性
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明固定 $z\in S^{m-1}$ 时 $Q^{\mathsf T}z\sim\operatorname{Unif}(S^{n-1})$。

完整证明:矩阵 $Q$ 由 Haar orthogonal matrix $U$ 的前 $m$ 行构成。$Q^{\mathsf T}z=U^{\mathsf T}(z,0,\dots,0)$。由于 Haar 分布左、右正交不变,固定单位向量经 $U^{\mathsf T}$ 旋转后的分布在球面上旋转不变。球面上唯一的旋转不变概率测度是均匀测度。

Hidden Check7.6:球面函数 Lipschitz 范数
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\theta\mapsto\sup_{x\in T-T}\langle\theta,x\rangle$ 的 Lipschitz 范数不超过 $\operatorname{diam}(T)$。

完整证明:对 $\theta,\theta'$,差的绝对值不超过 $\sup_{x\in T-T}|\langle\theta-\theta',x\rangle|$。而 $\sup_{x\in T-T}\|x\|_2=\operatorname{diam}(T)$。Cauchy-Schwarz 给出所需 Lipschitz 界。

Hidden Check7.6:尾界推出期望界
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:由 $\mathbb P\{Z\ge a+Cs\sqrt{m/n}\}\le e^{-ms^2}$ 推出 $\mathbb EZ\le C'(a+\sqrt{m/n})$。

完整证明:使用积分公式 $\mathbb E(Z-a)_+=\int_0^\infty\mathbb P\{Z-a\ge u\}du$。令 $u=Cs\sqrt{m/n}$,从 $s\ge1$ 的尾界积分得到一个 $O(\sqrt{m/n})$ 的贡献;$0\le s\le1$ 区间贡献也为 $O(\sqrt{m/n})$。因此 $\mathbb EZ\le a+C'\sqrt{m/n}$。

Exercises 完整证明

Exercise 7.1Covariance vs increments
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:由增量恢复协方差,并说明无假设时不能恢复。

完整证明:若过程含 $0$,则 $d(t,0)^2=\mathbb EX_t^2$,故 $\Sigma(t,s)=\frac12[d(t,0)^2+d(s,0)^2-d(t,s)^2]$。若过程对取负封闭,则 $-X_s$ 在过程中,$d(t,-s)^2=\mathbb E(X_t+X_s)^2$,于是 $\Sigma(t,s)=\frac14[d(t,-s)^2-d(t,s)^2]$。无假设时,单点过程 $X_t=Z$ 与 $Y_t=2Z$ 的索引内距离都为 $0$,但方差不同,不能恢复协方差。

Exercise 7.2随机过程 symmetrization
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明过程上确界的 symmetrization。

完整证明:把每个过程看成赋范空间 $\ell_\infty(T)$ 中的随机向量,范数为 $\|f\|=\sup_{t\in T}|f(t)|$。对独立均值零随机向量 $X_i(\cdot)$ 应用 Lemma 6.3.2,得到题设两侧不等式。若 $T$ 不有限,先对有限子集证明,再按本章约定取有限子集上确界。

Exercise 7.3Talagrand contraction principle
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 Rademacher 过程的 contraction。

完整证明:先处理一个坐标。固定其余坐标后,题目给出的 $n=2$ 不等式说明把 $t_i$ 替换成 contraction $\phi_i(t_i)$ 不会增加对 $\varepsilon_i=\pm1$ 平均后的 supremum。对坐标 $1,\dots,n$ 逐个执行该替换,每一步都不增大期望。最终从 $\sum_i\varepsilon_i\phi_i(t_i)$ 回到 $\sum_i\varepsilon_it_i$,得到 (7.25)。

Exercise 7.4一般 Lipschitz contraction
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:推广到 Lipschitz 常数 $L_i$。

完整证明:若 $L_i=0$,该项为常数,乘 Rademacher 后对上确界只产生可中心化项。若 $L_i>0$,令 $\psi_i=\phi_i/L_i$,则 $\|\psi_i\|_{\mathrm{Lip}}\le1$。Exercise 7.3 给出 $\mathbb E\sup_t\sum_i\varepsilon_i\psi_i(t_i)\le\mathbb E\sup_t\sum_i\varepsilon_it_i$。带回尺度,可得以 $L_i t_i$ 替代的版本;若统一用 $L=\max_iL_i$,右侧为 $L\mathbb E\sup_t\sum_i\varepsilon_it_i$。

Exercise 7.5随机游走的 canonical process 表示
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:把 Gaussian random walk 表成 $\langle g,t\rangle$。

完整证明:令 $g=(Z_1,\dots,Z_N)\sim N(0,I_N)$。对 $k=1,\dots,N$,取 $t_k=(1,\dots,1,0,\dots,0)\in\mathbb R^N$,前 $k$ 个坐标为 $1$。则 $\langle g,t_k\rangle=\sum_{i=1}^kZ_i=X_k$。因此 $N$ 步 Gaussian random walk 是 canonical Gaussian process 在集合 $\{t_1,\dots,t_N\}$ 上的限制。

Exercise 7.6多元 Gaussian integration by parts
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 Lemma 7.2.4。

完整证明:见本页 [Lemma 7.2.4](#proof-lemma-7-2-4) 的证明。关键是写 $X=\Sigma^{1/2}g$,对标准 Gaussian 坐标逐个使用一维 integration by parts,再用链式法则产生 $\Sigma$。

Exercise 7.7log-partition function 求导
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:补齐 Sudakov-Fernique 的 soft maximum 计算。

完整证明:令 $f=\beta^{-1}\log\sum_ke^{\beta x_k}$,则 $p_i=\partial_if=e^{\beta x_i}/\sum_ke^{\beta x_k}$,并且 $\partial_{ij}^2f=\beta(\delta_{ij}p_i-p_ip_j)$。代入 Lemma 7.2.5。利用 $\sum_ip_i=1$,把对角与非对角项整理成 $\frac\beta4\sum_{i\ne j}[\mathbb E(X_i-X_j)^2-\mathbb E(Y_i-Y_j)^2]\mathbb Ep_ip_j$。在 Sudakov-Fernique 假设下,该导数非正。

Exercise 7.8Gaussian contraction inequality
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:用 Sudakov-Fernique 证明 Gaussian contraction。

完整证明:定义 $X_t=\sum_i g_i\phi_i(t_i)$,$Y_t=\sum_i g_it_i$。二者均为 Gaussian processes。对 $t,s\in T$,

$$\mathbb E(X_t-X_s)^2=\sum_i(\phi_i(t_i)-\phi_i(s_i))^2\le\sum_i(t_i-s_i)^2=\mathbb E(Y_t-Y_s)^2.$$

Sudakov-Fernique 直接给出 $\mathbb E\sup_tX_t\le\mathbb E\sup_tY_t$。

Exercise 7.9Gordon inequality 同方差版本
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:在同方差假设下证明 Gordon inequality。

完整证明:对有限 $U,T$,取平滑函数 $F_{\alpha,\beta}(x)=-\alpha^{-1}\log\sum_u\exp[-\alpha\beta^{-1}\log\sum_t e^{\beta x_{ut}}]$,它逼近 $\inf_u\sup_t x_{ut}$。将 $F$ 代入 interpolation formula。相同 $u$ 的 $t,s$ 混合项系数由第一类增量支配控制,不同 $u,v$ 的项因外层 inf 平滑带负号,由第二类增量支配控制。同方差消去对角项。导数符号给出随机支配;令平滑参数取极限得到结论。

Exercise 7.10rank-one Frobenius distance
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 Theorem 7.3.1 使用的 Frobenius 距离界。

完整证明:见 [隐藏验证](#proof-check-7-3-frobenius-increment)。展开 $\|uv^{\mathsf T}-wz^{\mathsf T}\|_F^2=2-2\langle u,w\rangle\langle v,z\rangle$,再与 $\|u-w\|_2^2+\|v-z\|_2^2$ 比较即可。

Exercise 7.11GOE matrix norm
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 GOE 矩阵 $\mathbb E\|A\|\le2\sqrt n$ 及尾界。

完整证明:写 $\|A\|=\sup_{u\in S^{n-1}}|\langle Au,u\rangle|$,或用双线性形式 $\sup_{u,v}\langle Au,v\rangle$ 的对称 Gaussian process。比较过程取 $Y_{uv}=\langle g,u\rangle+\langle g,v\rangle$,其 supremum 至多 $2\|g\|_2$。增量比较由 GOE 协方差公式给出,Sudakov-Fernique 得 $\mathbb E\|A\|\le2\mathbb E\|g\|_2\le2\sqrt n$。尾界由 Gaussian concentration 得到,因为 GOE 参数空间中的 operator norm 对 Frobenius norm 为 1-Lipschitz,故 $\mathbb P\{\|A\|\ge2\sqrt n+t\}\le2e^{-ct^2}$。

Exercise 7.12Gaussian vector norm
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $f(n)=\mathbb E\|g_n\|_2-\sqrt n$ 在大 $n$ 后递增。

完整证明:使用精确公式 $\mathbb E\|g_n\|_2=\sqrt2\,\Gamma((n+1)/2)/\Gamma(n/2)$。对 Gamma 比值使用 Stirling 展开,得到 $\mathbb E\|g_n\|_2=\sqrt n-\frac1{4\sqrt n}+O(n^{-3/2})$。因此 $f(n)=-\frac1{4\sqrt n}+O(n^{-3/2})$,对足够大的 $n$ 随 $n$ 递增。

Exercise 7.13Gaussian matrix smallest singular value
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:用 Gordon inequality 证明 $s_n(A)$ 的 sharp lower bound。

完整证明:写 $s_n(A)=\inf_{u\in S^{n-1}}\sup_{v\in S^{m-1}}\langle Au,v\rangle$。比较过程取 $Y_{uv}=\langle h,v\rangle-\langle g,u\rangle$。Gordon inequality 的增量条件可直接由独立 Gaussian 矩阵的协方差计算验证。于是 $\mathbb Es_n(A)\ge\mathbb E\|h\|_2-\mathbb E\|g\|_2\ge\sqrt m-\sqrt n$,常数项由 Exercise 7.12 控制。尾界由 $A\mapsto s_n(A)$ 的 1-Lipschitz 性和 Gaussian concentration 得到。

Exercise 7.14非紧集合 Sudakov
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明某尺度 covering number 无限时 $\mathbb E\sup X_t=\infty$。

完整证明:若 $\mathcal N(T,d,\varepsilon)=\infty$,则对任意 $N$ 可取 $N$ 个 $\varepsilon$-separated 点。把 Theorem 7.4.1 的有限点证明用于这 $N$ 个点,得 $\mathbb E\sup_{t\in T}X_t\ge c\varepsilon\sqrt{\log N}$。令 $N\to\infty$,期望上确界必须为无穷。

Exercise 7.15Gaussian width 性质
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 Proposition 7.5.2 中 (a)-(d),(g)。

完整证明:见 [Proposition 7.5.2](#proof-proposition-7-5-2) 的证明。有限性由 boundedness 控制;正交不变性由 Gaussian rotation invariance;凸包不变性由线性函数上确界;Minkowski 与缩放由 supremum 的代数性质;线性映射由 operator norm 控制。

Exercise 7.16Width 与 diameter 的极端例子
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:说明 Proposition 7.5.2(f) 两端都可达到。

完整证明:下界例子取两点集 $T=\{0,e_1\}$,则 $\operatorname{diam}(T)=1$,$w(T)=\mathbb E\max(0,g_1)=1/\sqrt{2\pi}$。上界例子取 Euclidean ball $T=B_2^n$,直径为 $2$,$w(T)=\mathbb E\|g\|_2\asymp\sqrt n$,与上界的 $\sqrt n\operatorname{diam}(T)$ 同阶。

Exercise 7.17$\ell^p$ ball 的 Gaussian width
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:计算 $B_p^n$ 的 Gaussian width。

完整证明:由 Holder duality,$w(B_p^n)=\mathbb E\|g\|_{p'}$。若 $p'\le\log n$,Gaussian moment 给出 $\|g_i\|_{L^{p'}}\asymp\sqrt{p'}$,并由独立性得到 $\mathbb E\|g\|_{p'}\asymp \sqrt{p'}\,n^{1/p'}$。若 $p'>\log n$,$\|g\|_{p'}$ 与 $\|g\|_\infty$ 同阶,期望为 $\asymp\sqrt{\log n}$。这覆盖 $p=1,2,\infty$ 三个例子。

Exercise 7.18Nuclear norm
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 nuclear norm 与 operator norm 对偶,并推出其为范数。

完整证明:设 SVD 为 $A=U\operatorname{diag}(s_i)V^{\mathsf T}$。对任意 $\|B\|\le1$,von Neumann trace inequality 给出 $\langle A,B\rangle\le\sum_i s_i(A)=\|A\|_*$. 取 $B=UV^{\mathsf T}$,其 operator norm 为 $1$,且达到等号。因此 $\|A\|_*=\max_{\|B\|\le1}\langle A,B\rangle$。作为一个对偶范数的支撑函数,它满足非负、齐次与三角不等式,因此是范数。

Exercise 7.19operator norm ball 的 Gaussian width
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\{B:\|B\|\le1\}$ 的 Gaussian width 为 $\asymp n^{3/2}$。

完整证明:把矩阵空间看成 $\mathbb R^{n\times n}$,Gaussian width 为 $\mathbb E\sup_{\|B\|\le1}\langle G,B\rangle$,其中 $G$ 为 Gaussian matrix。由 Exercise 7.18 的对偶性,该上确界等于 $\mathbb E\|G\|_*=\mathbb E\sum_i s_i(G)$。Gaussian matrix 的奇异值平均尺度为 $\sqrt n$,共有 $n$ 个,因此期望为 $\asymp n^{3/2}$。上界可由 Cauchy-Schwarz:$\|G\|_*\le\sqrt n\|G\|_F$;下界由 Marchenko-Pastur 型奇异值下界或 Gordon 下界得到。

Exercise 7.20Gaussian width vs complexity
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\gamma(T)\asymp w(T)+\|y\|_2$。

完整证明:平移 $T$ 为 $T-y$。由三角不等式,$\gamma(T)\le\gamma(T-y)+\mathbb E|\langle g,y\rangle|\le Cw(T-y)+C\|y\|_2$,而 $w(T-y)=w(T)$。反向中,$\gamma(T)\ge w(T)$,并且 $\gamma(T)\ge\mathbb E|\langle g,y\rangle|=c\|y\|_2$。合并得到等价。

Exercise 7.21Effective dimension vs algebraic dimension
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $d(T)\le\dim(T)$,并给出 Euclidean ball 等号。

完整证明:若 $T$ 位于 $k$ 维仿射子空间,平移后可视为 $\mathbb R^k$ 中集合。Proposition 7.5.2(f) 给出 $w(T)\le(\sqrt k/2)\operatorname{diam}(T)$,故 $d(T)\asymp w(T)^2/\operatorname{diam}(T)^2\le Ck$;按定义中 $h(T-T)$ 的规范常数可得 $d(T)\le k$。若 $T$ 是 $k$ 维 Euclidean ball,则 $w(T)\asymp\sqrt k$,直径为常数量级,因此 effective dimension 与 $k$ 同阶,在标准归一化下为 $k$。

Exercise 7.22有限集 effective dimension
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $d(T)\le C\log|T|$。

完整证明:由有限点集 Gaussian width 界,$w(T)\le C\sqrt{\log|T|}\operatorname{diam}(T)$。代入 $d(T)\asymp w(T)^2/\operatorname{diam}(T)^2$,得到 $d(T)\le C\log|T|$。

Exercise 7.23Ellipsoids
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:计算 $A(B_2^n)$ 的 Gaussian width 与 effective dimension。

完整证明:$w(A B_2^n)=\mathbb E\sup_{\|x\|_2\le1}\langle g,Ax\rangle=\mathbb E\|A^{\mathsf T}g\|_2$。该 Gaussian vector 的协方差为 $A^{\mathsf T}A$,其 norm 期望与 $(\operatorname{tr}A^{\mathsf T}A)^{1/2}=\|A\|_F$ 同阶。直径为 $2\|A\|$,因此 effective dimension 同阶为 $\|A\|_F^2/\|A\|^2$,这就是 $A^{\mathsf T}A$ 的 effective rank,也等于 $A$ 的 stable rank。

Exercise 7.24球面随机向量模型
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $Bz$ 均匀分布在 $S^{n-1}$。

完整证明:设 $B$ 为 Haar orthogonal matrix $U$ 的前 $m$ 列。则 $Bz=U(z,0,\dots,0)$。固定单位向量经 Haar 随机正交矩阵作用后的分布具有旋转不变性;球面上旋转不变概率测度唯一,因此 $Bz\sim\operatorname{Unif}(S^{n-1})$。

Exercise 7.25Gaussian projections of sets
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\mathbb E\operatorname{diam}(GT)\asymp w(T)+\sqrt m\operatorname{diam}(T)$。

完整证明:上界仿照 Theorem 7.6.1。取 $S^{m-1}$ 的 net,把 $\operatorname{diam}(GT)$ 控制为 $\max_z\sup_{x\in T-T}\langle G^{\mathsf T}z,x\rangle$。固定 $z$ 时,$G^{\mathsf T}z\sim N(0,I_n)$,期望为 $w(T-T)=2w(T)$;Gaussian concentration 和 union bound 带来 $\sqrt m\operatorname{diam}(T)$ 项。下界中,固定投影方向给出 $w(T)$ 项;固定实现直径的差向量 $x$,$\mathbb E\|Gx\|_2\asymp\sqrt m\|x\|_2$,给出第二项。

Exercise 7.26随机投影下界
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:补 Theorem 7.6.1 的下界。

完整证明:第一项:$\operatorname{diam}(PT)=\sup_{x\in T-T}\|Px\|_2\ge\sup_{x\in T-T}\langle \theta,Px\rangle$,对 $E$ 中随机方向平均可得到 $c\,w_s(T)$。第二项:取 $x_0,y_0$ 使 $\|x_0-y_0\|_2$ 接近 $\operatorname{diam}(T)$。随机 $m$ 维投影对固定向量的长度期望为 $c\sqrt{m/n}\|x_0-y_0\|_2$。因此 $\mathbb E\operatorname{diam}(PT)$ 至少为两项各自的常数倍,合并得到下界。

Exercise 7.27Matrix sketching
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:用随机投影集合定理控制 $\|PA\|$ 与 $\|GA\|$。

完整证明:令 $T=A(B_2^k)\subset\mathbb R^n$。则 $\operatorname{diam}(T)=2\|A\|$,且 $w_s(T)\asymp n^{-1/2}w(T)\asymp n^{-1/2}\|A\|_F$。Theorem 7.6.1 应用于 $T$ 得 $\mathbb E\|PA\|\asymp n^{-1/2}\|A\|_F+\sqrt{m/n}\|A\|$。Gaussian projection 版本 Exercise 7.25 给出 $\mathbb E\|GA\|\asymp\|A\|_F+\sqrt m\|A\|$。

易混点

易混点 正确理解
Gaussian process 不一定有时间参数 高维概率中 $T$ 常是几何集合。
Slepian 比较的是增量 方差相等只是 Slepian 随机支配版本的附加条件。
Gaussian width 不是 volume 它是随机线性函数在集合上的平均最大值。
Effective dimension 不是 affine dimension 它由 width 与 diameter 比值决定,对扰动更稳定。
random projection 不会无限缩小集合 缩到 spherical width 尺度后出现相变。

公式卡片

公式 作用
$d(t,s)=\|X_t-X_s\|_{L^2}$ canonical metric
$X_t=\langle g,t\rangle$ canonical Gaussian process
$\frac d{du}\mathbb Ef(Z(u))=\frac12\sum_{ij}(\Sigma^X_{ij}-\Sigma^Y_{ij})\mathbb E\partial_{ij}^2f(Z(u))$ Gaussian interpolation
$w(T)=\mathbb E\sup_{x\in T}\langle g,x\rangle$ Gaussian width
$d(T)\asymp w(T)^2/\operatorname{diam}(T)^2$ effective dimension
$\mathbb E\operatorname{diam}(PT)\asymp w_s(T)+\sqrt{m/n}\operatorname{diam}(T)$ random projection phase transition

学习检查表

  • [ ] 能解释 canonical metric 如何由过程增量定义。
  • [ ] 能区分 Slepian、Sudakov-Fernique、Gordon 的适用场景。
  • [ ] 能写出 Gaussian interpolation formula 的推导。
  • [ ] 能用 Sudakov-Fernique 证明 Gaussian matrix norm 的 $\sqrt m+\sqrt n$ 界。
  • [ ] 能计算 $B_2^n$、$B_\infty^n$、$B_1^n$ 的 Gaussian width。
  • [ ] 能解释 effective dimension 是随机投影相变点。

后续衔接

第 8 章会进一步解决 $\mathbb E\sup_{t\in T}X_t$ 的上界问题。第 7 章给出 Sudakov 下界和 Gaussian width,第 8 章的 chaining 会从多尺度 covering numbers 构造上界。