第 7 章学习笔记:随机过程

一句话定位

第 7 章把“一个随机向量的范数”升级为“一族随机变量的上确界”:用 Gaussian interpolation 比较 Gaussian processes,再把 $\mathbb E\sup_{t\in T}\langle g,t\rangle$ 解释为集合 $T$ 的 Gaussian width

本章导读

本章核心问题是:当随机量不再是单个 $X$,而是一族 $(X_t)_{t\in T}$ 时,怎样控制 $\sup_tX_t$?答案分两步。第一步是 Gaussian comparison:只要两个 Gaussian processes 的增量可以比较,就可以比较它们的上确界。第二步是几何化:canonical Gaussian process 的增量就是 Euclidean 距离,于是过程大小变成集合几何量。

章节 内容 在主线中的作用
7.1 随机过程、协方差、增量、canonical Gaussian process 把过程变成带 metric 的索引集合
7.2 Slepian、Sudakov-Fernique、Gordon 用增量比较上确界和 min-max
7.3 Gaussian matrices 用比较不等式给出 $\sqrt m+\sqrt n$ sharp 范数界
7.4 Sudakov inequality 用 covering number 下界 Gaussian process 大小
7.5 Gaussian width 与 effective dimension 把 process complexity 翻译成集合几何
7.6 Random projections of sets 用 Gaussian width 描述随机投影后的直径

本页使用方式

你现在卡在哪里 先看哪里 读完应形成的判断
不知道随机过程和随机向量有什么差别 7.1 随机过程是由索引集组织的一族随机变量,有限索引时就是随机向量。
Slepian / Sudakov-Fernique 条件难记 7.2 比较对象不是方差本身,而是 canonical metric 的增量。
Gaussian interpolation 看起来抽象 Lemma 7.2.5 插值只是在比较 $\mathbb Ef(Z(u))$ 随 $u$ 的单调性。
Gaussian width 不像几何量 7.5.1 它是在随机方向上看集合平均有多宽。
random projection 的相变不清楚 7.6 当 $m$ 降到 effective dimension 以下,直径不再按 $\sqrt{m/n}$ 缩小。

本章主线

推进层 要解决的问题 关键转折 后续用途
过程度量化 如何描述索引之间的相关性? 用 $d(t,s)=\|X_t-X_s\|_{L^2}$ Gaussian comparison、chaining
比较不等式 如何估计 $\mathbb E\sup X_t$? 增量支配 $\Rightarrow$ 上确界比较 Gaussian matrices、Sudakov
Gaussian width canonical process 的大小是什么? $\mathbb E\sup_{x\in T}\langle g,x\rangle=w(T)$ 统计复杂度、投影、恢复
Effective dimension 哪个维度真正控制集合? $d(T)\asymp w(T)^2/\operatorname{diam}(T)^2$ random projection phase transition
随机投影 投影后集合多大? $w_s(T)+\sqrt{m/n}\operatorname{diam}(T)$ 第 9 章矩阵偏差与 Dvoretzky

本章学习路线

先抓住一个问题
随机过程把概率问题变成索引集合的几何问题。

如果知道任意两点 $t,s$ 之间的增量大小,就知道 canonical metric。Gaussian comparison 让我们只用这个 metric 控制过程的上确界。

初学者先抓三件事
  1. Slepian:同方差 + 增量支配。
  2. Sudakov-Fernique:去掉同方差,只比较期望上确界。
  3. Gaussian width:canonical process 的期望上确界。
Gaussian processcanonical metriccomparisonGaussian widtheffective dimensionrandom projections

分层阅读路线

层次 先抓什么 推荐入口 暂时怎么处理
第一遍:主线阅读 Random process、canonical metric、Gaussian comparison、Gaussian width、random projections 本章主线、核心对象与符号表 先看懂“过程上确界 = 索引集合几何”。
第二遍:证明精读 Slepian、Sudakov-Fernique、Gordon、Sudakov inequality 关键定理完整证明、三种比较 把每个比较定理的增量条件和输出区分清楚。
第三遍:习题与应用 Gaussian matrix norm、width 计算、effective dimension、random projection Exercises 7.1-7.27 先把每题对应到 comparison、width 或 projection。
专题回看 Gaussian width、effective dimension、随机投影相变 第 8 章 chaining、第 9 章 matrix deviation 为 generic chaining、$M^*$ 和 Dvoretzky 做准备。

初学者补充:三种比较

Reading PatternSlepian

同方差时,如果 $Y$ 的增量比 $X$ 大,那么 $Y$ 的最大值更倾向于取大值。

Reading PatternSudakov-Fernique

不要求同方差,只给出期望上确界比较,是估计 Gaussian width 的常用工具。

Reading PatternGordon

处理 $\inf_u\sup_t$ 的 min-max 结构,用于 smallest singular value 和 escape theorem。

核心对象与符号表

符号 / 对象 含义 本章用途
$(X_t)_{t\in T}$ random process 被研究的一族随机变量
$d(t,s)$ canonical metric 衡量过程增量大小
$\Sigma(t,s)$ covariance function 决定均值零 Gaussian process
$X_t=\langle g,t\rangle$ canonical Gaussian process 把集合几何转成概率
$w(T)$ Gaussian width $\mathbb E\sup_{x\in T}\langle g,x\rangle$
$w_s(T)$ spherical width 用随机单位方向定义的宽度
$\gamma(T),h(T)$ Gaussian complexity 与二次版本 与 $w(T)$ 基本等价
$d(T)$ effective dimension 随机投影相变点

关键定理卡片

结论 条件 核心用途 证明入口
Slepian 同方差 + 增量支配 随机支配最大值 证明
Sudakov-Fernique 增量支配 比较期望上确界 证明
Gordon product index 的两类增量支配 min-max Gaussian 比较 证明
Gaussian matrix norm i.i.d. Gaussian entries $\mathbb E\|A\|\le\sqrt m+\sqrt n$ 证明
Sudakov inequality Gaussian process covering number 下界 证明
Random projection size bounded set $T$ 投影直径相变 证明

关键定理完整证明

ProofTheorem 7.1.11:Gaussian process concentration
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明有限 Gaussian process 的上确界围绕均值次高斯集中。

完整证明:有限 $T=\{t_1,\dots,t_N\}$ 时,向量 $X=(X_{t_1},\dots,X_{t_N})$ 是 Gaussian random vector。令 $f(x)=\max_i x_i$。对 Euclidean norm,$f$ 是 1-Lipschitz;若把 $X$ 表示为 $\Sigma^{1/2}g$,则 $g\mapsto f(\Sigma^{1/2}g)$ 的 Lipschitz 范数不超过 $\|\Sigma^{1/2}\|_{2\to\infty}$,该量等于 $\max_i\sqrt{\operatorname{Var}(X_{t_i})}$。对标准 Gaussian vector 使用 Gaussian concentration,即得 $\psi_2$ 界。

ProofLemma 7.1.12:Gaussian vector 的 canonical representation
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:把任意均值零 Gaussian vector 表示成 canonical process 的有限维边缘。

完整证明:设 $X\sim N(0,\Sigma)$。取 $g\sim N(0,I_n)$,则 $\Sigma^{1/2}g\sim N(0,\Sigma)$,故与 $X$ 同分布。令 $t_i$ 为矩阵 $\Sigma^{1/2}$ 的第 $i$ 行,则 $(\Sigma^{1/2}g)_i=\langle t_i,g\rangle$。因此 $X\stackrel d=(\langle g,t_i\rangle)_{i=1}^n$。

ProofLemma 7.2.3:Gaussian integration by parts
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\mathbb EXf(X)=\mathbb Ef'(X)$。

完整证明:设 $p(x)=(2\pi)^{-1/2}e^{-x^2/2}$。先对 compact support 的 $f$ 积分分部:

$$\mathbb Ef'(X)=\int f'(x)p(x)dx=-\int f(x)p'(x)dx.$$

由于 $p'(x)=-xp(x)$,右侧等于 $\int xf(x)p(x)dx=\mathbb EXf(X)$。一般可微函数由截断和逼近取得,期望存在保证极限可交换。

ProofLemma 7.2.4:多元 Gaussian integration by parts
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\mathbb EX_if(X)=\sum_j\Sigma_{ij}\mathbb E\partial_jf(X)$。

完整证明:写 $X=\Sigma^{1/2}g$,$g\sim N(0,I_n)$。则 $X_i=\sum_k(\Sigma^{1/2})_{ik}g_k$。对函数 $\varphi(g)=f(\Sigma^{1/2}g)$ 应用一维 integration by parts 到每个 $g_k$:

$$\mathbb Eg_k\varphi(g)=\mathbb E\partial_k\varphi(g)=\sum_j(\Sigma^{1/2})_{jk}\mathbb E\partial_jf(X).$$

乘上 $(\Sigma^{1/2})_{ik}$ 并对 $k$ 求和,得到系数 $\sum_k(\Sigma^{1/2})_{ik}(\Sigma^{1/2})_{jk}=\Sigma_{ij}$。

ProofLemma 7.2.5:Gaussian interpolation formula
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:计算 $\frac d{du}\mathbb Ef(Z(u))$。

完整证明:由链式法则,

$$\frac d{du}\mathbb Ef(Z(u))=\frac12\sum_i\mathbb E\partial_if(Z(u))\left(\frac{X_i}{\sqrt u}-\frac{Y_i}{\sqrt{1-u}}\right).$$

条件化 $Y$,对 $X$ 使用 Lemma 7.2.4,并注意 $\partial_j[\partial_if(\sqrt uX+\sqrt{1-u}Y)]=\sqrt u\,\partial_{ij}^2f(Z(u))$,得到 $X$ 部分贡献为 $\frac12\sum_{ij}\Sigma^X_{ij}\mathbb E\partial_{ij}^2f(Z(u))$。对 $Y$ 部分同算,因前面有负号,贡献为 $-\frac12\sum_{ij}\Sigma^Y_{ij}\mathbb E\partial_{ij}^2f(Z(u))$。合并即得公式。

ProofLemma 7.2.6:Slepian 函数形式
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:用 interpolation 证明 $\mathbb Ef(X)\ge\mathbb Ef(Y)$。

完整证明:同方差与增量条件给出 $\Sigma^X_{ii}=\Sigma^Y_{ii}$,且对 $i\ne j$,$\Sigma^X_{ij}\ge\Sigma^Y_{ij}$。由 Lemma 7.2.5,导数等于 $\frac12\sum_{ij}(\Sigma^X_{ij}-\Sigma^Y_{ij})\mathbb E\partial_{ij}^2f(Z(u))$。对角项系数为 $0$,非对角项的两个因子均非负,因此导数非负。于是 $\mathbb Ef(Z(1))\ge\mathbb Ef(Z(0))$,即 $\mathbb Ef(X)\ge\mathbb Ef(Y)$。

ProofTheorem 7.2.7:Slepian inequality
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:由函数形式推出最大值的随机支配与期望比较。

完整证明:取二阶可微非增函数 $h:\mathbb R\to[0,1]$,逼近 $\mathbf1_{(-\infty,\tau)}$,令 $f(x)=\prod_i h(x_i)$。对 $i\ne j$,$\partial_{ij}^2f=h'(x_i)h'(x_j)\prod_{k\ne i,j}h(x_k)\ge0$。Lemma 7.2.6 给出 $\mathbb Ef(X)\ge\mathbb Ef(Y)$。让平滑逼近收敛到指标函数,得到 $\mathbb P\{\max_iX_i<\tau\}\ge\mathbb P\{\max_iY_i<\tau\}$,等价于上尾支配。若最大值的正负部分可积,期望比较由 tail integration 得到;一般用截断后取极限。

ProofTheorem 7.2.8:Sudakov-Fernique
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:只用增量支配比较 Gaussian processes 的期望上确界。

完整证明:有限维情形令 $f_\beta(x)=\beta^{-1}\log\sum_i e^{\beta x_i}$。Exercise 7.7 的计算给出

$$\frac d{du}\mathbb Ef_\beta(Z(u))=\frac\beta4\sum_{i\ne j}\bigl[\mathbb E(X_i-X_j)^2-\mathbb E(Y_i-Y_j)^2\bigr]\mathbb Ep_i(Z(u))p_j(Z(u))\le0.$$

因此 $\mathbb Ef_\beta(X)\le\mathbb Ef_\beta(Y)$。令 $\beta\to\infty$,$f_\beta(x)\to\max_i x_i$,得到有限维结论。一般索引集按有限子集定义上确界期望,取上确界即可。

ProofTheorem 7.2.9:Gordon inequality
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:说明 min-max Gaussian comparison 的证明机制。

完整证明:在 Exercise 7.9 的同方差版本中,用平滑函数逼近 $\inf_u\sup_t x_{ut}$。对同一个 $u$ 内部的 $t$ 方向,二阶混合导数与 sup 平滑项同号,需要 $X$ 的 $t$-增量被 $Y$ 支配;对不同 $u$ 的交叉项,由 inf 平滑带来相反符号,需要 $X$ 的跨 $u$ 增量支配 $Y$。将该平滑函数代入 Gaussian interpolation formula 后,导数符号按两类项分别控制。积分 $u\in[0,1]$ 并让平滑参数趋于极限,得到随机支配;期望比较由 tail integration 得到。

ProofTheorem 7.3.1:Gaussian matrix norm
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\mathbb E\|A\|\le\sqrt m+\sqrt n$。

完整证明:

$$\|A\|=\sup_{u\in S^{n-1},v\in S^{m-1}}\langle Au,v\rangle=: \sup_{u,v}X_{uv}.$$

定义比较过程 $Y_{uv}=\langle g,u\rangle+\langle h,v\rangle$,其中 $g,h$ 为独立标准 Gaussian vectors。直接计算

$$\mathbb E(X_{uv}-X_{wz})^2=\|uv^{\mathsf T}-wz^{\mathsf T}\|_F^2\le\|u-w\|_2^2+\|v-z\|_2^2=\mathbb E(Y_{uv}-Y_{wz})^2.$$

由 Sudakov-Fernique,$\mathbb E\|A\|\le\mathbb E\sup_{u,v}Y_{uv}=\mathbb E\|g\|_2+\mathbb E\|h\|_2\le\sqrt n+\sqrt m$。

ProofCorollary 7.3.2:Gaussian matrix norm tails
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:把期望界提升为高概率界。

完整证明:把矩阵 $A$ 向量化为 $\mathbb R^{mn}$ 中的标准 Gaussian vector。函数 $A\mapsto\|A\|$ 对 Frobenius norm 是 1-Lipschitz,因为 $|\|A\|-\|B\||\le\|A-B\|\le\|A-B\|_F$。Gaussian concentration 给出 $\mathbb P\{\|A\|\ge\mathbb E\|A\|+t\}\le2e^{-ct^2}$。代入 Theorem 7.3.1 的期望界即可。

ProofTheorem 7.4.1:Sudakov inequality
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:用 covering number 下界 Gaussian process 的期望上确界。

完整证明:设 $N=\mathcal N(T,d,\varepsilon)<\infty$。取 maximal $\varepsilon$-separated subset $\mathcal M$,则 $\mathcal M$ 是 $\varepsilon$-net,故 $|\mathcal M|\ge N$。限制到 $\mathcal M$ 后,只需下界 $\mathbb E\sup_{t\in\mathcal M}X_t$。定义 $Y_t=(\varepsilon/\sqrt2)g_t$,其中 $g_t$ 独立标准正态。对 $t\ne s$,$\mathbb E(Y_t-Y_s)^2=\varepsilon^2\le d(t,s)^2=\mathbb E(X_t-X_s)^2$。由 Sudakov-Fernique,$\mathbb E\sup_{\mathcal M}X_t\ge\mathbb E\sup_{\mathcal M}Y_t=(\varepsilon/\sqrt2)\mathbb E\max_{t\in\mathcal M}g_t\ge c\varepsilon\sqrt{\log N}$。

ProofCorollary 7.4.2:Euclidean Sudakov
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:把 Sudakov inequality 应用于 canonical Gaussian process。

完整证明:取 $X_t=\langle g,t\rangle$。则 canonical metric 为 $d(t,s)=\|t-s\|_2$,因此 $\mathcal N(T,d,\varepsilon)$ 就是 Euclidean covering number。把 Theorem 7.4.1 直接用于该过程,得到结论。

ProofCorollary 7.4.3:polytope covering
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $N$ 顶点 polytope 的 covering number 上界。

完整证明:设顶点为 $x_1,\dots,x_N$。固定 $g$ 时,线性函数 $t\mapsto\langle g,t\rangle$ 在 polytope 上的最大值可在顶点取得,所以 $\sup_{t\in P}\langle g,t\rangle=\max_i\langle g,x_i\rangle$。由于 $\|x_i\|_2\le1$,Gaussian maximal inequality 给出 $\mathbb E\max_i\langle g,x_i\rangle\le C\sqrt{\log N}$。Corollary 7.4.2 给出 $c\varepsilon\sqrt{\log\mathcal N(P,\varepsilon)}\le C\sqrt{\log N}$,整理得 $\mathcal N(P,\varepsilon)\le N^{C/\varepsilon^2}$。

ProofProposition 7.5.2:Gaussian width 性质
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 Gaussian width 的基本代数与几何性质。

完整证明:有限性由 $\sup_{x\in T}\langle g,x\rangle$ 与半径的比较得到;正交不变性来自 $U^{\mathsf T}g\stackrel d=g$,平移项期望为 $\mathbb E\langle g,y\rangle=0$。凸包不变性来自线性函数在凸包上的上确界等于在原集合上的上确界。Minkowski 加法由 $\sup_{t+s}\langle g,t+s\rangle=\sup_t\langle g,t\rangle+\sup_s\langle g,s\rangle$。对称性由 $g\stackrel d=-g$ 推出 $w(T-T)=2w(T)$。直径下界取任意 $x,y\in T$,用 $\mathbb E|\langle g,x-y\rangle|=\sqrt{2/\pi}\|x-y\|_2$;上界用 Cauchy-Schwarz 控制 $\langle g,x-y\rangle\le\|g\|_2\operatorname{diam}(T)$。线性映射性质由 $w(AT)=\mathbb E\sup_{t\in T}\langle A^{\mathsf T}g,t\rangle\le\|A\|w(T)$ 的标准比较得到。

ProofLemma 7.5.5:Gaussian vs spherical width
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:比较 $w(T)$ 与 $w_s(T)$。

完整证明:写 $g=r\theta$,其中 $r=\|g\|_2$,$\theta=g/\|g\|_2$。Gaussian 的方向与长度独立,且 $\theta$ 均匀分布在球面上。因此

$$w(T)=\mathbb E\sup_{x\in T}\langle r\theta,x\rangle=\mathbb Er\cdot w_s(T).$$

由 Gaussian norm 的估计,$\sqrt n-C/\sqrt n\le\mathbb E\|g\|_2\le\sqrt n$,代入即可。

ProofLemma 7.5.11:width、complexity 与 $h(T)$
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\gamma,h,w$ 的基本等价。

完整证明:$T-T$ 关于原点对称,因此 $\gamma(T-T)=\mathbb E\sup_{z\in T-T}|\langle g,z\rangle|=\mathbb E\sup_{z\in T-T}\langle g,z\rangle=w(T-T)=2w(T)$。另一方面,$\gamma(T)\le h(T)$ 由 $L^1\le L^2$。令 $F(g)=\sup_{x\in T}|\langle g,x\rangle|$,其 Lipschitz 范数不超过 $r(T)=\sup_{x\in T}\|x\|_2$。Gaussian concentration 给出 $\|F-\gamma(T)\|_{\psi_2}\lesssim r(T)$,从而 $h(T)=\|F\|_{L^2}\lesssim\gamma(T)+r(T)$。再由 $\gamma(T)\gtrsim r(T)$ 得 $h(T)\lesssim\gamma(T)$。最后用平移 $T-y$ 和三角不等式得 $\gamma(T)\asymp w(T)+\|y\|_2$。

ProofTheorem 7.6.1:随机投影直径
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\mathbb E\operatorname{diam}(PT)\asymp w_s(T)+\sqrt{m/n}\operatorname{diam}(T)$。

完整证明:先证明上界。由齐次性设 $\operatorname{diam}(T)\le1$。把随机子空间投影改写为固定 $\mathbb R^m$ 后对集合随机旋转,记 $Q$ 为 Haar orthogonal matrix 的前 $m$ 行。取 $S^{m-1}$ 的 $1/2$-net $\mathcal N$,$|\mathcal N|\le5^m$。net argument 给出

$$\operatorname{diam}(QT)\le2\max_{z\in\mathcal N}\sup_{x\in T-T}\langle Q^{\mathsf T}z,x\rangle.$$

固定 $z$,$Q^{\mathsf T}z$ 均匀分布在 $S^{n-1}$,故该上确界的期望为 $w_s(T-T)=2w_s(T)$。函数 $\theta\mapsto\sup_{x\in T-T}\langle\theta,x\rangle$ 的 Lipschitz 范数不超过 $\operatorname{diam}(T)\le1$,球面集中给出尾界 $2e^{-cnt^2}$。对 $|\mathcal N|\le5^m$ 取 union bound,令 $t=Cs\sqrt{m/n}$,再积分尾概率,得上界。下界由 Exercise 7.26:一方面 $\operatorname{diam}(PT)\ge c\,w_s(T)$;另一方面对实现直径的两点差向量,随机投影长度期望为 $c\sqrt{m/n}$ 倍原长度,得到第二项。

正文隐藏验证补全

Hidden Check7.1:随机游走增量
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:计算 $d(n,m)=\sqrt{n-m}$。

完整证明:当 $n\ge m$,$X_n-X_m=\sum_{i=m+1}^n Z_i$。独立、均值零、方差一给出 $\mathbb E(X_n-X_m)^2=\sum_{i=m+1}^n\mathbb EZ_i^2=n-m$,开方即得。

Hidden Check7.1:canonical process 增量
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\|X_t-X_s\|_{L^2}=\|t-s\|_2$。

完整证明:$X_t-X_s=\langle g,t-s\rangle$。由于 $g\sim N(0,I_n)$,该变量服从 $N(0,\|t-s\|_2^2)$,所以其 $L^2$ 范数为标准差 $\|t-s\|_2$。

Hidden Check7.2:为什么可假设 $X,Y$ 独立
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:说明 comparison proof 中可重构联合分布。

完整证明:要比较的量只依赖 $X$ 和 $Y$ 各自的边缘分布,而不依赖二者之间的联合耦合。给定两个 Gaussian vectors 的边缘分布,可以在乘积概率空间上构造相互独立的副本 $\tilde X,\tilde Y$,它们分别与 $X,Y$ 同分布。所有待证不等式对边缘分布表述,因此可使用独立副本进行 interpolation。

Hidden Check7.2:插值协方差
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\Sigma(Z(u))=u\Sigma(X)+(1-u)\Sigma(Y)$。

完整证明:$Z(u)=\sqrt uX+\sqrt{1-u}Y$。由于 $X,Y$ 独立且均值零,交叉协方差为 $0$。因此 $\mathbb EZ_iZ_j=u\mathbb EX_iX_j+(1-u)\mathbb EY_iY_j$,即矩阵形式的结论。

Hidden Check7.2:随机支配推出期望比较
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:由 $\mathbb P\{M_X\ge\tau\}\le\mathbb P\{M_Y\ge\tau\}$ 推出 $\mathbb EM_X\le\mathbb EM_Y$。

完整证明:对非负部分使用 $\mathbb EZ_+=\int_0^\infty\mathbb P\{Z\ge t\}dt$,对负部分可先平移两个最大值使其非负,或对截断变量使用同一积分公式。随机支配保证每个阈值处上尾不大,积分后期望不大。

Hidden Check7.2:soft maximum 的导数
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:补齐 Sudakov-Fernique 中 $f_\beta$ 的计算。

完整证明:令 $p_i(x)=e^{\beta x_i}/\sum_ke^{\beta x_k}$。则 $\partial_if=p_i$,且 $\partial_{ij}^2f=\beta(\delta_{ij}p_i-p_ip_j)$。代入 interpolation formula,对角项可用 $\sum_i p_i=1$ 合并,得到 $\frac\beta4\sum_{i\ne j}[\mathbb E(X_i-X_j)^2-\mathbb E(Y_i-Y_j)^2]\mathbb Ep_i(Z)p_j(Z)$。增量支配使该式非正。又 $\max_i x_i\le f_\beta(x)\le\max_i x_i+\beta^{-1}\log n$,故 $\beta\to\infty$ 得到最大值。

Hidden Check7.3:rank-one Frobenius 距离
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\|uv^{\mathsf T}-wz^{\mathsf T}\|_F^2\le\|u-w\|_2^2+\|v-z\|_2^2$。

完整证明:写 $uv^{\mathsf T}-wz^{\mathsf T}=(u-w)v^{\mathsf T}+w(v-z)^{\mathsf T}$。平方 Frobenius norm 并展开,利用单位向量性质可直接化简为 $2-2\langle u,w\rangle\langle v,z\rangle$。右侧为 $2-2\langle u,w\rangle+2-2\langle v,z\rangle$。由于 $\langle u,w\rangle,\langle v,z\rangle\le1$,有 $1-ab\le(1-a)+(1-b)$,结论成立。

Hidden Check7.3:operator norm 的 Lipschitz 性
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $A\mapsto\|A\|$ 对 Frobenius norm 为 1-Lipschitz。

完整证明:由反三角不等式,$|\|A\|-\|B\||\le\|A-B\|$。又 operator norm 不超过 Frobenius norm,即 $\|A-B\|\le\|A-B\|_F$。合并得到 Lipschitz 常数为 $1$。

Hidden Check7.5:方向宽度公式
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:说明方向 $\theta$ 上宽度为 $\sup_{x,y\in T}\langle\theta,x-y\rangle$。

完整证明:垂直于 $\theta$ 的 slab 由两个超平面 $\langle\theta,z\rangle=a$ 与 $\langle\theta,z\rangle=b$ 夹出。包含 $T$ 的最窄 slab 必须覆盖所有投影 $\langle\theta,x\rangle$,宽度为 $\sup_{x\in T}\langle\theta,x\rangle-\inf_{y\in T}\langle\theta,y\rangle=\sup_{x,y\in T}\langle\theta,x-y\rangle$。

Hidden Check7.5:有限点集 width
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $w(T)\le C\sqrt{\log|T|}\operatorname{diam}(T)$。

完整证明:平移和缩放使 $\operatorname{diam}(T)=1/2$ 且 $T$ 位于单位球中。则 $\langle g,t\rangle$ 是方差不超过 $1$ 的 Gaussian 变量。Gaussian maximal inequality 给出 $\mathbb E\max_{t\in T}\langle g,t\rangle\le C\sqrt{\log|T|}$。缩放回原集合得到结论。

Hidden Check7.5:半径控制 Lipschitz 范数
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $z\mapsto\sup_{x\in T}|\langle z,x\rangle|$ 的 Lipschitz 范数不超过 $r(T)$。

完整证明:对 $z,z'$,有 $|\sup_x|\langle z,x\rangle|-\sup_x|\langle z',x\rangle||\le\sup_x|\langle z-z',x\rangle|\le\|z-z'\|_2\sup_x\|x\|_2$。最后一项即 $r(T)\|z-z'\|_2$。

Hidden Check7.6:直径归一化
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:说明可设 $\operatorname{diam}(T)\le1$。

完整证明:若 $D=\operatorname{diam}(T)>0$,对集合 $T/D$ 证明上界。投影直径、spherical width 和 diameter 都按比例缩放:$\operatorname{diam}(P(T/D))=D^{-1}\operatorname{diam}(PT)$,$w_s(T/D)=D^{-1}w_s(T)$。乘回 $D$ 即得一般情形。

Hidden Check7.6:$Q^{\mathsf T}z$ 的球面均匀性
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明固定 $z\in S^{m-1}$ 时 $Q^{\mathsf T}z\sim\operatorname{Unif}(S^{n-1})$。

完整证明:矩阵 $Q$ 由 Haar orthogonal matrix $U$ 的前 $m$ 行构成。$Q^{\mathsf T}z=U^{\mathsf T}(z,0,\dots,0)$。由于 Haar 分布左、右正交不变,固定单位向量经 $U^{\mathsf T}$ 旋转后的分布在球面上旋转不变。球面上唯一的旋转不变概率测度是均匀测度。

Hidden Check7.6:球面函数 Lipschitz 范数
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\theta\mapsto\sup_{x\in T-T}\langle\theta,x\rangle$ 的 Lipschitz 范数不超过 $\operatorname{diam}(T)$。

完整证明:对 $\theta,\theta'$,差的绝对值不超过 $\sup_{x\in T-T}|\langle\theta-\theta',x\rangle|$。而 $\sup_{x\in T-T}\|x\|_2=\operatorname{diam}(T)$。Cauchy-Schwarz 给出所需 Lipschitz 界。

Hidden Check7.6:尾界推出期望界
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:由 $\mathbb P\{Z\ge a+Cs\sqrt{m/n}\}\le e^{-ms^2}$ 推出 $\mathbb EZ\le C'(a+\sqrt{m/n})$。

完整证明:使用积分公式 $\mathbb E(Z-a)_+=\int_0^\infty\mathbb P\{Z-a\ge u\}du$。令 $u=Cs\sqrt{m/n}$,从 $s\ge1$ 的尾界积分得到一个 $O(\sqrt{m/n})$ 的贡献;$0\le s\le1$ 区间贡献也为 $O(\sqrt{m/n})$。因此 $\mathbb EZ\le a+C'\sqrt{m/n}$。

Exercises 完整证明

Exercise 7.1Covariance vs increments
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:由增量恢复协方差,并说明无假设时不能恢复。

完整证明:若过程含 $0$,则 $d(t,0)^2=\mathbb EX_t^2$,故 $\Sigma(t,s)=\frac12[d(t,0)^2+d(s,0)^2-d(t,s)^2]$。若过程对取负封闭,则 $-X_s$ 在过程中,$d(t,-s)^2=\mathbb E(X_t+X_s)^2$,于是 $\Sigma(t,s)=\frac14[d(t,-s)^2-d(t,s)^2]$。无假设时,单点过程 $X_t=Z$ 与 $Y_t=2Z$ 的索引内距离都为 $0$,但方差不同,不能恢复协方差。

Exercise 7.2随机过程 symmetrization
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明过程上确界的 symmetrization。

完整证明:把每个过程看成赋范空间 $\ell_\infty(T)$ 中的随机向量,范数为 $\|f\|=\sup_{t\in T}|f(t)|$。对独立均值零随机向量 $X_i(\cdot)$ 应用 Lemma 6.3.2,得到题设两侧不等式。若 $T$ 不有限,先对有限子集证明,再按本章约定取有限子集上确界。

Exercise 7.3Talagrand contraction principle
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 Rademacher 过程的 contraction。

完整证明:先处理一个坐标。固定其余坐标后,题目给出的 $n=2$ 不等式说明把 $t_i$ 替换成 contraction $\phi_i(t_i)$ 不会增加对 $\varepsilon_i=\pm1$ 平均后的 supremum。对坐标 $1,\dots,n$ 逐个执行该替换,每一步都不增大期望。最终从 $\sum_i\varepsilon_i\phi_i(t_i)$ 回到 $\sum_i\varepsilon_it_i$,得到 (7.25)。

Exercise 7.4一般 Lipschitz contraction
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:推广到 Lipschitz 常数 $L_i$。

完整证明:若 $L_i=0$,该项为常数,乘 Rademacher 后对上确界只产生可中心化项。若 $L_i>0$,令 $\psi_i=\phi_i/L_i$,则 $\|\psi_i\|_{\mathrm{Lip}}\le1$。Exercise 7.3 给出 $\mathbb E\sup_t\sum_i\varepsilon_i\psi_i(t_i)\le\mathbb E\sup_t\sum_i\varepsilon_it_i$。带回尺度,可得以 $L_i t_i$ 替代的版本;若统一用 $L=\max_iL_i$,右侧为 $L\mathbb E\sup_t\sum_i\varepsilon_it_i$。

Exercise 7.5随机游走的 canonical process 表示
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:把 Gaussian random walk 表成 $\langle g,t\rangle$。

完整证明:令 $g=(Z_1,\dots,Z_N)\sim N(0,I_N)$。对 $k=1,\dots,N$,取 $t_k=(1,\dots,1,0,\dots,0)\in\mathbb R^N$,前 $k$ 个坐标为 $1$。则 $\langle g,t_k\rangle=\sum_{i=1}^kZ_i=X_k$。因此 $N$ 步 Gaussian random walk 是 canonical Gaussian process 在集合 $\{t_1,\dots,t_N\}$ 上的限制。

Exercise 7.6多元 Gaussian integration by parts
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 Lemma 7.2.4。

完整证明:见本页 [Lemma 7.2.4](#proof-lemma-7-2-4) 的证明。关键是写 $X=\Sigma^{1/2}g$,对标准 Gaussian 坐标逐个使用一维 integration by parts,再用链式法则产生 $\Sigma$。

Exercise 7.7log-partition function 求导
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:补齐 Sudakov-Fernique 的 soft maximum 计算。

完整证明:令 $f=\beta^{-1}\log\sum_ke^{\beta x_k}$,则 $p_i=\partial_if=e^{\beta x_i}/\sum_ke^{\beta x_k}$,并且 $\partial_{ij}^2f=\beta(\delta_{ij}p_i-p_ip_j)$。代入 Lemma 7.2.5。利用 $\sum_ip_i=1$,把对角与非对角项整理成 $\frac\beta4\sum_{i\ne j}[\mathbb E(X_i-X_j)^2-\mathbb E(Y_i-Y_j)^2]\mathbb Ep_ip_j$。在 Sudakov-Fernique 假设下,该导数非正。

Exercise 7.8Gaussian contraction inequality
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:用 Sudakov-Fernique 证明 Gaussian contraction。

完整证明:定义 $X_t=\sum_i g_i\phi_i(t_i)$,$Y_t=\sum_i g_it_i$。二者均为 Gaussian processes。对 $t,s\in T$,

$$\mathbb E(X_t-X_s)^2=\sum_i(\phi_i(t_i)-\phi_i(s_i))^2\le\sum_i(t_i-s_i)^2=\mathbb E(Y_t-Y_s)^2.$$

Sudakov-Fernique 直接给出 $\mathbb E\sup_tX_t\le\mathbb E\sup_tY_t$。

Exercise 7.9Gordon inequality 同方差版本
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:在同方差假设下证明 Gordon inequality。

完整证明:对有限 $U,T$,取平滑函数 $F_{\alpha,\beta}(x)=-\alpha^{-1}\log\sum_u\exp[-\alpha\beta^{-1}\log\sum_t e^{\beta x_{ut}}]$,它逼近 $\inf_u\sup_t x_{ut}$。将 $F$ 代入 interpolation formula。相同 $u$ 的 $t,s$ 混合项系数由第一类增量支配控制,不同 $u,v$ 的项因外层 inf 平滑带负号,由第二类增量支配控制。同方差消去对角项。导数符号给出随机支配;令平滑参数取极限得到结论。

Exercise 7.10rank-one Frobenius distance
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 Theorem 7.3.1 使用的 Frobenius 距离界。

完整证明:见 [隐藏验证](#proof-check-7-3-frobenius-increment)。展开 $\|uv^{\mathsf T}-wz^{\mathsf T}\|_F^2=2-2\langle u,w\rangle\langle v,z\rangle$,再与 $\|u-w\|_2^2+\|v-z\|_2^2$ 比较即可。

Exercise 7.11GOE matrix norm
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 GOE 矩阵 $\mathbb E\|A\|\le2\sqrt n$ 及尾界。

完整证明:写 $\|A\|=\sup_{u\in S^{n-1}}|\langle Au,u\rangle|$,或用双线性形式 $\sup_{u,v}\langle Au,v\rangle$ 的对称 Gaussian process。比较过程取 $Y_{uv}=\langle g,u\rangle+\langle g,v\rangle$,其 supremum 至多 $2\|g\|_2$。增量比较由 GOE 协方差公式给出,Sudakov-Fernique 得 $\mathbb E\|A\|\le2\mathbb E\|g\|_2\le2\sqrt n$。尾界由 Gaussian concentration 得到,因为 GOE 参数空间中的 operator norm 对 Frobenius norm 为 1-Lipschitz,故 $\mathbb P\{\|A\|\ge2\sqrt n+t\}\le2e^{-ct^2}$。

Exercise 7.12Gaussian vector norm
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $f(n)=\mathbb E\|g_n\|_2-\sqrt n$ 在大 $n$ 后递增。

完整证明:使用精确公式 $\mathbb E\|g_n\|_2=\sqrt2\,\Gamma((n+1)/2)/\Gamma(n/2)$。对 Gamma 比值使用 Stirling 展开,得到 $\mathbb E\|g_n\|_2=\sqrt n-\frac1{4\sqrt n}+O(n^{-3/2})$。因此 $f(n)=-\frac1{4\sqrt n}+O(n^{-3/2})$,对足够大的 $n$ 随 $n$ 递增。

Exercise 7.13Gaussian matrix smallest singular value
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:用 Gordon inequality 证明 $s_n(A)$ 的 sharp lower bound。

完整证明:写 $s_n(A)=\inf_{u\in S^{n-1}}\sup_{v\in S^{m-1}}\langle Au,v\rangle$。比较过程取 $Y_{uv}=\langle h,v\rangle-\langle g,u\rangle$。Gordon inequality 的增量条件可直接由独立 Gaussian 矩阵的协方差计算验证。于是 $\mathbb Es_n(A)\ge\mathbb E\|h\|_2-\mathbb E\|g\|_2\ge\sqrt m-\sqrt n$,常数项由 Exercise 7.12 控制。尾界由 $A\mapsto s_n(A)$ 的 1-Lipschitz 性和 Gaussian concentration 得到。

Exercise 7.14非紧集合 Sudakov
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明某尺度 covering number 无限时 $\mathbb E\sup X_t=\infty$。

完整证明:若 $\mathcal N(T,d,\varepsilon)=\infty$,则对任意 $N$ 可取 $N$ 个 $\varepsilon$-separated 点。把 Theorem 7.4.1 的有限点证明用于这 $N$ 个点,得 $\mathbb E\sup_{t\in T}X_t\ge c\varepsilon\sqrt{\log N}$。令 $N\to\infty$,期望上确界必须为无穷。

Exercise 7.15Gaussian width 性质
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 Proposition 7.5.2 中 (a)-(d),(g)。

完整证明:见 [Proposition 7.5.2](#proof-proposition-7-5-2) 的证明。有限性由 boundedness 控制;正交不变性由 Gaussian rotation invariance;凸包不变性由线性函数上确界;Minkowski 与缩放由 supremum 的代数性质;线性映射由 operator norm 控制。

Exercise 7.16Width 与 diameter 的极端例子
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:说明 Proposition 7.5.2(f) 两端都可达到。

完整证明:下界例子取两点集 $T=\{0,e_1\}$,则 $\operatorname{diam}(T)=1$,$w(T)=\mathbb E\max(0,g_1)=1/\sqrt{2\pi}$。上界例子取 Euclidean ball $T=B_2^n$,直径为 $2$,$w(T)=\mathbb E\|g\|_2\asymp\sqrt n$,与上界的 $\sqrt n\operatorname{diam}(T)$ 同阶。

Exercise 7.17$\ell^p$ ball 的 Gaussian width
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:计算 $B_p^n$ 的 Gaussian width。

完整证明:由 Holder duality,$w(B_p^n)=\mathbb E\|g\|_{p'}$。若 $p'\le\log n$,Gaussian moment 给出 $\|g_i\|_{L^{p'}}\asymp\sqrt{p'}$,并由独立性得到 $\mathbb E\|g\|_{p'}\asymp \sqrt{p'}\,n^{1/p'}$。若 $p'>\log n$,$\|g\|_{p'}$ 与 $\|g\|_\infty$ 同阶,期望为 $\asymp\sqrt{\log n}$。这覆盖 $p=1,2,\infty$ 三个例子。

Exercise 7.18Nuclear norm
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 nuclear norm 与 operator norm 对偶,并推出其为范数。

完整证明:设 SVD 为 $A=U\operatorname{diag}(s_i)V^{\mathsf T}$。对任意 $\|B\|\le1$,von Neumann trace inequality 给出 $\langle A,B\rangle\le\sum_i s_i(A)=\|A\|_*$. 取 $B=UV^{\mathsf T}$,其 operator norm 为 $1$,且达到等号。因此 $\|A\|_*=\max_{\|B\|\le1}\langle A,B\rangle$。作为一个对偶范数的支撑函数,它满足非负、齐次与三角不等式,因此是范数。

Exercise 7.19operator norm ball 的 Gaussian width
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\{B:\|B\|\le1\}$ 的 Gaussian width 为 $\asymp n^{3/2}$。

完整证明:把矩阵空间看成 $\mathbb R^{n\times n}$,Gaussian width 为 $\mathbb E\sup_{\|B\|\le1}\langle G,B\rangle$,其中 $G$ 为 Gaussian matrix。由 Exercise 7.18 的对偶性,该上确界等于 $\mathbb E\|G\|_*=\mathbb E\sum_i s_i(G)$。Gaussian matrix 的奇异值平均尺度为 $\sqrt n$,共有 $n$ 个,因此期望为 $\asymp n^{3/2}$。上界可由 Cauchy-Schwarz:$\|G\|_*\le\sqrt n\|G\|_F$;下界由 Marchenko-Pastur 型奇异值下界或 Gordon 下界得到。

Exercise 7.20Gaussian width vs complexity
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\gamma(T)\asymp w(T)+\|y\|_2$。

完整证明:平移 $T$ 为 $T-y$。由三角不等式,$\gamma(T)\le\gamma(T-y)+\mathbb E|\langle g,y\rangle|\le Cw(T-y)+C\|y\|_2$,而 $w(T-y)=w(T)$。反向中,$\gamma(T)\ge w(T)$,并且 $\gamma(T)\ge\mathbb E|\langle g,y\rangle|=c\|y\|_2$。合并得到等价。

Exercise 7.21Effective dimension vs algebraic dimension
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $d(T)\le\dim(T)$,并给出 Euclidean ball 等号。

完整证明:若 $T$ 位于 $k$ 维仿射子空间,平移后可视为 $\mathbb R^k$ 中集合。Proposition 7.5.2(f) 给出 $w(T)\le(\sqrt k/2)\operatorname{diam}(T)$,故 $d(T)\asymp w(T)^2/\operatorname{diam}(T)^2\le Ck$;按定义中 $h(T-T)$ 的规范常数可得 $d(T)\le k$。若 $T$ 是 $k$ 维 Euclidean ball,则 $w(T)\asymp\sqrt k$,直径为常数量级,因此 effective dimension 与 $k$ 同阶,在标准归一化下为 $k$。

Exercise 7.22有限集 effective dimension
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $d(T)\le C\log|T|$。

完整证明:由有限点集 Gaussian width 界,$w(T)\le C\sqrt{\log|T|}\operatorname{diam}(T)$。代入 $d(T)\asymp w(T)^2/\operatorname{diam}(T)^2$,得到 $d(T)\le C\log|T|$。

Exercise 7.23Ellipsoids
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:计算 $A(B_2^n)$ 的 Gaussian width 与 effective dimension。

完整证明:$w(A B_2^n)=\mathbb E\sup_{\|x\|_2\le1}\langle g,Ax\rangle=\mathbb E\|A^{\mathsf T}g\|_2$。该 Gaussian vector 的协方差为 $A^{\mathsf T}A$,其 norm 期望与 $(\operatorname{tr}A^{\mathsf T}A)^{1/2}=\|A\|_F$ 同阶。直径为 $2\|A\|$,因此 effective dimension 同阶为 $\|A\|_F^2/\|A\|^2$,这就是 $A^{\mathsf T}A$ 的 effective rank,也等于 $A$ 的 stable rank。

Exercise 7.24球面随机向量模型
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $Bz$ 均匀分布在 $S^{n-1}$。

完整证明:设 $B$ 为 Haar orthogonal matrix $U$ 的前 $m$ 列。则 $Bz=U(z,0,\dots,0)$。固定单位向量经 Haar 随机正交矩阵作用后的分布具有旋转不变性;球面上旋转不变概率测度唯一,因此 $Bz\sim\operatorname{Unif}(S^{n-1})$。

Exercise 7.25Gaussian projections of sets
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:证明 $\mathbb E\operatorname{diam}(GT)\asymp w(T)+\sqrt m\operatorname{diam}(T)$。

完整证明:上界仿照 Theorem 7.6.1。取 $S^{m-1}$ 的 net,把 $\operatorname{diam}(GT)$ 控制为 $\max_z\sup_{x\in T-T}\langle G^{\mathsf T}z,x\rangle$。固定 $z$ 时,$G^{\mathsf T}z\sim N(0,I_n)$,期望为 $w(T-T)=2w(T)$;Gaussian concentration 和 union bound 带来 $\sqrt m\operatorname{diam}(T)$ 项。下界中,固定投影方向给出 $w(T)$ 项;固定实现直径的差向量 $x$,$\mathbb E\|Gx\|_2\asymp\sqrt m\|x\|_2$,给出第二项。

Exercise 7.26随机投影下界
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:补 Theorem 7.6.1 的下界。

完整证明:第一项:$\operatorname{diam}(PT)=\sup_{x\in T-T}\|Px\|_2\ge\sup_{x\in T-T}\langle \theta,Px\rangle$,对 $E$ 中随机方向平均可得到 $c\,w_s(T)$。第二项:取 $x_0,y_0$ 使 $\|x_0-y_0\|_2$ 接近 $\operatorname{diam}(T)$。随机 $m$ 维投影对固定向量的长度期望为 $c\sqrt{m/n}\|x_0-y_0\|_2$。因此 $\mathbb E\operatorname{diam}(PT)$ 至少为两项各自的常数倍,合并得到下界。

Exercise 7.27Matrix sketching
状态:完整证明已按当前笔记标准给出闭合推导。

证明目标:用随机投影集合定理控制 $\|PA\|$ 与 $\|GA\|$。

完整证明:令 $T=A(B_2^k)\subset\mathbb R^n$。则 $\operatorname{diam}(T)=2\|A\|$,且 $w_s(T)\asymp n^{-1/2}w(T)\asymp n^{-1/2}\|A\|_F$。Theorem 7.6.1 应用于 $T$ 得 $\mathbb E\|PA\|\asymp n^{-1/2}\|A\|_F+\sqrt{m/n}\|A\|$。Gaussian projection 版本 Exercise 7.25 给出 $\mathbb E\|GA\|\asymp\|A\|_F+\sqrt m\|A\|$。

易混点

易混点 正确理解
Gaussian process 不一定有时间参数 高维概率中 $T$ 常是几何集合。
Slepian 比较的是增量 方差相等只是 Slepian 随机支配版本的附加条件。
Gaussian width 不是 volume 它是随机线性函数在集合上的平均最大值。
Effective dimension 不是 affine dimension 它由 width 与 diameter 比值决定,对扰动更稳定。
random projection 不会无限缩小集合 缩到 spherical width 尺度后出现相变。

公式卡片

公式 作用
$d(t,s)=\|X_t-X_s\|_{L^2}$ canonical metric
$X_t=\langle g,t\rangle$ canonical Gaussian process
$\frac d{du}\mathbb Ef(Z(u))=\frac12\sum_{ij}(\Sigma^X_{ij}-\Sigma^Y_{ij})\mathbb E\partial_{ij}^2f(Z(u))$ Gaussian interpolation
$w(T)=\mathbb E\sup_{x\in T}\langle g,x\rangle$ Gaussian width
$d(T)\asymp w(T)^2/\operatorname{diam}(T)^2$ effective dimension
$\mathbb E\operatorname{diam}(PT)\asymp w_s(T)+\sqrt{m/n}\operatorname{diam}(T)$ random projection phase transition

学习检查表

  • [ ] 能解释 canonical metric 如何由过程增量定义。
  • [ ] 能区分 Slepian、Sudakov-Fernique、Gordon 的适用场景。
  • [ ] 能写出 Gaussian interpolation formula 的推导。
  • [ ] 能用 Sudakov-Fernique 证明 Gaussian matrix norm 的 $\sqrt m+\sqrt n$ 界。
  • [ ] 能计算 $B_2^n$、$B_\infty^n$、$B_1^n$ 的 Gaussian width。
  • [ ] 能解释 effective dimension 是随机投影相变点。

后续衔接

第 8 章会进一步解决 $\mathbb E\sup_{t\in T}X_t$ 的上界问题。第 7 章给出 Sudakov 下界和 Gaussian width,第 8 章的 chaining 会从多尺度 covering numbers 构造上界。