Norm

对于几何向量，即从原点开始的有向线段，直观地说，它的长度是有向线段的“终点”到原点的距离。下面，我们将用范数来讨论向量长度这一概念。

定义 3.1 范数

向量空间 $\mathrm{V}$ 的范数是一个指定每个向量 $\boldsymbol{x}$ 的长度的函数

\[ \|\cdot\| : V \to \mathbb{R}, \quad x \mapsto \|x\|. \]

并且对于任何 $\lambda \in \mathbb{R}$ 以及 $\boldsymbol{x},\boldsymbol{y} \in \mathrm{V}$,以下成立

绝对一次齐次性(Absolutely homogeneous): $\|\lambda \boldsymbol{x}\| = |\lambda|\|\boldsymbol{x}\|$
三角不等式(Triangle inequality): $\|\boldsymbol{x} + \boldsymbol{y}\| \leq \|x\| + \|y\|$
正定性(Positive definite): $ |x| \geq 0 $ and $ |x| = 0 $ $\Leftrightarrow$ $ x = 0$

在几何中，三角形不等式指出，对于任何三角形，任意两条边的长度之和必须大于或等于另一条边的长度；如图3.2。

图 3.2 三角不等式

定义3.1是关于一般的向量空间$\mathrm{V}$ (2.4节)，但在本书中我们只考虑有限维向量空间$\mathbb{R}^\mathrm{n}$。对于向量 $\boldsymbol{x} \in \mathbb{R}^\mathrm{n}$, 我们用下标表示向量的元素，也就是说，$\mathrm{x}_\mathrm{i}$ 是 $\boldsymbol{x}$ 的第 $\mathrm{i}$ 个元素。

图3.3 红线表示两种不同范数为1的向量集合。左：曼哈顿范数；右：欧氏距离。

例 3.1 曼哈顿范数(Manhattan Norm)

$\boldsymbol{x} \in \mathbb{R}^\mathrm{n}$的曼哈顿范数定义为：

\[ \|x\|_2 := \sqrt{\sum_{i=1}^{n} x_i^2} = \sqrt{x^\top x}. \]

$|\cdot|$表示绝对值,图3.3左边的图展示了所有$\|\mathrm{x}\|_1=1$的向量 $\boldsymbol{x} \in \mathbb{R}^2$，曼哈顿范数也称为 $\ell_1$范数。

例 3.2 欧几里得范数(Euclidean Norm)

$\boldsymbol{x} \in \mathbb{R}^\mathrm{n}$的欧几里得范数定义为：

\[ \|x\|_2 := \sqrt{\sum_{i=1}^{n} x_i^2} = \sqrt{x^\top x}. \]

它计算 $\boldsymbol{x}$ 与原点的欧几里得距离(Euclidean distance)。

图3.3右边的图展示了所有 $\|\boldsymbol{x}\|_2 = 1$ 的向量 $\boldsymbol{x} \in \mathbb{R}^2$，欧几里得范数也称为 $\ell_2$范数。

备注： 下文中，如果没有另外说明，我们将使默认用欧几里德范数。