Skip to content

Linearly Independent

考虑一个问题，可以用向量（向量空间的元素）做什么。从向量空间的定义中，可以得到，将向量相加，然后用标量相乘，封闭性能保证在同一个向量空间中得到另外一个向量。 有没有可能找到一组向量，允许我们可以用这些向量相加并缩放后得到向量空间中的其他所有向量？ 实际上，这组向量是一组 基(basis)，我们将在后面讨论它。 在此之前，我们需要介绍一下线性组合和线性独立

定义2.11 线性组合

考虑向量空间 \(V\) 和有限个向量\(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_k \in \mathrm{V}\)， 每一个以下形式的向量\(\boldsymbol{v} \in \mathrm{V}\)

\[ \boldsymbol{v} = \lambda_1 x_1 + \cdots + \lambda_{i} x_{i} = \sum_{i=1}^{k}\lambda_{i} x_{i} \]

称为向量 \(x_1,\cdots,x_k\)的 线性组合(liner combination)，其中 \(\lambda_1,\cdots,\lambda_i \in \mathbb{R}\)

\(\boldsymbol{0}\) 向量总可以写成 \(k\) 个向量\(x_1,\cdots,x_k\)的线性组合，因为 \(\boldsymbol{0} = \sum_{i=1}^{k}0x_{i}\)总是成立的。

关注一组向量的非平凡线性组合来表示\(\boldsymbol{0}\)，即向量\(x_1,\cdots,x_k\)的参数\(\lambda_i\)不都为0的情况下的组合

定义2.22 线性相关与线性无关（独立）

考虑一个向量空间 \(V\) ，且有\(x_1,\cdots,x_k \in V, k \in \mathbb{N}\)。

如果存在一个非平凡线性组合，使得\(\boldsymbol{0} = \sum_{i=1}^{k}\lambda_{i} x_{i}\)，即其中至少有一个\(\lambda_i \neq 0\)， 则向量 \(x_1,\cdots,x_k\)是 线性相关的(linearly dependent)。

如果只有平凡解的存在，即\(\lambda_i=,...,\lambda_k=0\)，则向量 \(x_1,\cdots,x_k\)是 线性独立的(linearly independent)

线性独立是线性代数中最重要的概念之一。 直观地说，一组线性无关（即线性独立）的向量是由没有冗余的向量组成的，也就是说，如果我们把这些向量中的任何一个去掉，我们就会失去一些东西。 在接下来的几节中，我们将进一步形式化这种直觉。

例 线性相关的向量

一个地理例子可能有助于理解线性独立的概念。如图2.7所示，在 Nairobi (Kenya)的人描述Kigali (Rwanda) 所在地可能会说，“你可以先往西北方向506公里到Kampala (Uganda)，然后往西南方向374公里”。这足以说明 Kigali的位置，因为地理坐标系可被视为二维向量空间（忽略海拔和地球曲面）。这个人可能会补充说，“大约在西边751公里处“。尽管最后一句话是对的，但鉴于前面的信息，这句话没有必要说。在此示例中，“506 km西北”矢量（蓝色）和“374 km西南”矢量（紫色）是线性独立的。这意味着西南方向的矢量不能用西北方向的矢量来描述，反之亦然。然而，第三个“751 km west”向量（黑色）是其他两个向量的线性组合，这使得这三个向量线性相关。同样地，给定“西751公里”和“西南374公里”，可以线性组合得到“西北506公里”。

图2.7 二维空间（平面）中线性相关向量的地理示例（基本方向的粗略近似）。

备注：以下属性可用于确定向量是否线性独立：

  • k个向量要么线性相关，要么线性独立，没有第三种选择
  • 向量 \(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_k\) 只要有一个\(0\)向量或者有两个向量相同，则它们是线性相关的
  • 向量\(\{\boldsymbol{x}_1,\cdots,\boldsymbol{x}_k: \boldsymbol{x}_i\neq0,i=1,...,k\},k>=2\)，是线性相关的，当且仅当（至少）其中一个是其他的线性组合。特别是，如果一个向量是另外一个向量的倍数，即\(\boldsymbol{x}_i = \lambda \boldsymbol{x}_j,\lambda \in \mathbb{R}\)，那么集合\(\{\boldsymbol{x}_1,\cdots,\boldsymbol{x}_k: \boldsymbol{x}_i\neq0,i=1,...,k \}\)是线性相关的。
  • 检验向量 \(\boldsymbol{x}_1,...,\boldsymbol{x}_i \in \mathrm{V}\)是线性无关的有效方法是采用高斯消元法：将所有的向量写为矩阵 \(\boldsymbol{\mathit{A}}\)的列，并进行高斯消元，知道矩阵为行阶梯型（注意：这里不需要行最简阶梯型）
  • 主元列表示与左侧的向量线性无关（线性独立）的向量。注意构建矩阵时对向量排序
  • 非主元列可以表示为其左侧主元列的线性组合。例如，行阶梯矩阵
\[ \begin{bmatrix} 1 \quad 3 \quad 0 \\ 0 \quad 0 \quad 2 \end{bmatrix} \]
1
2
3
告诉我们第一列和第三列是主元列。第二列是非主元列，它是第一列的三倍。

**当且仅当所有列都是主元列时，所有列向量才是线性独立的**。尽管只有一个非主元列，这些列（以及相应的向量）也是线性相关的

例

考虑\(\mathbb{R}^{4}\) 以及向量

\[ \boldsymbol{x}_1=\begin{bmatrix}1\\2\\-3\\4\end{bmatrix},\quad \boldsymbol{x}_2=\begin{bmatrix}1\\1\\0\\2\end{bmatrix},\quad \boldsymbol{x}_2=\begin{bmatrix}-1\\-2\\1\\1\end{bmatrix} \]

为了检验\(\boldsymbol{x}_1,\boldsymbol{x}_2,\boldsymbol{x}_3\)是否线性相关的，对于\(\lambda_1,\lambda_2,\lambda_3\)，采用一般方法求解

\[ \lambda_1 \boldsymbol{x}_1 + \lambda \boldsymbol{x}_2 + \lambda \boldsymbol{x}_3 = \lambda_1\begin{bmatrix}1\\2\\-3\\4\end{bmatrix} + \lambda_2\begin{bmatrix}1\\1\\0\\2\end{bmatrix} + \lambda_1\begin{bmatrix}-1\\-2\\1\\1\end{bmatrix} \]

将向量\(\boldsymbol{x}_i,i=1,2,3\)作为矩阵的列，并引用初等变换，直到确定主元列

\[ \left[ \begin{array}{ccc} 1 & 1 & -1 \\ 2 & 1 & -2 \\ -3 & 0 & 1 \\ 4 & 2 & 1 \\ \end{array} \right] \quad \rightsquigarrow \cdots \rightsquigarrow \quad \left[ \begin{array}{ccc} 1 & 1 & -1 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \\ 0 & 0 & 0 \\ \end{array} \right] \]

这里，矩阵的每一列都是主元列。因此，不存在非平凡解。只有 \(\lambda_1=0,\lambda_2=0,\lambda_3=0\)为方程组的解。

因此向量\(\boldsymbol{x}_1,\boldsymbol{x}_2,\boldsymbol{x}_3\)是线性独立的

备注

考虑一个向量空间 \(V\) 与其中 k 个线性独立的向量 \(\boldsymbol{b}_1,...,\boldsymbol{b}_k\) 和 \(m\) 种线性组合

\[ \boldsymbol{x}_1 = \sum_{i=i}{k}\lambda_{i1}bi\\ \vdots\\ \boldsymbol{x}_m = \sum_{i=i}{k}\lambda_{i1}mi\\ \]

定义矩阵 \(\boldsymbol{B} = [\boldsymbol{b}_1,...,\boldsymbol{b}_k]\)，改矩阵的线性无关(线性独立) 向量\(\boldsymbol{b}_1,...,\boldsymbol{b}_k\)，我们可以将上式，写成紧凑形式

\[ \boldsymbol{x}_j = \boldsymbol{B}\lambda_{j},\quad \lambda_j = \begin{bmatrix} \lambda_{1j}\\\vdots\\\lambda_{kj} \end{bmatrix} \quad j=1,...,m \]

我们想检验 \(\boldsymbol{x}_1,...,\boldsymbol{x}_m\) 是否线性无关（线性独立）。为此，我们遵循 \(\sum_{j=1}^{m}\psi_{j} \boldsymbol{x}_j = \boldsymbol{0}\) 的一般测试方法。可以进一步得到

\[ \sum_{j=1}^{m}\psi \boldsymbol{x}_j = \sum_{j=1}^{m}\psi_{j} \boldsymbol{B}\lambda_j = \boldsymbol{B}\sum_{j=1}^{m}\psi_{j} \lambda_j \]

这意味着\(\{\boldsymbol{x}_1,...,\boldsymbol{x}_m\}\) 是线性无关的当且仅当 \(\{\boldsymbol{\lambda}_1,...,\boldsymbol{\lambda}_m\}\)是线性无关的

备注

在向量空间 \(V\) 中，当\(m > k\)，\(k\) 个向量\(\boldsymbol{x}_1,...,\boldsymbol{x}_k\)的m个线性组合是线性相关的。

例

考虑一组线性无关向量\(\boldsymbol{b}_1,\boldsymbol{b}_2,\boldsymbol{b}_3,\boldsymbol{b}_4 \in \mathbb{R}^{n}\)有

\[ \begin{aligned} \boldsymbol{x}_1 &= \phantom{-}\boldsymbol{b}_1 - 2\boldsymbol{b}_2 + \boldsymbol{b}_3 - \boldsymbol{b}_4 \\ \boldsymbol{x}_2 &= -4\boldsymbol{b}_1 - 2\boldsymbol{b}_2 \phantom{-} \phantom{+} \phantom{\boldsymbol{b}_3} + 4\boldsymbol{b}_4 \\ \boldsymbol{x}_3 &= 2\boldsymbol{b}_1 + 3\boldsymbol{b}_2 - \boldsymbol{b}_3 - 3\boldsymbol{b}_4 \\ \boldsymbol{x}_4 &= 17\boldsymbol{b}_1 - 10\boldsymbol{b}_2 + 11\boldsymbol{b}_3 + \boldsymbol{b}_4 \end{aligned} \]

向量 \(\boldsymbol{x}_1,\boldsymbol{x}_2,\boldsymbol{x}_3,\boldsymbol{x}_4\) 是否线性无关呢？看以下列向量

\[ \left\{ \begin{bmatrix}1\\-2\\1\\-1\end{bmatrix}, \begin{bmatrix}-4\\-2\\0\\4\end{bmatrix}, \begin{bmatrix}2\\3\\-1\\-3\end{bmatrix}, \begin{bmatrix}17\\-10\\11\\1\end{bmatrix} \right\} \]

是否线性无关（线性独立）。

线性方程组对应的矩阵为

\[ \begin{bmatrix} 1 & -4 & 2 & 17\\ -2 & -2 & 3 & -10\\ 1 & 0 & -1 & 11\\ -1 & 4 & -3 & 1 \end{bmatrix} \]

对应的最简阶梯型矩阵为：

\[ \begin{bmatrix} 1 & 0 & 0 & -7\\ 0 & 1 & 0 & -15\\ 0 & 0 & 1 & -18\\ 0 & 0 & 0 & 0 \end{bmatrix} \]

可以看到相应的线性方程组是有非平凡解的，最后一列不是主元列，\(\boldsymbol{x}_4=-7\boldsymbol{x}_1 + -15\boldsymbol{x}_2 + -18\boldsymbol{x}_3\)，因此， \(\boldsymbol{x}_1,\boldsymbol{x}_2,\boldsymbol{x}_3,\boldsymbol{x}_4\) 是线性相关的，\(\boldsymbol{x}_4\) 可以表示为\(\boldsymbol{x}_1,\boldsymbol{x}_2,\boldsymbol{x}_3\)的组合