线性代数——向量的内积范数正交向量组的线性相关性和向量空间

文章目录

向量的内积性质柯西不等式范数性质相似度向量组的线性相关性向量空间正交规范正交基施密特（Schimidt）正交化正交矩阵正交变换

向量的内积

设有n维向量

x=[x1x2⋮xn],y=[y1y2⋮yn],x=\begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix},y=\begin{bmatrix} y_1\\ y_2\\ \vdots\\ y_n \end{bmatrix},x=⎣⎢⎢⎢⎡x1x2⋮xn⎦⎥⎥⎥⎤,y=⎣⎢⎢⎢⎡y1y2⋮yn⎦⎥⎥⎥⎤,

令 [x, y] = x1y1 + x2y2 + … + xnyn，

[x, y]称为向量x与y的内积（或点积），也可写成<x, y>。矩阵形式：[x, y] = xTy

性质

[x, y] = [y, x][λx, y] = λ[x, y][x + y, z] = [x, z] + [y, z]当 x = 0时(零向量)，[x, x] = 0；当 x ≠ 0 时，[x, x] ＞ 0

柯西不等式

[x, y]2 ⩽ [x, x][y, y]证明：令z = x - λy,

[z, z] = [x - λy, x - λy] = [x, x - λy] - [λy, x - λy] = [x, x] - λ[x, y] - λ[x, y] + λ2[y, y] = [y, y]λ2 - 2[x, y]λ + [x, x] ≥ 0

可以看成一个关于λ的二次函数，二次函数大等于零，判别式Δ = b2 - 4ac = 4[x, y]2 - 4[y, y][x, x] ⩽ 0，即 [x, y]2 ⩽ [x, x][y, y]

范数

令

∥x∥=[x,x]=x12+x22+...+xn2\left \| x \right \|=\sqrt{\left [ x,x\right ]} = \sqrt{x_1^2+x_2^2+...+x_n^2}∥x∥=[x,x]=x12+x22+...+xn2

||x|| 称为 n 维向量 x 的长度（或范数，或模）||x|| = 1 时，称 x 为单位向量

性质

非负性：当 x = 0时，||x|| = 0；当 x ≠ 0 时，||x|| ＞ 0齐次性：||λx|| = |λ| ||x||三角不等式：||x+y|| ⩽ ||x|| + ||y||

相似度

二维空间中：<x, y> = ||x|| ||y|| cosθ

θ 为 x 与 y 的夹角推广到高维：cos⁡θ=[x,y]∥x∥∥y∥\cos \theta =\frac{\left [ x,y\right ]}{\left \| x \right \|\left \| y \right \|}cosθ=∥x∥∥y∥[x,y]

0⩽cos⁡2θ=[x,y]2∥x∥2∥y∥2=[x,y]2[x,x][y,y]⩽1，故−1⩽cos⁡θ⩽10\leqslant \cos ^2 \theta =\frac{\left [ x,y\right ]^2}{\left \| x \right \|^2\left \| y \right \|^2}=\frac{\left [ x,y\right ]^2}{\left [ x,x\right ]\left [ y,y\right ]}\leqslant 1，故-1\leqslant \cos \theta \leqslant 10⩽cos2θ=∥x∥2∥y∥2[x,y]2=[x,x][y,y][x,y]2⩽1，故−1⩽cosθ⩽1

用cosθ来衡量高维空间中两个样本（机器学习中的样本基本都是n维空间中的向量）的相似度的一种度量，不同于欧氏距离（d=(x1−y1)2+(x2−y2)2+...+(xn−yn)2)d=\sqrt{(x_1-y_1)^2+(x_2-y_2)^2+...+(x_n-y_n)^2)}d=(x1−y1)2+(x2−y2)2+...+(xn−yn)2)）。

向量组的线性相关性

给定向量组A：a1，a2，…，am，如果存在不全为0的数k1，k2，…，km，使

k1a1+k2a2+...+kmam=0,k_1a_1+k_2a_2+...+k_ma_m=0,k1a1+k2a2+...+kmam=0,

则称向量组A是线性相关的，否则称它线性无关。线性相关，说明向量组A中至少有一个向量能由其余m-1各向量线性表示。

如设k1≠0，于是a1=−1k1(k2a2+...+kmam)a_1=-\frac {1}{k_1}(k_2a_2+...+k_ma_m)a1=−k11(k2a2+...+kmam)，即a1能由a2，…，am线性表示。矩阵可逆⇔∣A∣≠0⇔R(A)=n⇔A∼rE⇔a1,a2,...,am线性无关矩阵可逆\Leftrightarrow |A| ≠ 0\Leftrightarrow R(A) = n\Leftrightarrow A\overset{r}{\sim}E\Leftrightarrow a_1,a_2,...,a_m线性无关矩阵可逆⇔∣A∣=0⇔R(A)=n⇔A∼rE⇔a1,a2,...,am线性无关

向量空间

设V为n维向量的集合，如果V非空，且V对于向量的加法及乘数两种运算封闭，那么就称集合V为向量空间。封闭是指，若a∈V，b∈V，则a+b∈V；若λ∈R\mathbb{R}R，则λa∈Vn维向量的全体构成的集合Rn\mathbb{R}^nRn叫做n维向量空间。设V为向量空间，如果r个向量a1，a2，…，ar∈V，且满足：

（1）a1，a2，…，ar线性无关；

（2）V中任一向量都可由a1，a2，…，ar线性表示，

那么向量组a1，a2，…，ar就称为向量空间V的一个基，r称为向量空间V的维数，并称V为r维向量空间。

正交

当[x, y] = 0时，称向量x与y正交。若x = 0，则x与任何向量都正交定理：若n维向量a1，a2，…，ar是一组两两正交的非零向量，则a1，a2，…，ar线性无关

证明：k1a1+k2a2+...+kmam=0k_1a_1+k_2a_2+...+k_ma_m=0k1a1+k2a2+...+kmam=0，两边同时点积a1，得k1 [a1, a1] + k2 × 0 + … + km × 0 = 0，即k1 [a1, a1] = 0，a1是非零向量，故k1 = 0。依此类推。

规范正交基

设n维向量e1，e2，…，er是向量空间V（V⊂RnV\subset \mathbb{R}^nV⊂Rn）的一个基，如果e1，e2，…，er两两正交，且都是单位向量，则称e1，e2，…，er是V的一个规范正交基。通常r = n规范正交基不惟一若e1，e2，…，er是V的一个规范正交基，那么V中任一向量a应能由e1，e2，…，er线性表示。系数求法：λn = [a, en]

设a= λ1e1 + λ2e2 + … + λrer，

则[a, e1] = λ1[e1, e1] + λ2[e2, e1] + … + λr[er, e1] = λ1[e1, e1] = λ1，

以此类推。

施密特（Schimidt）正交化

设a1，a2，…，ar是向量空间V的一个基，要求V的一个规范正交基，也就是要找一组两两正交的单位向量e1，e2，…，er，使e1，e2，…，er与a1，a2，…，ar等价。这样一个问题，称为把a1，a2，…，ar这个基规范正交化。首先正交化：

b1=a1;b_1=a_1;b1=a1;

b2=a2−[b1,a2][b1,b1]b1;b_2=a_2-\frac{\left [ b_1,a_2 \right ]}{\left [ b_1,b_1 \right ]}b_1;b2=a2−[b1,b1][b1,a2]b1;

…

br=ar−[b1,ar][b1,b1]b1−[b2,ar][b2,b2]b2−⋯−[br−1,ar][br−1,br−1]br−1b_r=a_r-\frac{\left [ b_1,a_r \right ]}{\left [ b_1,b_1 \right ]}b_1-\frac{\left [ b_2,a_r \right ]}{\left [ b_2,b_2 \right ]}b_2-\cdots-\frac{\left [ b_{r-1},a_r \right ]}{\left [ b_{r-1},b_{r-1} \right ]}b_{r-1}br=ar−[b1,b1][b1,ar]b1−[b2,b2][b2,ar]b2−⋯−[br−1,br−1][br−1,ar]br−1此时b1，b2，…，br两两正交，且b1，b2，…，br与a1，a2，…，ar等价。然后把它们规范化（单位化）：

e1=1∥b1∥b1e_1=\frac{1}{\left \| b_1 \right \|}b_1e1=∥b1∥1b1

e2=1∥b2∥b2e_2=\frac{1}{\left \| b_2 \right \|}b_2e2=∥b2∥1b2

…

er=1∥br∥bre_r=\frac{1}{\left \| b_r \right \|}b_rer=∥br∥1br这就是V的一个规范正交基。上述从线性无关向量组a1，a2，…，ar导出正交向量组b1，b2，…，br的过程称为施密特正交化过程。它不仅满足b1，b2，…，br与a1，a2，…，ar等价，还满足对任何k(1⩽k⩽r)，b1，b2，…，bk与a1，a2，…，ak等价。

正交矩阵

如果n阶矩阵A满足ATA = E（即A-1 = AT），那么称A为正交矩阵。

用A的列向量表示，即

[a1Ta2T⋮anT][a1a2⋯an]=E\begin{bmatrix} a_1^T\\ a_2^T\\ \vdots\\ a_n^T \end{bmatrix}\begin{bmatrix} a_1 & a_2 & \cdots & a_n \end{bmatrix}=E⎣⎢⎢⎢⎡a1Ta2T⋮anT⎦⎥⎥⎥⎤[a1a2⋯an]=E

亦即

aiTaj={1,当i=j0,当i≠ja_i^Ta_j=\begin{cases} 1, & \text{当 } i=j \\ 0, & \text{当 } i\neq j \end{cases}aiTaj={1,0,当i=j当i=j

说明A为正交阵的充分必要条件是A的列向量都是单位向量，且两两正交。因为ATA = E与AAT = E等价，所以上述结论对A的行向量亦成立。n阶正交阵A的n个列（行）向量构成向量空间Rn\mathbb{R}^nRn的一个规范正交基。若A为正交阵，则A-1=AT也是正交阵，且|A|=1或-1若A和B都是正交阵，则AB也是正交阵。