本章大部分内容是熟悉的,只记录不熟悉的部分

记号:PN\mathbb P_N表示不超过NN次的多项式;C[a,b]C[a,b]表示[a,b][a,b]上的连续函数

距离空间

距离的定义为:一个映射d:M×M→Rd:M\times M\to R,满足

  • 正定性:d(x,y)≥0,d(x,y)=0↔x=yd(x,y)\geq 0,\quad d(x,y)=0\leftrightarrow x=y
  • 对称性:d(x,y)=d(y,x)d(x,y)=d(y,x)
  • 三角不等式:d(x,y)+d(y,z)≥d(x,z)d(x,y)+d(y,z)\geq d(x,z)

完备性:距离空间的性质,即所有Cauchy序列必收敛

注意:Cauchy列和收敛列的定义都基于距离

Cauchy 列:

∀ϵ>0,∃N∈N,∀n>N,p∈N,d(xn,xn+p)<ϵ\forall \epsilon>0,\exists N\in\mathbb N,\forall n>N,p\in \mathbb N,d(x_n,x_{n+p})<\epsilon

即:给定一个小量,则某一项之后任意两项的距离都可以小于这个给定小量

距离空间的完备化:考虑Cauchy列的集合

M~={Cauchy x~={xn}∣xn∈M}\tilde M=\{ {\rm Cauchy}\ \tilde x=\{x_n\}|x_n\in M\}

引入等价关系:

x~∼y~↔lim⁡nd(xn,yn)=0\tilde x\sim\tilde y\leftrightarrow \lim_nd(x_n,y_n)=0

即:“收敛到相同值“的Cauchy列等价,但由于这里的收敛值不一定属于MM,所以MM本身不一定完备

则Cauchy列集合对等价关系的商集

M^=M~/∼\hat M=\tilde M/\sim

是完备的距离空间(相当于把那些在MM中不存在的极限值补全了),其距离定义为

d^([x~],[y~])=lim⁡nd(xn,yn)\hat d([\tilde x],[\tilde y])=\lim_n d(x_n,y_n)

MM到M^\hat M的嵌入映射为

i(a)=[{a,a,a,…}]i(a)=[\{a,a,a,\ldots\}]

尽管我没听过嵌入映射这个名词,这里似乎可以猜出它的意思:就是将原始空间中的元素映射到新空间中的对应元素,由于新空间是完备化后的,因此这个映射保证单射,不保证满射。注意右端项是等价类

赋范空间

范数是比距离更强的性质,因为从范数可以导出距离

范数需要定义在线性空间上,距离不需要

范数定义为映射∣∣⋅∣∣:S→R||\cdot||:S\to R,满足

  • 正定性:∣∣f∣∣≥0,∀f∈S∣∣f∣∣=0↔f=0||f||\geq 0,\forall f\in S\quad ||f||=0\leftrightarrow f=0
  • 数乘相容:∣∣αf∣∣=∣α∣∣∣f∣∣||\alpha f||=|\alpha| ||f||
  • 三角不等式:∣∣f+g∣∣≤∣∣f∣∣+∣∣g∣∣||f+g|| \leq ||f||+||g||

完备的赋范空间称为Banach空间

Rn\mathbb R^n的范数:

∣∣x∣∣∞=max⁡i∣xi∣||x||_\infty=\max_i|x_i|

∣∣x∣∣1=∑i∣xi∣||x||_1=\sum_i|x_i|

∣∣x∣∣2=∑ixi2||x||_2=\sqrt{\sum_ix_i^2}

范数的等价性:等价范数定义为

∃C1,C2>0,∀x∈S,C1∣∣x∣∣α≤∣∣x∣∣β≤C2∣∣x∣∣α\exists C_1,C_2>0,\forall x\in S,C_1||x||_\alpha\leq||x||_\beta\leq C_2||x||_\alpha

这可以近似理解为两个范数之间是渐近常数差异

如果只满足单边不等式:

∣∣x∣∣β≤C∣∣x∣∣α,∀x∈S||x||_\beta\leq C||x||_\alpha,\forall x\in S

则称∣∣⋅∣∣α||\cdot||_\alpha强于∣∣⋅∣∣β||\cdot||_\beta

大的范数渐近意义上大于等于小的范数的数量级

有限维线性空间的任意范数等价,无穷维线性空间则不一定

等价的范数一定同时完备或同时不完备。有限维赋范空间总是完备的,无穷维线性空间则可能出现某个范数完备,某个范数不完备的情况

内积空间

内积是强于范数的线性结构。内积可以诱导出范数

内积形如(⋅,⋅):S×S→P(\cdot,\cdot):S\times S\to P,满足

  • 正定性:(x,x)≥0,(x,x)=0↔x=0(x,x)\geq 0,\quad (x,x)=0\leftrightarrow x =0
  • 共轭对称性:(x,y)=(y,x)‾(x,y)=\overline{(y,x)}
  • 第一变量线性:(ax+by,z)=a(x,z)+b(y,z)(ax+by,z)=a(x,z)+b(y,z)

第一变量线性可以诱导出第二变量共轭线性

内积的Cauchy-Schwarz不等式:

∣(x,y)∣≤∣∣x∣∣⋅∣∣y∣∣|(x,y)|\leq ||x||\cdot||y||

证明为利用x−(x,x)(y,y)yx-\frac{(x,x)}{(y,y)}y的自内积非负性

由此可以得到内积导出范数的三角不等式

内积空间中元素线性无关当且仅当以下Gram矩阵非奇异:

Gn=[(x1,x1)⋯(x1,xn)⋮⋱⋮(xn,x1)⋯(xn,xn)]G_n=\begin{bmatrix}(x_1,x_1)&\cdots&(x_1,x_n)\\\vdots&\ddots&\vdots\\(x_n,x_1)&\cdots&(x_n,x_n)\end{bmatrix}

坐标计算:求出以下分解的系数

x=a1x1+⋯+anxnx=a_1x_1+\cdots+a_nx_n

根据线性性质,有

(x,xi)=a1(x1,xi)+⋯+an(xn,xi)(x,x_i)=a_1(x_1,x_i)+\cdots+a_n(x_n,x_i)

于是

[(x,x1)⋯(x,xn)]=[a1⋯an]Gn\begin{bmatrix}(x,x_1)&\cdots&(x,x_n)\end{bmatrix}=\begin{bmatrix}a_1&\cdots&a_n\end{bmatrix}G_n

转化为了求解线性方程组的问题

特别地,如果是正交基,则GnG_n是对角矩阵,于是只需要做内积除法ai=(x,xi)/(xi,xi)a_i=(x,x_i)/(x_i,x_i)即可

Schmidt正交化

yi=xi−∑j=1i−1(xi,yj)(yj,yj)yjy_i=x_i-\sum_{j=1}^{i-1}\frac{(x_i,y_j)}{(y_j,y_j)}y_j

这本质上相当于,对一个新的向量,计算其在已有正交基上的坐标,然后刨去对应的投影组分

函数的带权内积:对于几乎处处为正且积分有限的权函数:

∫abρ(x)dx<+∞\int_a^b\rho(x)dx<+\infty

带权内积

(f,g)=∫abρ(x)f(x)g(x)dx(f,g)=\int_a^b\rho(x)f(x)g(x)dx

是一个内积

正交多项式

在给定多项式内积空间上,对多项式组

{1,x,x2,…}\{1,x,x^2,\ldots\}

做Schmidt正交化得到的就是正交多项式

正交多项式的性质:

  • 正交化后不降阶:degϕi=i{\rm deg}\phi_i=i
  • 相互正交
  • 是实系数多项式,且在积分区间的开区间(a,b)(a,b)上恰有nn个实单根

Legendre多项式

权函数为ρ=1\rho=1,区间[a,b]=[−1,1][a,b]=[-1,1]的正交多项式

Pn(x)=12nn!dndxn{(x2−1)n}P_n(x)=\frac1{2^nn!}\frac{d^n}{dx^n}\{(x^2-1)^n\}

满足递推关系:

(n+1)Pn+1(x)=(2n+1)xPn(x)−nPn−1(x)(n+1)P_{n+1}(x)=(2n+1)xP_n(x)-nP_{n-1}(x)

Chebyshev多项式

权函数为ρ=1/1−x2\rho=1/\sqrt{1-x^2},区间为[−1,1][-1,1]

Tn(x)=cos⁡(narccos⁡x)T_n(x)=\cos(n\arccos x)

几个性质:

  • 范数:(T0,T0)=π,(Tn,Tn)=π2,n≥1(T_0,T_0)=\pi,(T_n,T_n)=\frac\pi2,n\geq1
  • 递推:T0(x)=1,T1(x)=x,Tn+1=2xTn−Tn−1T_0(x)=1,T_1(x)=x,T_{n+1}=2xT_n-T_{n-1}

矩阵空间

矩阵范数:矩阵范数比一般的向量范数要求多一条对矩阵乘法的相容性:

∣∣AB∣∣≤∣∣A∣∣⋅∣∣B∣∣||AB||\leq||A||\cdot||B||

Frobenius范数

∣∣A∣∣F=∑i∑j∣aij∣2||A||_F=\sqrt{\sum_{i}\sum_j|a_{ij}|^2}

由于矩阵和向量会一起运算(矩阵向量乘法),一般还要求满足矩阵范数和向量范数的相容性:

∣∣Ax∣∣V≤∣∣A∣∣M∣∣x∣∣V||Ax||_V\leq ||A||_M||x||_V

矩阵F范数与向量2范数相容

算子范数:向量范数诱导的矩阵范数

∣∣A∣∣M=sup⁡x≠0∣∣Ax∣∣V∣∣x∣∣V=sup⁡∣∣x∣∣V=1∣∣Ax∣∣||A||_M=\sup_{x\neq 0}\frac{||Ax||_V}{||x||_V}=\sup_{||x||_V=1}||Ax||

基础向量范数诱导的算子范数:

∣∣A∣∣∞=max⁡1≤i≤n∑j=1n∣aij∣||A||_\infty=\max_{1\leq i\leq n}\sum_{j=1}^n|a_{ij}|

∣∣A∣∣1=max⁡1≤j≤n∑i=1n∣aij∣||A||_1=\max_{1\leq j\leq n}\sum_{i=1}^n|a_{ij}|

∣∣A∣∣2=ρ(AHA)||A||_2=\sqrt{\rho(A^HA)}

其中ρ(A)\rho(A)为最大的特征值绝对值

无穷范数为最大行和,1范数为最大列和,2范数为最大奇异值

谱半径与矩阵范数的关系

对任意矩阵和任意和向量范数相容的矩阵范数,有

ρ(A)≤∣∣A∣∣\rho(A)\leq ||A||

这是因为被放缩谱半径倍的向量总是存在的

同时,对任意矩阵和小量ϵ\epsilon,总是存在某种算子范数,使得

∣∣A∣∣≤ρ(A)+ϵ||A||\leq \rho(A)+\epsilon

注意:这里范数的选取对不同矩阵不一定是一致的,否则就将存在一种严格等于谱半径的范数

证明比较复杂,略去

扰动引理

给定某种算子范数,则对∣∣B∣∣<1||B||<1,I+BI+B一定非奇异,且

∣∣(I+B)−1∣∣≤11−∣∣B∣∣||(I+B)^{-1}||\leq \frac{1}{1-||B||}

证明:
假如I+BI+B奇异,则BB存在特征值−1-1,其算子范数至少是11,矛盾。此时设D=(I+B)−1D=(I+B)^{-1},则有

(I+B)D=I↔D=I−BD→∣∣D∣∣≤1+∣∣B∣∣⋅∣∣D∣∣(I+B)D=I\leftrightarrow D=I-BD\to ||D||\leq 1+||B||\cdot||D||

扩展的扰动引理

如果AA非奇异,且

∣∣C−A∣∣<1∣∣A−1∣∣||C-A||<\frac1{||A^{-1}||}

则CC也非奇异,且

∣∣C−1∣∣≤∣∣A−1∣∣1−∣∣A−1∣∣⋅∣∣C−A∣∣||C^{-1}||\leq\frac{||A^{-1}||}{1-||A^{-1}||\cdot||C-A||}

感觉扰动引理这部分只要看到能大概想到怎么证明就可以