Linear Algebra

Matrix Elementary Matrix The standard basis of $\mathbb F^n$ is $\{e_i\}_{1\leq i\leq n}$, where $e_i$ is the vector with $1$ in the $i$-th entry and $0$ elsewhere. It holds $$e_i^\top Ae_j=a_{ij},$$ This can be a test of a linear map $A:\mathbb F^n\to \mathbb F^n$ by the standard basis of $\mathbb F^n$. In total, $$A=\sum_{i,j=1}^n a_{ij}e_ie^\top_j=\sum_{i,j=1}^n a_{ij}E_{ij},$$We introduce a kind of basis of $M_n(\mathbb F)=\mathbb F^{n\times n}$ as $\{E_{ij}\}_{1\leq i,j\leq n}$, where $E_{ij}$ is the matrix with $1$ in the $(i,j)$-th entry and $0$ elsewhere, that is so-called elementary matrix, satisfying ...

Let $V,U$ be $\mathbb F$-vector spaces, and $\varphi:V\to U$ be a linear map. Then the adjoint operator $\varphi^*:U^*\to V^*$ is defined by $$\langle \varphi^*(f),v\rangle=\langle f,\varphi(v)\rangle,\quad \forall f\in U^*,v\in V.$$A bilinear form $B:V\times U\to \mathbb F$ has matrix representation $G=(B(e_i,f_j))_{m\times n}$, where $\{e_i\}_{i=1}^m$ and $\{f_j\}_{j=1}^n$ are bases of $V$ and $U$, respectively, if $U,V$ are finite-dimensional. The rank of $B$ is defined as the rank of the matrix $G$, which is independent of the choice of bases. There exist bases $\{e_i\}_{i=1}^m$ and $\{f_j\}_{j=1}^n$ such that $B(e_i,f_j)=\delta_{ij}$ for $1\leq i,j\leq r$, and $B(e_i,f_j)=0$ otherwise, where $r=\mathrm{rank}(B)$. ...

Laplace Theorem Let $|A|$ be the determinant of order $n$. Fix $m$ rows, $1\leq m\leq n$, then we have $$|A|=\sum_{1\leq k_1...

List Determinant 概念参考高等代数白皮书 YCMC QZC DMS

介绍三种 Cayley-Hamilton 的证明方法。在正式开始之前，先指出一类错误的证明思路。 考虑到 $f(\lambda)=\det (\lambda I-A)$ 的形式，将 $\lambda$ 替换成 $A$，就得到所谓 $$f(A)=\det (AI-A)=\det O=0$$ 这混淆了标量和矩阵的关系，上述代换应该表示为 Kronecker 乘积的形式，与本定理并无关系。 伴随矩阵方法（代数方法） 对于 $f(\lambda)=\det (\lambda I-A)$，设 $\lambda I-A=B$，则根据行列式的计算，有 $$f(\lambda )I=\det B\cdot I=BB^*$$ 而伴随 $B^*$ 的定义要求它至多是 $n-1$ 次的 $\lambda$ 的多项式，所以 $B^*$ 可以表示为 $$B^*=\sum^{n-1}_{k=0}C_k\lambda^k$$ 所以代入 $$\sum^{n}_{k=0}a_k\lambda^k I=f(\lambda)I=\sum^{n-1}_{k=0}(\lambda I-A)C_k\lambda^k$$ 从而比较系数 $$\begin{matrix}a_0& =& -AC_0&\\ a_1& =& C_0&-AC_1\\ a_2& =&& C_1&-AC_2\\ \vdots& &&&\ddots&\\ a_{n-1}& =&&& C_{n-2}&-AC_{n-1}\\ a_n& =&&&& C_{n-1}\end{matrix}$$ 累加即可。 对角矩阵方法（分析方法） 这个方法只适用于 $\mathbb F=\mathbb R,\mathbb C$ 上的矩阵。 先考虑 $A$ 可对角化的情形，则此时存在可逆矩阵 $P$ 使得，对于任意多项式 $f$，都有 ...

185 199-28,29,30,31,32,33 Oksendal - Introduction to Stochastic

线性算子 $T:\mathbb F^n\to\mathbb F^n$ 作用在向量 $\alpha \in\mathbb F^n$ 上，我们关心它的不变性。所以有不变子空间的概念，例如 $V\subseteq \mathbb F^n$ 是 $T$ 的不变子空间，意味着选取 $V$ 的一组基底进行线性扩张，则能得到以下表示矩阵 $$\begin{pmatrix}A&*\\ 0&B\end{pmatrix}$$ 其中 $*$ 不一定为零元，这说明 $V$ 是 $T$ 最终的收缩核。特别地，如果 $\dim V=1$，则 $\beta$ 是 $T$ 的特征向量，其中 $V=\mathrm {span}\{\beta\}$，具体地 $$\exists \lambda \in \mathbb F,\text{ s.t. }T\beta=\lambda \beta$$ 将这些特征向量元组 $(\lambda ,\beta)$ 收集起来，记线性算子 $T$ 的 $\lambda$-特征子空间为 $$V_\lambda =\{\beta \in \mathbb F^n:T\beta=\lambda \beta\}=:\{\beta \in\mathbb F^n:T_\lambda \beta=0\}$$ 其中 $T_\lambda :=T-\lambda I$。这个特征子空间只不过是多个一维不变子空间（一维收缩核）的直和。那么作为收缩核，其核空间会最终平稳 $$\ker T_\lambda \subseteq \ker T^2_\lambda \subseteq \cdots \subseteq \ker T^N_\lambda =\ker T^{N+1}_\lambda =\cdots$$ 于是 $\ker T^N_\lambda$ 中的元素只要作用 $T_\lambda$ 就会最终收缩到 $\ker T_\lambda$ 中的一个特征向量上。而具体落在哪一个特征向量上，是由 $\ker T^N_\lambda$ 中元素的链条决定的：对于任意 $\alpha \in \ker T^N_\lambda$，存在最小的 $k\in\{0,1,\cdots,N\}$ 使得 ...

Schur Decomposition：对于任意 $A\in M_n(\mathbb C)$，存在酉矩阵 $U$ 和上三角矩阵 $T$ 使得 $A=UTU^*$；对于任意 $A\in M_n(\mathbb R)$，且其特征值均为实数，则存在正交矩阵 $Q$ 和上三角矩阵 $R$ 使得 $A=QRQ^\top$，其中 $R$ 的对角线元素为 $A$ 的特征值。 作为推论，半正定实对称方阵可以开 $n$ 次方根（也是半正定实对称方阵）。 Singular Value Decomposition：对于任意 $A\in M_{m\times n}(\mathbb C)$，存在酉矩阵 $U$ 和 $V$ 以及对角矩阵 $\Sigma$ 使得 $A=U\Sigma V^*$；对于任意 $A\in M_{m\times n}(\mathbb R)$，存在正交矩阵 $Q$ 和 $P$ 以及对角矩阵 $\Sigma$ 使得 $A=Q\Sigma P^\top$，其中 $\Sigma$ 的对角线元素为 $A$ 的奇异值。 其中 $$\Sigma=\begin{pmatrix}\mathrm{diag}(\sigma_1,\sigma_2,\cdots,\sigma_r) & 0\\ 0&0\end{pmatrix},\quad \Sigma^{-1}:=\begin{pmatrix}\mathrm{diag}(\sigma^{-1}_1,\sigma^{-1}_2,\cdots,\sigma^{-1}_r) & 0\\ 0&0\end{pmatrix}$$作为推论，可以定义任意矩阵 $A$ 的 Moore-Penrose 逆 $A^{-}$，满足 ...