数式を図の操作として読む

行列を図で読む線形代数

行列積、射影、SVD、固有分解、二次形式、共分散を、計算手順だけでなく図の構造として眺める。数式を見た瞬間に、対応する図や動きが頭に浮かぶようにするための教材です。

01 · 行列の読み方

行列積の成分表示と列ベクトルの線形結合

まず行列積 $AB$ は、左に $A$ 、上に $B$ を置き、交差する場所ごとに「行ベクトルと列ベクトルの内積」を入れる表として読めます。その特殊な形として $Ax$ を見ると、出力を列ベクトルの足し合わせとして作る読み方と、各行が入力を測って数値を返す読み方の両方が現れます。 SVDの $V^T$ は「内積リスト」、 $U$ は「列の線形結合」として読むと、後の図がつながります。

行列積は、内積で埋める表

A\in\mathbb{R}^{n\times m},\quad B\in\mathbb{R}^{m\times l},\quad C=AB\in\mathbb{R}^{n\times l}

C_{ij}=\text{row}_i(A)\cdot \text{col}_j(B)=\sum_{k=1}^{m}A_{ik}B_{kj}

内側の $m$ は、左から来る横ベクトルと、上から来る縦ベクトルの「同じ長さ」です。だから、その2本を同じものさしで重ねて内積を取れます。たとえば $l=1$ なら行列ベクトル積、 $n=l=1$ なら内積として読めます。いずれも、同じ「行と列の内積で表を埋める」図の特殊な場合です。

c_j=A\,b_j

c_i^T=a_i^T\,B

同じ $Ax$ を2枚の絵で見る

列で見ると「材料を混ぜて出力を作る」。行で見ると「入力にセンサーを当てて測定値を並べる」。 SVDはこの2つを $V^T$ と $U$ に分けて、きれいな順番にしたものとして読めます。

Ax=x_1a_1+x_2a_2+x_3a_3

列 $a_i$ は $A$ の列です。 $x_i$ はその列を何倍して足すかを決める係数です。

Ax=\begin{bmatrix}r_1^Tx\\ r_2^Tx\\ r_3^Tx\end{bmatrix}

行 $r_i^T$ は $A$ の行です。 $x$ を測った値が、出力ベクトルの各成分になります。

次の射影では、内積で一つの方向の成分を測り、その方向へベクトルとして戻す操作を見ます。

02 · 射影

なぜ $P=uu^T$ が直交射影になるのか

0でないベクトル $w\ne 0$ が張る直線へ、ベクトル $v$ を垂直に落とします。行列の形は「方向を測る内積」と「その方向へ戻す操作」に分けて読めます。

u=\frac{w}{\|w\|},\qquad P=uu^T=\frac{ww^T}{\|w\|^2}

$I-P$ は逆行列ではなく補射影です。 $w$ 方向の影を差し引いた残差だけを残します。

測る: $u^Tv\in\mathbb{R}$ は $u$ 方向の成分
戻す: $u(u^Tv)$ はその成分を $u$ 方向へ置いたベクトル
確かめる: $u^T(v-Pv)=0$ かつ $P^2=P$

Projection Lab

影と残差

v.x v.y v.z w.x w.y w.z

式を左から順に読む

Pv=uu^Tv=u(u^Tv),\qquad u=\frac{w}{\|w\|}

まず $w$ を長さ1の方向ベクトル $u$ に直す。

$v$ が $u$ 方向に何単位ぶん進んでいるかを測る。

測った長さぶんだけ $u$ を伸ばし、 $w$ 軸上の点へ戻す。

元のベクトルと射影との差は $u$ に垂直になる。したがって、軸へ最短距離で落ちている。

一度軸上へ移ったベクトルは、もう一度射影しても動かない。この性質を行列では $P^2=P$ と書く。

空間として見ると何が起きるか

P(x)=u(u^Tx),\qquad u^T(x-Px)=0

射影行列は、空間の点をそれぞれ $w$ 軸へ垂直に落とします。軸に垂直な同じ平面にいる点たちは、すべて同じ軸上の点へ潰れます。この「内積で測り、その方向へ戻す」という形が、SVDの $\sigma_i(v_i^Tx)u_i$ という読み方につながります。

SVDでは、この成分の測定と配置を、複数の直交方向に分けて行います。

03 · SVD

SVDによる線形変換の分解

$A=U\Sigma V^T$ は、入力ベクトルを右特異ベクトルの座標で読み直し、各座標を特異値だけ伸ばし、その結果を左特異ベクトルの向きとして出力空間へ組み立てる操作です。長方形行列でも、入力空間と出力空間を別々の座標系として扱えば同じ絵で読めます。

2次元における線形変換の図示

x\ \xrightarrow{V^T}\ \hat{x}\ \xrightarrow{\Sigma}\ \Sigma\hat{x}\ \xrightarrow{U}\ Ax

2次元では、 $\Sigma$ が円を楕円に変え、 $U$ がその楕円を形を変えずに出力空間の向きへ置き直します。

世界の座標で見ます。

いまの基底

v_i/u_i

に乗って見ます。

進行

SVDの三段階の個別図示

A=U\Sigma V^T,\qquad Ax=\sum_{i=1}^{p}\sigma_i(v_i^Tx)u_i,\quad p=\min(m,n)

$x$ と各右特異ベクトル $v_i$ の内積を測り、成分のリストにする。

各座標 $\hat{x}_i$ を $\sigma_i$ 倍する。小さい $\sigma_i$ の方向ほど情報は弱く残る。

伸縮後の座標を、左特異ベクトル $u_i$ の足し合わせとして出力空間に配置する。

$V=[v_1,\ldots,v_n]$ と見ると、 $V^T$ は物体を無理に動かすというより、 $x$ を「右特異ベクトル $v_i$ 方向に何単位あるか」という座標ベクトルへ翻訳します。

$\Sigma$ が $\hat{x}_i$ を $\sigma_i\hat{x}_i$ に変えたあと、 $U$ はその座標ベクトルを左特異ベクトル $u_i$ の線形結合として出力空間に描き直します。

3次元における点の線形変換

入力を置く、各 $v_i$ 方向の成分として測る、特異値をかける、出力空間の $u_i$ 方向へ置き直す、最後に足し合わせる、という順番を一段ずつ進めます。

世界の座標で見ます。

いまの基底

v_i/u_i

に乗って見ます。

進行

3次元空間全体の線形変換

1本のベクトルだけでなく、周囲の点や座標軸も同じ $A=U\Sigma V^T$ で動きます。球面の網目が、特異値の大きい方向ほど強く伸び、小さい方向ほど潰れていく様子に注目します。最後に、その楕円体が出力空間の左特異ベクトル $u_i$ の向きへ置き直されます。

世界の座標で見ます。

いまの基底

v_i/u_i

に乗って見ます。

進行

異なる次元の空間への線形写像

\begin{aligned}A&:\mathbb{R}^2\to\mathbb{R}^3\\ Ax&=\sigma_1(v_1^Tx)u_1+\sigma_2(v_2^Tx)u_2\end{aligned}

入力空間と出力空間の次元が違うとき、 $U$ は同じ場所で物体を回すというより、伸縮後の座標を出力空間の $u_i$ 軸へ置き直します。余った出力方向は、この入力からは直接使われません。

進行

\begin{aligned}A&\in\mathbb{R}^{m\times n},\quad U\in\mathbb{R}^{m\times m},\quad V\in\mathbb{R}^{n\times n}\\ \Sigma&\in\mathbb{R}^{m\times n},\quad \Sigma_{ii}=\sigma_i\ (1\le i\le \min(m,n)),\quad \Sigma_{ij}=0\ (i\ne j)\end{aligned}

入力は $\mathbb{R}^n$ 、出力は $\mathbb{R}^m$ 。同じ空間に戻る変換ではないので、 $V$ は入力側の座標系、 $U$ は出力側の座標系として別々に持つ。

入力座標は $n$ 個しかない。 $\Sigma$ はそれらを特異値で伸ばしてから、 $\mathbb{R}^m$ の中へ置く。余った出力方向は、この行列からは直接は出てこない。

入力方向の方が多いので、 $\Sigma$ は全部の入力座標を出力に運べない。行数に入らない方向や $\sigma_i=0$ の方向は潰れ、出力からは区別できなくなる。

ランクを $r$ とすると、本当に生き残るのは $\sigma_1,\ldots,\sigma_r>0$ の方向だけ。つまり $A=\sum_{i=1}^r\sigma_i u_i v_i^T$ と読める。

SVDで入力軸と出力軸を分けて見たあと、対称行列ではその2つの軸が同じ直線に重なる場合を見ます。

04 · 固有値

対称行列における直交固有基底

SVDでは入力側の軸 $v_i$ と出力側の軸 $u_i$ を別々に持ちます。対称行列のスペクトル分解では、この2つが同じ直線上に揃い、 $Aq_i=\lambda_iq_i$ と読めます。正の固有値は同じ向きへの伸縮、負の固有値は同じ直線上での向き反転です。正半定値の場合に限れば、固有値を非負の特異値として見られるので、 $A=Q\Lambda Q^T$ はそのまま $U=V=Q,\ \Sigma=\Lambda$ のSVDになります。一般の対称行列では、特異値は $|\lambda_i|$ で、負号は出力軸の向きに吸収して読みます。

同じ軸で測る

まず $q_i^Tx$ と内積を取り、固有ベクトル方向の成分リストにする。

符号つきで伸ばす

$\lambda_i$ が正なら同じ向き、負なら同じ直線上で反対向きに返す。

同じ軸へ戻す

負の $\lambda_i$ はSVDの非負な $\sigma_i$ ではなく、出力軸の向きの反転として吸収して見る。

固有ベクトル方向の不変性と固有値による伸縮

円は固有ベクトル $q_1,q_2$ の軸に沿って楕円へ変わります。楕円の長さは $|\lambda_i|$ が決めます。負の $\lambda_2$ は、点や矢印が同じ軸の反対側へ移ることで見えます。

x\ \xrightarrow{Q^T}\ (q_i^Tx)_i\ \xrightarrow{\Lambda}\ (\lambda_iq_i^Tx)_i\ \xrightarrow{Q}\ Ax

次の二次形式では、行列で動かしたベクトルを元の方向から測り、一つのスカラーへ戻します。

05 · 二次形式

二次形式が空間に割り当てる値

二次形式 $x^TAx$ はベクトルを出力するのではなく、各点 $x$ に一つの値を割り当てます。等高線として見れば楕円や双曲線になり、高さとして見ればボウルや鞍型の曲面になります。

固有方向ごとの二乗を足す

x^TAx=\lambda_1(q_1^Tx)^2+\lambda_2(q_2^Tx)^2

固有ベクトル方向の成分は符号ではなく二乗で効き、固有値がその方向の重みになります。正の固有値だけなら上向きのボウル、0なら平らな方向、正負が混ざれば鞍型です。

同じ値を結ぶ等高線

値を高さにした曲面

λ₁ λ₂ 固有軸 x₁ x₂

対称部分だけが見える

反対称部分は二次形式の値を変えません。曲面の形は $(A+A^T)/2$ が決めます。

どの方向でも負にならない

半正定値とは、すべての $x$ に対して $x^TAx\ge0$ となることです。

方向を入れると分散になる

共分散行列へ単位方向 $u$ を入れると、その方向へ射影した点群の分散になります。

共分散行列では、点群から半正定値な二次形式を作り、任意の方向の広がりを読み取ります。

06 · 共分散

点群の広がりを行列にまとめる

共分散行列は、中心化した各点が作る外積を平均したものです。その同じ行列が、方向別の分散、PCAの主軸、Mahalanobis距離、白色化をまとめて記述します。

\Sigma=\mathbb{E}[(X-\mu)(X-\mu)^T]

u^T\Sigma u=\operatorname{Var}(u^TX)

同じ点群を4つの見方で読む

一つの点が作るランク1行列と、それらを平均して得られる楕円を対応させます。

注目する点

PCAの主軸

固有ベクトルが点群の主な広がりの方向、固有値がその方向へ射影したときの分散です。

点群と一緒に変形する

$A$ が点群を動かすと、その広がりは左から $A$ 、右から $A^T$ を受けます。

ばらつきを揃えて距離を測る

白色化すると共分散楕円が円になり、Mahalanobis距離は白色化後の通常の距離になります。

この先では、共分散が作る距離を通常の回帰、Fréchet平均、ネットワーク値応答へつなげられます。

教材へのリクエスト

見たいもの・分からないことを送る

数式、言葉、箇条書きのままで構いません。スクリーンショットや手書きの画像も添えられます。制作をお約束するものではありませんが、今後の教材を考えるために読みます。

見たいもの・分からないこと

文章、数式、LaTeX、箇条書きを自由に書けます。

画像任意

PNG・JPEG・WebPを5枚まで。1枚8MB以下。貼り付けやドラッグ＆ドロップも使えます。

ここに画像をドロップまたは貼り付け画像を選ぶ

表現の希望任意

複数選べます。迷う場合は「おまかせ」のままで大丈夫です。

おまかせ段階的アニメーション 2D 3D 比較

試作ができたらメールで連絡を受け取る

行列積の成分表示と列ベクトルの線形結合

なぜ が直交射影になるのか

影と残差

SVDによる線形変換の分解

対称行列における直交固有基底

二次形式が空間に割り当てる値

点群の広がりを行列にまとめる

見たいもの・分からないことを送る

この内容でリクエストします

なぜ $P=uu^T$ が直交射影になるのか