【PRML】計画行列の変形 - 目的のない勉強会

PRML3章のベイズ線形回帰で、計画行列のスカラー表示から行列表示への変換が出てきます。

よく見る変形なのでまとめておきます。

計画行列をスカラー表示から行列表示へ

$\sum_{n=1}^N (t_n-\mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_n})})^2 \\ = (t_1-\mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_1})})^2 + (t_2-\mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_2})})^2 + \cdots + (t_N-\mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_N})})^2 \\ = \begin{bmatrix} (t_1-\mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_1})}), & (t_2-\mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_2})}), \ \cdots\ , & (t_N-\mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_N})})\\ \end{bmatrix} \begin{bmatrix} (t_1-\mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_1})}) \\ (t_2-\mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_2})})\\ \ \vdots\ \\ (t_N-\mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_N})}) \end{bmatrix} \\ = \begin{pmatrix} \mathbf{t} - \mathbf{\Phi} \mathbf{w} \end{pmatrix}^\mathrm{T} \begin{pmatrix} \mathbf{t} - \mathbf{\Phi} \mathbf{w} \end{pmatrix}$

上の最後の変形では以下のように考えるとわかりやすい。

$\begin{bmatrix} (t_1-\mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_1})}) \\ (t_2-\mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_2})})\\ \ \vdots\ \\ (t_N-\mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_N})}) \end{bmatrix} = \begin{bmatrix} \begin{pmatrix} t_1 \\ t_2 \\ \vdots \\ t_N \end{pmatrix} - \begin{pmatrix} \mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_1})} \\ \mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_2})} \\ \vdots \\ \mathbf{w}^\mathrm{T} \mathbf{\phi(\mathbf{x_N})} \end{pmatrix} \end{bmatrix} \\ = \begin{bmatrix} \begin{pmatrix} t_1 \\ t_2 \\ \vdots \\ t_N \end{pmatrix} - \begin{pmatrix} \mathbf{\phi(\mathbf{x_1})}^\mathrm{T} \mathbf{w}\\ \mathbf{\phi(\mathbf{x_2})}^\mathrm{T} \mathbf{w} \\ \vdots \\ \mathbf{\phi(\mathbf{x_N})}^\mathrm{T} \mathbf{w} \end{pmatrix} \end{bmatrix} \\ = \begin{bmatrix} \begin{pmatrix} t_1 \\ t_2 \\ \vdots \\ t_N \end{pmatrix} - \begin{pmatrix} \mathbf{\phi(\mathbf{x_1})}^\mathrm{T}\\ \mathbf{\phi(\mathbf{x_2})}^\mathrm{T}\\ \vdots \\ \mathbf{\phi(\mathbf{x_N})}^\mathrm{T} \end{pmatrix} \mathbf{w} \end{bmatrix} \\ = \begin{bmatrix} \mathbf{t} - \mathbf{\Phi} \mathbf{w} \end{bmatrix} \\$

最後の変形は計画行列の定義を見れば大丈夫

$\mathbf{\Phi} = \begin{pmatrix} \phi_0(\mathbf{x_1}) & \phi_1(\mathbf{x_1}) & \cdots & \phi_{M-1}(\mathbf{x_1}) \\ \phi_0(\mathbf{x_2}) & \phi_1(\mathbf{x_2}) & \cdots & \phi_{M-1}(\mathbf{x_2}) \\ \vdots & \vdots & \ddots & \vdots \\ \phi_0(\mathbf{x_N}) & \phi_1(\mathbf{x_N}) & \cdots & \phi_{M-1}(\mathbf{x_N}) \tag{3.16} \\ \end{pmatrix}\\ = \begin{pmatrix} \mathbf{\phi(\mathbf{x_1})}^\mathrm{T}\\ \mathbf{\phi(\mathbf{x_2})}^\mathrm{T}\\ \vdots \\ \mathbf{\phi(\mathbf{x_N})}^\mathrm{T} \end{pmatrix}$

最後にTexについて…

Point1: Marldown記法で書く

Point2: なんか囲む

<div>[tex: <span style="color: #0000cc">ここに数式</span> ]</div>

toshiocp.com

<pre>[tex:<span style="color: #0000cc">ここに数式</span>]</pre>

cartman0.hatenablog.com

いつもやり方忘れて、表記の修正に数十分とか時間がかかる。数式打ち込むのもなかなか時間がかかるし。

表示は手書きより綺麗なのは確かなんだけど、無意味な手間がかかりすぎて性分に合わない。。