E資格講義+参考書のメモ書き
講義
次元削減
主成分分析 (Principal Component Analysis)
固有値分解で求める
累積寄与率 $70 \sim 80\%$ くらいで切ることが多い
因子負荷量 (Factor Loading)
固有ベクトル $\times \text{sqrt}(\text{固有値})$
合成と元の変数の関係性。意味の説明に使う
主成分得点
2次元数平面にプロットしたときの $(x, y)$ の値
t-SNE
PCAでは似たデータの近さを維持するのが難しい(特に高次元非線形)
t-SNEはデータの構造をなるべく保つ
$t$分布を使う Stochastic Neighbor Embedding
単なるSNEでは Crowding問題があった
高次元の確率分布と圧縮後の確率分布のKLダイバージェンスを最小化
$p/q$ で $q$ に低次元を当てることで、$q$ が小さい(=離れている)
2 応用数学
線形代数 = ベクトルの代数
正方行列$A$について、
$$ A^{-1}\text{が存在} \Leftrightarrow \det A\neq0 $$
固有ベクトル $\cdots$ かけても向きが変わらないベクトル
固有値分解 $\rightarrow$ 対角化すること
特異値分解(SVD) $\rightarrow$ 2つの直交行列(※転置したら逆行列になるやつの事)と1つの対角行列に分解 次元圧縮、画像処理で応用
$\downarrow$
- 転置してかける $A^{t}A$ (固有値分解可能を保証)
- 固有値を出す $\det(M-\lambda I)=0$ $\lambda$
- 固有ベクトルを出して正規化 $(M-\lambda_n I)v_n=0 \quad \text{for all } n, \Vert{}v\Vert{}=1$ $\hookrightarrow$ これが $V$
- 転置してかける $AA^{t}$
- 固有値を出す $\det(M-\lambda I)=0$
- 固有ベクトルを出して正規化 $\prime\prime$ $\hookrightarrow$ これが $U$
- 固有値の平方根を並べる $(\sqrt{\lambda_n})$
$\hookrightarrow$ これが $\Sigma$
$$A = U \Sigma V^{t} \quad \leftarrow \text{転置忘れるな!}$$ $$(\vec{a} \cdot \vec{b}) = a_1 b_1 + a_2 b_2 = \Vert{}\vec{a}\Vert{} \Vert{}\vec{b}\Vert{} \cos\theta$$
シュワルツの不等式
内積変形と $\cos$ の性質から導ける、簡単だが重要な不等式
$(\vec{a}, \vec{b}) = \Vert{}\vec{a}\Vert{} \Vert{}\vec{b}\Vert{} \cos\theta$ だから、変形すると
$$\cos\theta = \frac{(\vec{a}, \vec{b})}{\Vert{}\vec{a}\Vert{} \Vert{}\vec{b}\Vert{}}$$
ここで、$\vert{}\cos\theta\vert{} \leq 1$ なので
$$\vert{}(\vec{a}, \vec{b})\vert{} \leq \Vert{}\vec{a}\Vert{} \Vert{}\vec{b}\Vert{}$$
行列
行列というのは変換装置. 関数の合成と同じ. ブロック行列で小分けにしてもOK
$$(AB)^{t} = B^{t}A^{t}$$
正則なら、転置の逆 $=$ 逆の転置
$$(A^{t})^{-1} = (A^{-1})^{t}$$ 任意の行列は対称行列と反対称行列に分解できる。しかも一意。
$$B_{1} = \frac{1}{2}(A + A^{t})$$
$$B_{2} = \frac{1}{2}(A - A^{t})$$
$$B_{1} + B_{2} = A$$
行列は非可換だが結合法則は成り立つ
逆行列は
$$A^{-1} = \frac{1}{\Delta} \begin{pmatrix} d & -b \\ -c & a \end{pmatrix}$$
テンソル $=$ 行列が並んだもの
アダマール積 $\rightarrow$ back propagationで使う
アフィン変換 $\rightarrow$ $\vec{y} = W\vec{x} + \vec{b}$
アフィン変換の偏微分
$$C = C(W\vec{x} + \vec{b})$$
とし、
$x$ で偏微分
$$\frac{\partial C}{\partial x_{i}} = \sum_{k=1}^{m} \frac{\partial C}{\partial y_{k}} \frac{\partial y_{k}}{\partial x_{i}} = \sum_{k=1}^{m} \frac{\partial C}{\partial y_{k}} W_{ki}$$
要素をまとめると
$$ \frac{\partial C}{\partial \vec{x}}= W^{t} \frac{\partial C}{\partial \vec{y}} $$
$w_{ij}$ で偏微分
$$\frac{\partial C}{\partial W_{ij}} = \sum_{k=1}^{m} \frac{\partial C}{\partial y_{k}} \frac{\partial y_{k}}{\partial W_{ij}} = \sum_{k=1}^{m} \frac{\partial C}{\partial y_{k}} x_{j} \delta_{ki} = \frac{\partial C}{\partial y_{i}} x_{j}$$
全体では
$$\frac{\partial C}{\partial W} = \frac{\partial C}{\partial \vec{y}} \vec{x}^{t}$$
$b_{i}$ で偏微分
$$\frac{\partial C}{\partial b_{i}} = \sum_{k=1}^{m} \frac{\partial C}{\partial y_{k}} \frac{\partial y_{k}}{\partial b_{i}} = \sum_{k=1}^{m} \frac{\partial C}{\partial y_{k}} \delta_{ki} = \frac{\partial C}{\partial y_{i}}$$
全体では
$$\frac{\partial C}{\partial \vec{b}} = \frac{\partial C}{\partial \vec{y}}$$
掃き出し法 $\cdots$ 基本変形のみで一次を解くこと $\hookrightarrow$ $a \neq 0$倍、入れかえ、足す
代入法もある
行列の掃き出し法 (行)
$a \neq 0$倍 $\quad$ 入れかえ $\quad$ 足す($a$倍して)
$$\begin{pmatrix} 1 & & \\ & a & \\ & & 1 \end{pmatrix} \quad \begin{pmatrix} 1 & & \\ & 0 & 1 \\ & 1 & 0 \end{pmatrix} \quad \begin{pmatrix} 1 & & a \\ & 1 & \\ & & 1 \end{pmatrix}$$
$$E_{1} \hspace{5em} E_{2} \hspace{5em} E_{3}$$
列の場合は左からではなく右からかける($E_{3}$だけ転置)
拡大係数行列
$$(A\vert{}b) = \left( \begin{array}{ccc|c} \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot \end{array} \right)$$
最終的に $$\left( \begin{array}{ccc|c} 1 & & & a \\ & 1 & & b \\ & & 1 & c \end{array} \right)$$
になったら答
掃き出し法による逆行列
$$\left( \sim \middle\vert{} \begin{array}{ccc} 1 & & \\ & 1 & \\ & & 1 \end{array} \right) \rightarrow \left( \begin{array}{ccc} 1 & & \\ & 1 & \\ & & 1 \end{array} \middle\vert{} \sim \right)$$
$\nwarrow$ これが逆行列になってる
掃き出し法の計算量 $\cdots$ $O(n^{3})$
並列化も難しい
階段標準形 $\cdots$ 行列の要素を左上に固めたもの
行簡約階段形なら一意(掃き出し法によらない)
$$\text{Rank}(A) = n \Leftrightarrow A\text{は正則}$$
転置してもRankは同じ
線形独立 $\Leftrightarrow$ $k$個のベクトルの線形結合を$0$にする$k$個のスカラーの組が一通り(全て$0$)のとき
$\hookrightarrow$ 拡大係数行列で連立1次を解いて全て$0$であることを示せばよい
行列は積を取ると、Rankは同じか、下がる
線形独立を示したいとき、代わりに正則であることを示してもよい
つまり、$\det A \neq 0$ を示しても同じ(√を含む場合など)
行列式の多重線形性と反対称性を使って連立1次を解くことなく求まる
$$\det(AB) = \det(A)\det(B)$$
上三角行列の行列式は対角成分の積に等しい
2つの列が同じ行列の行列式は$0$
$\hookrightarrow$ さらに、ある列が別の列の定数倍だったら行列式は$0$
$\hookrightarrow$ までの性質は行についても同様
クラメールの公式で方程式解ける
3 固有値分解
固有値分解 $\dots$ 正則行列で挟んでかけて対角行列を取り出す
$$X^{-1}AX = \Lambda$$
累乗計算 $\dots$ $A^{n}$ を $(X\Lambda X^{-1})^{n}$ と固有値分解すると、$XX^{-1}$ が打ち消しあって
計算量が大きく減る
固有ベクトル $\dots$ 向きが変わらない特別なベクトル
固有方程式 $\dots$ 固有値を求めるための方程式
$$U\vec{x} = \lambda\vec{x} $$ を変形し
$$(U - \lambda I)\vec{x} = \vec{0} \quad $$ これが成り立つのは
$$\det(\lambda I - U) = 0 \quad $$ のとき。これを固有方程式という
$\lambda^{n} +\dots = 0$ の方程式を解けば $n$ 個の固有値(重複あり)が得られ、
出てきた $\lambda_{i}$ を代入して
$$\begin{pmatrix} 2 & -2 \\ -2 & 2 \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix}$$
とすれば $(x, y)$、つまり固有ベクトルの1つが得られる
正則行列なら 逆行列がある
$n\times n$行列が線形独立な固有ベクトルを$n$個持つなら対角化可能
複素空間の計算は共役を取る
複素内積 $\quad \sum a_{i}\overline{b_{i}}$
随伴行列 $\quad U^{\ast} \quad$ 転置して複素共役
エルミート行列 $\quad U = U^{\ast} \quad$ (対角成分は実数、それ以外は共役)
ユニタリ行列 $\quad UU^{\ast} = I \quad$ 複素直交行列
実対称行列$A$が正定値 $\Leftrightarrow$ 全ての固有値が正
$$(\lambda \vec{x}, \vec{y}) = (\vec{x}, \overline{\lambda} \vec{y})$$
特異値分解
正方とは限らない行列について直交×対角×直交の形に分解すること。
$$A^{t}A$$
$$\det(\lambda I - A^{t}A) = 0$$
$\lambda$が次元数とれるので、それを代入し、長さが$1$になるように定数かける
すると、$\vec{v}$が求まる
$\vec{u}$を求める
$U^{t}AV=\Sigma$を求める
確率
分散が大きいと平均値が信用できない
和の分散は 分散の和 + $2\text{Cov}[X, Y]$
ただし、独立な場合は $2\text{Cov}[X, Y]$ が$0$なので単なる和
ベイズの定理 $\cdots$ 過去の原因の確率を求める
$$P(H_{i}\vert{}A) = \frac{P(A\vert{}H_{i})P(H_{i})}{\sum_{j=1} P(H_{j})P(A\vert{}H_{j})}$$
ナイーブベイズ $\cdots$ 各特徴量が条件付き独立であると仮定して進めること(ただ、ベイズの定理そのものは事象が独立でなくともよい)
$P(A\vert{}H_{1}) \quad$ 尤度
$P(H_{1}\vert{}A) \quad$ 事後確率
$A \cdots$ 地面が濡れている
$H_{1} \cdots$ 雨が降った
$H_{2} \cdots$ 散水車の故障
尤度関数はかけ算が多くなるので対数を取る
ex) コインを100回投げて80回表が出たときの $p$
対数なし $L(p) = {}_{100}C_{80} p^{80} (1-p)^{20}$
あり $l(p) = \log {}_{100}C_{80} + 80 \log p + 20 \log (1-p)$
$\hookrightarrow$ 第1項は定数なので計算しなくてよい
MAP推定 (Maximum a posteriori)
与えられたデータを条件つき確率の条件とする
$$P(\theta\vert{}D) = \frac{P(D\vert{}\theta)P(\theta)}{P(D)}$$
$\leftarrow$ これは $P(\theta\vert{}D)P(D) = P(D\vert{}\theta)P(\theta)$ の両辺を $P(D)$ で割ったもの
$P(\theta\vert{}D)$ を出すのは難しいが、$P(D\vert{}\theta)$ は出しやすい
$P(D)$ は $\theta$ に依存しないので無視してもよい、つまり
$$\text{MAP} = \text{argmax}_{\theta} P(D\vert{}\theta) P(\theta)$$
事前分布の情報がない場合、一様事前分布を仮定することが考えられる。このとき$P(\theta)$ は$\theta$によらない定数(特に有限な離散空間では$1$) となり、最尤推定と一致する
事前分布としてベータ分布を使うことが多い
ベイズ推定 $\cdots$ 確率密度関数を求める
7 情報理論
自己情報量
$$i(p) = -\log_{2} p$$
小さい確率で起こるものほど情報量は多くあってほしいので負をかける
エントロピー $\cdots$ $i(p)$の期待値
$$H(p) = -\sum_{i=1}^{n} p_{i} \log_{2} p_{i}$$
非負であり、$p=1$のとき$0$、$p=\frac{1}{n}$のとき最大
条件つきエントロピー
一部が確定した後の不確定度
$$H_{X=x_{i}}(Y) = -\sum_{j=1} P_{Y\vert{}X}(y_{j}\vert{}x_{i}) \log_{2} (P_{Y\vert{}X}(y_{j}\vert{}x_{i}))$$
相互情報量
$X$を知ることで$Y$の不確定度がどれくらい減るか
$$I(X, Y) = H(Y) - H_{X}(Y)$$
性質
$$H(X, Y) = H_{X}(Y) + H(X)$$
$$H(X, Y) \leq H(X) + H(Y)$$
クロスエントロピー
$$C(p, q) = -\sum_{i=1}^{n} p_{i} \log_{2} q_{i}$$
$p_{i} = q_{i}$ のとき最小値 $H(p)$。 $p$ が確定分布なら $0$
KLダイバージェンス
$$D_{KL}(p\vert{}\vert{}q) = -\sum_{i=1}^{n} p_{i} \log_{2} q_{i} + \sum_{i=1}^{n} p_{i} \log_{2} p_{i}$$
JSダイバージェンス (KLに対称性を入れたもの)
$$D_{JS}(p\vert{}\vert{}q) = \frac{1}{2} \left( \sum_{i=1}^{n} p_{i} \log_{2} \frac{p_{i}}{r_{i}} + \sum_{i=1}^{n} q_{i} \log_{2} \frac{q_{i}}{r_{i}} \right) \quad r_{i} = \frac{p_{i} + q_{i}}{2}$$
8 振り返りテスト
$f(x, y) = \frac{1}{x + \cos y}$ のとき、 $\frac{\partial f}{\partial y} = \frac{\sin y}{(x + \cos y)^{2}}$
もし $A$ が実対称行列なら直交行列 $Q$ がとれて $Q^{t}AQ$ を対角行列にできる
9 機械学習
多重共線性
VIF (Variance Inflation Factor)
$$VIF_{i} = \frac{1}{1 - R_{i}^{2}} \quad \leftarrow \text{これが}10\text{以上のとき問題}$$
Lasso回帰
モデルが複雑になりすぎないようにペナルティを与える
普通の最小二乗法は
$$L = \sum_{i=1}^{n} (y_{i} - \hat{y}_{i})^{2}$$
の$L$を最小化するし、1回の計算で求まるが、ここに
$$\sim\sim\sim\sim + \lambda \sum_{j=1}^{m} \vert{}w_{j}\vert{}$$
つまり方程式の係数が大きくなればなるほど損失が大きいという制約をねじこむ
Ridge回帰
$$\sim\sim\sim\sim + \lambda \sum_{j=1}^{m} w_{j}^{2}$$
Lassoと違って $w$ 項が微分できるので、最小二乗法と同じく一発で解ける
$$w = (X^{T}X + \lambda I)^{-1}X^{T}y$$
不要な変数が多いときはLasso、全部必要で安定させたいときはRidge
ロジスティック回帰(分類)
$$\hat{y} = f(w^{T}x) = \frac{1}{1 + \exp\left(-\sum_{i=0}^{n} w_{i} x_{i}\right)}$$
オッズ $= \frac{p}{1-p} \quad \leftarrow 0 \sim 1$ を $0 \sim \infty$ に変換したもの
ロジット $=$ オッズの対数
解釈性が高く、軽量高速だが、非線形データに弱い
SVM $\rightarrow$ マージン最大化
ハードマージン $\quad$ 内側に許容しない
ソフト $\hspace{5.5em}$ する
カーネルトリック $\quad$ 高次元に写しつつ、計算量の爆発を防ぐ仕組み
カーネル関数 $\qquad K(x_{i}, x_{j}) = \phi(x_{i}) \cdot \phi(x_{j})$
$\hookrightarrow$ 多項式カーネル $\quad K(x, y) = (x \cdot y + c)^{d}$ $d$は多項式の次数
$\hookrightarrow$ RBFカーネル $\quad K(x, y) = \exp(-\gamma \vert{}\vert{}x - y\vert{}\vert{}^{2})$
決定木
空間を分割 。各領域でできるだけ偏らせる
ジニ不純度 $\quad H(Q_{m}) = \sum_{k} p_{mk} (1 - p_{mk}) \quad$ 少し速い
CrossEntropy $\quad H(Q_{m}) = -\sum_{k} p_{mk} \log(p_{mk})$
アンサンブル
Bagging $\quad$ 元データからBootstrap標本を複数作り、各モデルを独立に学習して予測を統合
Boosting $\quad$ 誤分類サンプルなどを重視しながら、弱学習器を逐次追加
Stacking $\quad$ 全データ学習させた複数モデルの予測を入力として、メタモデルを学習
CARTアルゴリズム
2分木を作る $+$ ジニ不純度 or MSE
LGBMなどは、分類タスクにおいても回帰用CARTを使う
kNN
空間的に近いデータ$k$個の多数決
ANN $\quad$ 近似 $\quad$ 探索範囲を狭くして計算量を減らす
kd-tree など
距離
ユークリッド $\quad$ (※直角三角形の斜辺の図)
マンハッタン $\quad$ (※直角三角形の辺に沿った図)
Lp $\quad$ $p$乗根 $L_{1}=$マンハッタン $L_{2}=$ユークリッド $L_{\infty}=$チェビシェフ
マハラノビス $\quad$ 相関から賢く距離を計算
$$D_{M}(x)^{2} = (x-\mu)^{T} \Sigma^{-1} (x-\mu)$$
クラスタリング
レコメンド、デンドログラム(樹形図)し、異常検知などに利用
教師なし学習の一つ
距離を少しずつ小さくしていき、クラスタを形成
分割型(トップダウン)と凝集型(ボトムアップ)
計算方法
最短距離、最長距離、ウォード法、群平均
ウォード法…2つのクラスタを併合したときの、クラスタ内平方和の増加量が最小となる組を併合する
サイズがそろいやすく、ノイズに強い
群平均法…各点どうしの距離の平均。バランスのとれた特徴
非階層クラスタリング
$k$-means
$k$個のセントロイド(重心)を設定
クラスタリング
各クラスタの重心へ移動
弱点
初期値に依存する → $k$-means++ という改良版
$k$ が手動
最短距離法 鎖状効果という決定
最長距離法 最も遠いペアをクラスタ間の距離とする。外れ値に弱い
汎化誤差の要素
バイアス、Variance、Noise
Bias = underfitting
Variance = overfitting
Noise = 除去不可
正則化:複雑さにペナルティ
CRISP-DM
CRoss Industry Standard Process for Data Mining
ビジネス課題の理解 → データ理解
prepare → model → eval → share
分類
第一種の過誤:偽陽性(空振り)
第二種の過誤:偽陰性(見逃し)
→ トレードオフ
適合率(precision):TP、スパムメール
再現率(recall):FN、陽性
全変動:回帰変動+残差変動
perplexity:言語モデルの不確実さ。smaller is better
検証・ニューラルネットワーク基礎
Validation
validation 汎化性能の確認
時系列
ロールフォワード法 一定
expanding法 多量
Group K-Fold 同一対象には混ざらないように
Stratified クラス考慮
Deep NN
Deep NN 複数の隠れ層を持つ(厳密な定義なし)
活性化関数を使わない場合、全体は1回の線形変換と等価
→活性化関数を使えば非線形の特徴を持てる
回帰 → 恒等 MSE
クラス → sigmoid or softmax Cross Entropy
sigmoid 勾配消失問題
tanh -1〜1
GELU 複雑な近似 高速化のための進化系もある
最適化
Pathological Curvature SASUKEの5段飛び
谷の溝のような形状…谷を通るのが最適だが、振動してしまう
Momentum…過去の勾配を足す オーバーシュートリスク
ネステロフ加速勾配…未来を仮置きして、勾配を計算
AdaGrad 最初は大きく、だんだん小さく。一度下がると増えない
RMSProp AdaGradの移動平均
Adam = モメンタム + RMSProp
NAdamよりもシンプル
パラメータ初期化・正則化
パラメータの初期化
アンチパターン
× 全て同じ値
× 大きすぎる値
Xavier(tanh, sigmoidなど。伝播で信号が切られすぎないように)
$\mu = 0$
$\sigma = \sqrt{\frac{2}{\mathrm{input} + \mathrm{output}}}$
He(ReLU系。負が0なので2倍に)
$\mu = 0$
$\sigma = \sqrt{\frac{2}{\mathrm{input}}}$
パラメータ正則化
L1, L2,
Weight Decay 全エポックで重み減衰
Dropout ノードを消す
DropConnect つながりを消す
CNN
$(\mathrm{Conv} \rightarrow \mathrm{Pool}) \times n$
Convolution
Conv 特徴マップを作る
$(3 \times 3) \sim (11 \times 11)$
内積を取る
パディング 外を$0$で埋めて出力サイズを調整し、境界付近の情報を扱えるようにする
Pooling
Pooling 縮小(1/2が多い)
Max Pooling 最大値
Ave 平均
$L_{p}$ 一般化
$$ u_{ijk}= \left( \frac{1}{|P_{ij}|} \sum_{(l,m)\in P_{ij}} \left|z_{lmk}\right|^{p} \right)^{\frac{1}{p}} $$
ReLU後など入力が非負なら
$p=1$ はAve
$p\rightarrow\infty$ はMax
Global Ave 各チャネルについて空間方向$H\times W$を平均
im2col
$W \times H \times ch \times \mathrm{FilterW} \times \mathrm{FilterH}$
デカすぎなので減らしたい
画像を行、フィルタを列にすることで行列演算にできる
転移学習
転移学習:
事前学習済みモデルの知識を別タスクへ利用すること。
Feature Extraction:
事前学習済み部分を固定し、新しい出力層などだけを学習する。
Fine-tuning:
事前学習済みパラメータの一部または全部を追加学習する。
ドメイン適応
CNNアーキテクチャ
Inception
画像認識
$1 \times 1$
特徴量を減らす → 次元削減
Inception Module
$1 \times 1$ をよく使う
$(1\mathrm{conv}, 3\mathrm{conv}, 5\mathrm{conv}, 3\mathrm{maxpool})$
Auxiliary Loss
勾配消失対策として、中盤で推論、誤差を逆伝播
ResNet
Residual Blockで勾配を直接伝播
Shortcutして残差を学習
Plainアーキ
$3 \times 3 + 3 \times 3$
Bottleneckアーキ
$1 \times 1 + 3 \times 3 + 1 \times 1$
Parameterをしぼる
Wide ResNet
浅く広いネットワーク
広さ係数kを使う。入出力両方にかかるので、Paramは$k^{2}$倍
Normalization
Batch Norm
チャネルごとに正規化する
学習時:ミニバッチ、推論時移動平均
内部共変量シフト対策 & 活性値のスケールを安定させ、最適化を容易にする
前の層のパラメータによって学習すべき内容が変わりすぎる
Layer Norm
サンプルごとに正規化
ミニバッチ数に非依存
Instance Norm
各サンプル・チャネルごと スタイル除去
Group Norm
LayerとInstanceの中間
DenseNet
Dense Block
それより前の全ての特徴を結合
Transition Layer
$1 \times 1 + \mathrm{AvePool}$
畳み込みの派生
Grouped Convolution
各グループで畳み込み
Dilated Convolution
歯抜けフィルターで遠くの特徴を見る
Transposed Convolution
特徴マップの空間サイズを拡大できる学習可能な演算
MobileNet
計算量を低減して、モバイル端末でもデプロイできる
通常の$\frac{1}{8}$など
Depthwise Convolution
チャネルごと
Pointwise Convolution
$1 \times 1$
Depthwise Separable Convolution
Depthwise + Pointwise
EfficientNet
Compound Coefficientを導入
width、depth、resolutionの比を保つ
Compound Scaling Method
物体検出
R-CNN
Selective Searchで候補領域を出す(2,000個)
NMS かぶり抑制(Non-Maximum Suppression)
Fast R-CNN
9倍速いとされることがあるが、実は特定論文の固有条件によるものなので一般的特徴ではない。早いのは確か。
ROI Pooling 特徴マップ上のRoIを複数の区画に分割し、各区画でMax Poolingを行って固定サイズの特徴へ変換する
Multi-Task Loss 分類とBBoxを同時に使う損失関数
Faster R-CNN
Selective SearchではなくRegion Proposal Network
Anchor 特徴マップ上の各位置に配置する、複数のスケール・アスペクト比を持つ基準矩形
Mask R-CNN
オブジェクト検出とセグメンテーションを同時に
Semantic 複数の人間を同じ色で塗る
Instance 1人1人に別の色
YOLO
YOLO(You Only Look Once)
One-Stage型
24 Conv、4 PoolingはYOLOv1の特徴
grid cell
高速でリアルタイム推論が可能だが、小さいものの検出が苦手
SSD
SSD(Single Shot Multibox Detector)
複数解像度の特徴マップ上の各位置にDefault Boxを配置し、クラスとBBox補正量を予測する。
背景候補が非常に多いため、Hard Negative Miningを用いて正負例の不均衡を抑える。
デフォルトボックス…特徴マップ上の各位置に対応させる基準矩形(Anchor Box)
FCOS
FCOS(Fully Convolutional One-Stage Object Detection)
アンカーフリー
アンカーはハイパーパラメータ調整や汎化性能の悪さで、ポジティブか不均衡
中心点と4つの辺までの距離(left, right, top, bottom)
Center-ness
セグメンテーション
Semantic Segmentation
ピクセル単位で分類
Instance 個体
Panoptic Semantic + Instance
FCN
FCN(Fully Convolutional Network)
全結合層を畳み込み層へ置き換え、画素単位のクラススコアを出力。アップサンプリングしてクラス分類を出す
SegNet
Encoder-Decoder
Encoder Max Pooling Index
Decoder Unpooling
U-Net
Encoder特徴マップ $\leftrightarrow$ Decoder特徴マップ
RNN
時系列データ
中間層ループ
BiDirectional
BPTT(Back Propagation Through Time)
勾配消失・爆発問題
LSTM
メモリーセル
どれを残し、どれを忘れるか
忘却・入力・出力ゲート
GRU
GRU(Gated Recurrent Unit)
LSTMよりパラメータが少ない
リセット・更新ゲート
Seq2Seq
分散表現
文をベクトルに
Enc-Dec
文 → vec → vec
Seq2Seq
系列から系列を返す手法。主にEncoder-Decoder
最後の隠れ層
Attention
取捨選択の優先順位
GNMT(Google Neural Machine Translation)過去
LSTM $\times 8$ + Attention + 残差接続
NLP
基礎
統計的手法では、形態素解析、構文解析、意味解析、文脈をそれぞれモデル化していたが、DLでは埋め込み層に
One-hot
表現に意味がない、次元が多い、無駄が多い
BoW
単語カウント
Latent Semantic Indexing
特異値分解して次元削減
単語の関係性はまだ分からない
分布仮説
単語の意味は周囲の単語によって決まる
Word2Vec
Continuous BoW + Skip-Gram
CBOW
文脈から単語穴埋め問題
Skip-Gram
単語から周辺語を予測
Negative Sampling
10万語の不正解ラベルを全て予測するのは複雑なので、$5 \sim 20$個だけ選んで学習しよう
Transformer
RNNでは逐次処理、Transformerで並列処理
embedding = vector
positional encoding = 入力位置情報
Self-Attention:$Q,K,V$ を同じ系列から生成
Multi-Head Attention
複数のAttentionを並列化し、1つのSelf-Attention Layerに
Scaled Dot-Product Attention
内積で類似度を計算
$q$と$k$の内積を次元数の平方根で割り、スケーリング、softmax、$V$をかける
Source-Target Attention
SelfではないAttention
Position-wise Feed-Forward Network
各トークンへ独立に適用する2層の全結合ネットワーク。
$$ \operatorname{FFN}(x)= W_{2}\sigma(W_{1}x+b_{1})+b_{2} $$
通常は中間次元を拡張してから元の次元へ戻す。
BERT・GPT・RAG
BERT
BERT(Bidirectional Encoder Representations from Transformers)
Pre-Training + Fine-Tuning
Pre
Masked Language Model
Next Sentence Prediction
2文が連続しているか予測
Fine
タスクごとに層を追加して再学習
GPT
GPT(Generative Pre-trained Transformer)
BERTはEncoder、GPTはDecoder
Prompt-based Learning
RAG
indexing 読み込みと分割、VectorにしてベクトルDBに保存
音声処理
アナログ→デジタル変換には、2倍を超えるサンプリングが復元に必要
スペクトラムはフーリエ変換
声道スペクトル(口の形)、声帯振動(喉の震え)
ケプストラム
スペクトル包絡と微細構造に分ける
メルスペック
人間の聴覚特性(高音はあまり区別しない)を利用
音声認識
信号(特徴量)から音素にするのに隠れマルコフモデルが使われていたが、 近年はDLでend-to-endで行う
CTC(Connectionist Temporal Classification)
音声と文字の情報量の差
ブランク文字
ビームサーチ
N-bestをいくつか
前向き後向きalgo
音声合成
TTS
Vocoder → WaveNet
生成モデル
$$
p(C_{k}\mid x)=\dfrac{p(x\mid C_{k})p(C_{k})}{p(x)}
$$
事後確率を推定し、それを活用して生成モデルでは分布から$C_{k}$に属するサンプルを生成
拡散モデル ノイズ
Flowベース 関数を適用$\times n$
自己回帰モデル…連鎖律を使って順次生成
GPT、WaveNetなど
VAE
$\mathrm{AE}=\mathrm{Encoder}+\mathrm{Decoder}$
Latentの内部が不明、復元は出来ても確率的生成ができない
そこでLatentに正規分布を仮定して、random sampling=多様・確率的生成
Reparameterization Trick
Backpropagationの役割
ノイズをパラメータから分離し、分布パラメータへ勾配を伝播可能にする。
VQ-VAE
VQ-VAE(Vector Quantization)
Latentを正規分布ではなく離散値化
連続ベクトルをコードブックのベクトルで置き換える
lossは3種類:コミットメント、コードブック、再構成
Continuous Relaxation、Straight-Through Estimator
GAN
GAN(Generative Adversarial Network)
Generator = 偽札メーカー
Discriminator = 警察
Gen固定学習 $\leftrightarrow$ Disc固定学習
欠点
mode collapse 最頻値データばかり生成してしまう
学習が不安定
派生
DCGAN(Deep Convolutional GAN)
全結合層ではなく畳み込み層にすることで高解像度画像を作りやすくする
WGAN(Wasserstein GAN)
CriticによりWasserstein-1距離を近似し、GANの学習安定化を図る。
Criticには$1$-Lipschitz制約が必要。
Conditional GAN
教師データのラベルを付加
pix2pix
ペア画像生成
Conditional GANベース
CycleGAN
画像のドメインを変換
PGGAN(Progressive Growing GAN)
徐々に解像度を上げる
StyleGAN
AdaIN(Adaptive Instance Normalization)を利用
強化学習
State、action、rewardのループ
状態価値 $V$
行動価値 $Q$
価値ベース
TD学習(Temporal Difference)
$$
V_{\pi}(s_{t}) \leftarrow V_{\pi}(s_{t}) + \alpha \delta
$$
経験再生
経験データをランダムに再生。近いデータは相関が強く、学習が偏る
方策ベース
方策勾配法
Actor-Critic法
A2C、A3C、PPOなどのOn-policy法では経験再生が使えない(方策が変わるので)
DDPG、TD3、SACなどのOff-policyでは使う
A3C(Asynchronous Advantage Actor-Critic)
非同期・並列で偏り軽減
DL応用
Fine-tuning・ドメイン適応
転移 追加再学習
Fine-tuning:
事前学習済みパラメータの一部または全部を追加学習。
ドメインシフト:
学習時と推論時でデータ分布が異なること。(コロナなど)
ドメイン適応
ドメインシフトの対策手法。転移学習の一種
自己学習・共同学習
半教師あり学習
自己学習(Self Training)
predを正解ラベルとして使う
共同学習(Co-Training)
Selfでは問題が生じるミスが蓄積
同じデータに対する異なる特徴ビューから2つの分類器を学習し、一方の高信頼な予測を他方の疑似ラベルとして利用する半教師あり学習法。
自己教師あり学習・表現学習
自己教師あり学習
Contrastive Learning
データ同士を比較
表現学習
有用な特徴をデータから抽出して学習
距離学習・メタ学習
距離学習
Siamese
ペア画像を入力して学習
同クラスなら$0$、別クラスなら$1$
Metric Learning
Triplet Loss
アンカー、positive、negative
メタ学習
複数タスクでの学習経験から、新しいタスクへ少量データ・少数回の更新で適応する方法を学習する。
「学習方法を学習する」と表現される。コストが高い
MAML
汎用
データ拡張・アンサンブル・XAI
Data Augmentation
Data Aug
flip、rotate、filter
RandAugment ランダムにaug
NLP: パラフレーズ、ノイズ、sampling
EDA: replace、delete、swap、insert 少データ時有効
音声: ノイズ、ボリューム、ピッチ
アンサンブル
傾向として、
Bagging Variance $\downarrow$
Boosting Bias $\downarrow$
Stacking Variance $\leftrightarrow$ Bias
XAI
大局説明 モデル全体のふるまい
局所説明 個別の入力
LIME
局所的に解釈可能な代理モデルで近似。一般には疎な線形モデル
どんなモデルでもいけるが、ランダムなので毎回説明が変わる
SHAP
ゲーム理論のシャープレイ値。利益分配。
CAM
画像可視化
Global Average Pooling使用
Grad-CAM
勾配を利用 GAP制約なし
Integrated Gradients
経路上で勾配を積分
GNN・Vision Transformer
グラフニューラルネットワーク GNN
GCN(Graph Convolutional Network)
ViT
by Google(2020)
画像をパッチに分割する
pos emb
Swin Transformer
スケール対応とself-attentionの計算量抑える 特徴マップ 徐々に縮小
Swin = Shifted Window
ウインドウに分割して計算量抑える。ただ毎回同じウインドウだと情報が分離してしまうので毎回ウインドウをずらす=Shifted Window
圧縮
TPU
メモリアクセスを低減してスループット向上
16bit or 8bitが基本
蒸留
量子化
pruning
テスト・復習メモ
最大エントロピーは $\log n$
WaveNetは自己回帰型
mel specは時間周波数表現、MFCCは特徴量
PCAは統計的手法。AutoEncoderはニューラルネットワーク
Causal:因果的。過去のデータのみを参考にする
逆伝播
順伝播が $A \cdot B$ のとき
$$
\frac{\partial L}{\partial A}=
\mathrm{grad} \cdot B^{T}
$$
$$
\frac{\partial L}{\partial B}=
A^{T} \cdot \mathrm{grad}
$$
シグモイド
$$ \sigma(x)= \frac{1}{1+e^{-x}} $$
補足
ResNetのSkip Connection = Identity Mapping(そのまま送る)
丸め誤差を小さくするのではなく、差分をそのまま学習する
LIME/SHAPはModel非依存。CNNはGrad-CAM
SegNet Max Poolingのindexを利用(メモリ削減)
FCN 特徴マップ足し合わせ(大局の特徴と局部の特徴)
Word2Vecのembeddingが埋め込まれるのは入力層
GANの理想形はDiscが$0.5$になること
Auxiliary Lossは勾配消失問題解消のため、サブネットワークを追加。計算量が少し増加
BatchNorm、Skip Connectionなどの登場で利用箇所は限定的に
Reparameterization Trickほか
Reparameterization Trick
確率変数を、パラメータとパラメータに依存しないノイズの決定論的関数として表す。
$$ z= \mu+\sigma\odot\epsilon, \qquad \epsilon\sim\mathcal{N}(0,I) $$
これにより、$\mu$と$\sigma$へ勾配を伝播できる。
モメンタムSGDは損失最小化のため、$\mathrm{grad}$を引き算する(損失の逆方向に加速)
TransformerのEncoder-Decoderモデルで、Self-AttentionはEncoder・Decoderの1段目、Cross-AttentionはDecoderの2段目
PCAはカテゴリ分類しない
Faster R-CNNとFast R-CNNの違い
候補領域の探し方
Region of Interest(RoI)$\leftarrow$ FastはSelective Search、FasterはRPN
教師強制
RNNの学習時、その予測した間違いを次のインプットにすると、エラーが蓄積する
そこで強制的に正解ラベルを与える
しかし、テストでは正解ラベルは与えられないので、推論時との乖離(Exposure Bias)
そこで、正解ラベルを使う率を徐々に下げる(Scheduled Sampling)
分散処理は同一ネットワーク上で
GANの目的関数
データ$x$、ラベル$y$、ノイズ$z$
$$
\min_{G}\max_{D}V(D,G)=
\mathbb{E}_{(x,y)\sim p_{\mathrm{data}}}
\left[
\log D(x\mid y)
\right]
+
\mathbb{E}_{z\sim p_z,\ y\sim p_y}
\left[
\log
\left(
1-D(G(z\mid y)\mid y)
\right)
\right]
$$
バイアストリック
計算回数削減 $y=xW+b$ ではなく
$$
y=
\begin{bmatrix}
x & 1
\end{bmatrix}
\begin{bmatrix}
W \\
b
\end{bmatrix}
$$
LSTMの場合、隠れ層のゲートとセル候補は4種類なので4倍
追加復習メモ
Feature Pyramid Network
深い層ほど意味情報は強いが、空間解像度が低くなってしまうので
補助としてピラミッド状の特徴を使う
Inception Module (googleNet)
複数の畳み込みを構造的に並列に行う
ブートストラップ
ラベル水増し 2つの分類器
グラフベース
近いデータにラベル付与
ネステロフ
$$
v_{t+1}=\mu v_t-\eta\nabla f
\left(
x_t+\mu v_t
\right)
$$
$$
x_{t+1}=x_t+v_{t+1}
$$
予測的勾配
RNNは各$t$でパラメータを共有している
方策勾配法
policy自体を勾配法で更新
連続値への拡張が容易
Recall・Precision
recall
$$
\frac{TP}{TP+FN}
$$
precision
$$
\frac{TP}{TP+FP}
$$
その他
$k$近傍法:$k$ Nearest Neighbor
近い$k$個の多数決
ラベル平滑化
正解クラスの教師ラベルを$1$、その他を$0$とせず、わずかに平滑化する。
$$ y'_k= (1-\varepsilon)y_k + \frac{\varepsilon}{K} $$
モデルの過度な確信を抑え、汎化性能や較正性能を改善する。
CEC LSTMの情報保持
CTC 入力系列と出力ラベル系列の明示的な位置合わせがない場合に、Blankと重複除去規則を用いて、可能なアラインメントの確率を合計する損失関数。
参考書パート
評価指標・初期化
$$ P(Y\mid X)=\frac{P(X\mid Y)P(Y)}{P(X)} $$
コサイン類似度
$\cos\theta$
コサイン類似度:内積 over 距離積
$$
\cos\theta=\frac{\boldsymbol{x}\cdot\boldsymbol{y}}{\lVert\boldsymbol{x}\rVert\lVert\boldsymbol{y}\rVert}
$$
分類モデル評価
$$
\begin{array}{c|cc}
& \text{予測Positive} & \text{予測Negative} \\
\hline
\text{実際Positive} & TP & FN \\
\text{実際Negative} & FP & TN
\end{array}
$$
Precision
$$
\mathrm{Precision}=\frac{TP}{TP+FP}
$$
Recall
$$
\mathrm{Recall}=\frac{TP}{TP+FN}
$$
$$
F_{1}=\frac{2\cdot\mathrm{Precision}\cdot\mathrm{Recall}}
{\mathrm{Precision}+\mathrm{Recall}}
$$
PR曲線:Precision-Recall Curve
$$
R^{2}=1-\frac{SSE}{SST}
$$
$SSE$:Sum of Squared Errors
$SST$:Sum of Squares Total
softmax $\rightarrow$ 多クラス
ident $\rightarrow$ 予測値
Xavier・He
Xavier
$$
\sigma=
\sqrt{
\frac{2}
{n_{\mathrm{in}}+n_{\mathrm{out}}}
}
$$
sigmoid or $\tanh$
He
$$
\sigma=\sqrt{\frac{2}{n_{\mathrm{in}}}}
$$
ReLU
dropout vs. dropconnect の違い
正規化・アンサンブル復習
Global Average Pooling
文字検出はLSTMよりもCNN
更新ゲートは(0,1)である必要があるのでtanhではなくシグモイド
Enc2Dec $\leftarrow$ Attentionなど
Pytorch func
unsqueeze: 引数の位置に次元を追加squeeze: サイズ1の次元を削除。引数なしの場合はすべて削除view: 要素数を変えずにテンソルの形状を変更。多次元配列の再解釈。-1は自動計算。非連続なテンソルでは失敗することがあるreshape:可能ならView、必要ならコピー。要素数不一致は同様に失敗arange: 1次元配列を生成。pythonのrange、C#のEnumerableとかrandperm: rangeのランダムシャッフル版
Norm
- Batch Norm:バッチ単位 NHW
- Layer Norm:一つのデータ、全ch CHW
- Instance Norm:一つのデータ、1ch HW
- Group Norm:一つのデータ、1グループごと $(C/G)HW$
アンサンブル
- bag : 複数の部下が同じタスク
- boost : 継承
- stack :けんけんぱ
物体検出・NLP・強化学習復習
ViT $16 \times 16 =$ patch
AP PR曲線
RPN
bi-cubic vs. bi-linear
R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN
FPN($\triangle$)
centerness 値が大きいほうがcenter
Skip-gram $\neq n$-gram
生成モデルの例: 画像キャプショニング
Wasserstein距離:$\mathbb{E}$のinf
AlphaZero=既知のゲーム規則をモデルとしてMCTSに利用。遷移モデル自体は学習しない
最終メモ
Triplet Loss: 同じクラスを近づけ、違うクラスを遠ざける
Fine-tuning は、データが少ない場合は初期層を固定し、後半層を中心に学習することがある
LIME、SHAPの式
LIME
説明対象$x$の近傍で、ブラックボックスモデル$f$を解釈可能なモデル$g$で近似する。
$$ g^{\ast}= \underset{g\in G}{\arg\min} \left\{ L(f,g,\pi_x)+\Omega(g) \right\} $$
$L$は局所的な近似誤差、$\pi_x$は$x$に近いサンプルを重視する重み、$\Omega$は説明モデルの複雑さ。
SHAP
協力ゲーム理論のShapley値により、各特徴量の予測への寄与を求める。
$$ \phi_i= \sum_{S\subseteq N\setminus{i}} \frac{|S|!\left(|N|-|S|-1\right)!}{|N|!} \left[ f(S\cup{i})-f(S) \right] $$
予測値を基準値と各特徴量の寄与に分解する。
$$ f(x)= \phi_0+ \sum_{i=1}^{M}\phi_i $$ プルーニング 重要度の低い重み・チャネルを削除して軽量化。構造化は高速化しやすく、非構造化は疎行列対応が必要
演習2回目
- 結合エントロピー=ベン図
- $KL={P\over R}$
- 相互情報量 $I=(x,y)(x)(y)$
$$\displaylines{
p(D|\theta)\times p(\theta)\propto p(\theta|D) \\
尤度 \times 事前 \propto 事後
}$$
MAP $$\displaylines{ \text{argmax}_{\theta} p(\theta|x)=\text{argmax}_{\theta}\log p(x|\theta)+\log p(\theta) }$$
Bias2+Variance+Noise $$\displaylines{ \mathbb{E}_{D,\varepsilon}\left[\left(y-\hat{f}_{D}(x)\right)^{2}\right]= \text{Bias}[\hat{f}_{D}(x)]^{2}+\text{Var}[\hat{f}_{D}(x)]+\sigma^{2} }$$
再現=ちゃんと拾われているか
- 適合率=数打ちゃ当たるになってないか
- PRCurve=PreRec 正例が少ない場合など
- ROC(Receiver Operating Characteristics)=陽性
- クロスエントロピー $$\displaylines{ H(p,q)=-\sum_{k=1}^{K}p_{k}\log q_{k} }$$
- 分類タスクでonehot表現の場合→$H(p,q)=-\log q_{k}$
- カーネル=畳み込みフィルタ
- ResNet=層を増やす
- ResNeXt=並列変換(Grouped Convolution)
- Wide ResNet=幅を増やす
- プーリング=ダウンサンプリング
- LSTMのfはforget、忘却ゲート
- GRUの更新ゲートはシグモイド
- Transformer=Attention→FeedForwardNetwork
- レイヤー正規化=サンプル内特徴量正規化
- コントラストは明るさを変えない
- ブートストラップ=データから重複を許してN件抽出する(復元抽出)
- バギング(Bootstrap Aggregating)=複数のブートストラップ標本から学習・統合
- R-CNN=Selective Search + SVM
- Fast R-CNN=RoI Pooling+MuiltiTaskLoss
- Faster R-CNN=RPN (Region Proposal Network)
- Mask R-CNN=Faster+マスク分岐
- VGG=Visual Geometry Group、オックスフォード大学提唱のCNNアーキテクチャ。3x3convを重ねる。
- VGG-16と-19が代表モデル。数字は学習可能層の数。
- CBOWよりskip gramのほうが大規模コーパスの学習に向く
- フローベース生成は計算コストが高い
- モンテカルロ法はG(累積報酬)の確定待ちが発生する
- TD法はR(次のステップ)で代替できる
- ACは同時学習
- SHAPの加法的分解 $f(x)=\phi_{0}+\sum_{i=1}^{m}\phi_{i}$ で $\phi_{0}$ が総和の外にいるのは、特徴量と関係ない基準値・切片だから。数学的にはsumの中に入れても良い
- プルーニングした後再学習するのが一般的。Stable Diffusion関連でいうprunedモデル(推論向け)とは意味が違う。
演習3回目
- 再現率=カバー率
- 適合率=命中率
- ノイズは実データとの差
- バリアンスは予測と期待値の差
- 傾き=微分。曲率=2階微分
- Lpプーリングはチャネルごと独立
- AP $\approx$ PR曲線の下の面積
- R-CNN系で矩形の回帰誤差にはsmooth L1 lossが使われる。現代ではIoU lossなども
- CBOW skip-gram の覚え方 skipして周りに飛ばす
- word embeddingはone-hotを低次元化したもの
演習4回目
- CNN: BatchNormがよく使われる
- LSTM/GRU/Transformer: LayerNormのほうが相性が良い(可変長のため)
- VAEのデコーダからエンコーダに続けて逆伝播ができない → reparametrization trickが必要
総合問題
- 正規化におけるチャネルの意味: 画像ならRGB, 途中なら各種特徴マップ
- BatchNormはチャネルごと、LayerNormは特徴方向(チャネル横断の場合あり)
- 最尤推定: $\hat{\theta}_{\text{MLE}}=\text{argmax}_{\theta}p(D|\theta)$
- MAP推定: $\hat{\theta}_{\text{MAP}}=\text{argmax}_{\theta}p(\theta|D)$
- AdaGrad: 勾配の二乗を累積する。よく出るパラメータの学習率が小さくなるが、小さくなりすぎて学習が止まる
- RMSProp: 指数移動平均
- L1は0になるのでスパース表現になる。L2は0に近づくだけで0にはなりにくいのでweight decay(SGDの場合。AdamWの場合は分離)
- GAPはmaxプーリングの代わりではなく全結合層の代わり(パラメータ大幅圧縮)
- RNN順伝播の計算式: $h_{t}=\tanh (W_{xh}x_{t}+W_{hh}x_{t-1}+b_{h})$
- ↑重要なのは同じ重みを使いまわすこと、つまり $W_{h-1,h}$ などではないこと(遷移規則を学習するため、かつ可変長を扱うため)
- LSTM, GRUの $\sigma$ vs $\tanh$
- $\sigma$: [0-1]なのでゲート
- $\tanh$: [-1-1]なので最終情報
- RoIプーリング vs RoI Align
- RoIプーリング: 座標を量子化してmaxプーリング。位置ずれが問題に
- RoI Align: 丸めずbilinearで補完して位置を合わせる
- 初期のYOLOではセルごとに検出数が制限される
- FCOS(Fully Convolutional One-Stage Object Detection)
- Word Embedding: 単語をベクトル化する手法の総称
- word2vec: embedding学習手法の一。他にはglove, fasttextなど
- CBOW, skip gram=word2vecの構成要素
- LIME=L1正則化ではないが、L1正則化でスパースにして説明しやすくすることはある
- 蒸留は正解ラベルが無くてもできる
- docker client = コマンド。指示役。
- docker daemon = dockerdというバックグラウンドプロセス。実行役。
- BCELoss = Binary Cross Entropy Loss
- LSTMのゲートの次元が同じ理由=アダマール積のため
- positional encodingでsin cosを使う理由: 相対位置の関係・位相の情報を埋め込める
- batchnormのtrack running stats(統計量の更新)を使う場面、学習時のみ。推論・テスト時はfalse。
- ↑model.train()とmodel.eval()が分かれている理由
- mobilenetv2で転移学習をするとき、classifier[1]を使う理由: 最後の全結合層だから。classifier[0]はdropout
- ResNetの場合はfcを差し替える
総合問題2周目
- モデル並列化は、1つのモデルがGPUに入りきらないので並列化して複数のGPUで1つのモデル
- データ並列化は同じモデルを複数のGPUに置いて並列学習。パラメータ更新は同期
- A3Cはデータを並列に置いたうえでパラメータ更新も非同期
- TransformerはSelf-Attentionを内蔵
- Contrastive Learning
新シラバス
パープレキシティ
- next tokenをどれくらい迷っているか
- PPL=2なら2択くらいで迷っている
- クロスエントロピーとの関係が重要
- L=2なら PPL=e2=7.29... $$ PPL=\exp\left(-{1\over N}\sum_{t=1}^{N}\log P(x_{t}|x_{<t})\right) $$
Shifted Window
- SwinTの仕組み
- windowに小分けにしてAttentionを取る
- ただ、それだけだと特徴が分断されてしまう。そこでShiftする
- 端はcycleで取る
Next Token Prediction
- Causal Maskによって学習は並列、推論は逐次
- Shifted Labels: データと予測に同じものを使ってindexをシフトさせること
Integrated Gradients
- 数値積分により寄与した特徴を見つけるXAIの新しい手法
- 勾配を全て足すと全変化に一致することを利用する
- Grad-CAMは中間特徴マップ
$$ IG_{i}(x)=(x_{i}-x_{i}')\int_{0}^{1}{\partial F(x'+\alpha(x-x'))\over \partial x_{i}}d\alpha $$
落ち穂拾い
- CART (Classification And Regression Trees)
- いわばCR木
- ジニ係数が少なくなるように分割するアルゴリズム。LightGBM等もこれを使用
- ジニ係数=クラス混在度。Gini Impurityとも
- Xavier = Glorot, He=Kaiming。発案者のファーストネームを取るかファミリーネームを取るかの違い
- Panoptic Segmentation=Semantic + Instance
- 空はセマンティックに、人車などはインスタンスに
- 画像全体を分類
- 窓関数…音声の切り取りをなめらかに
- Hann Windowなど $$ w[n]={1\over 2}\left(1-\cos{2\pi n\over N-1}\right) $$
- ナイキスト周波数=サンプリング周波数の半分
- 短時間フーリエ変換=時間情報付きFT
- シャープレイ値=限界貢献の平均
- Conv2d... (input, output, kernel) => (o,i,k,k)
- flattenはbatch次元を残す
- view()はメモリ連続性が条件。reshape()は条件が緩いがかわりにコピーが発生する可能性
- evalでは層の動作モードが変わるだけで、autogradは続く
- 逆にno_grad()は勾配が止まるだけでdropout/BatchNormは評価モードにならない
- バリアンスが高い=訓練データを少し変えるとモデルも大きく変わる
- 推論時はミニバッチの統計量は使わない
- 予測と正解の分布が同じでもクロスエントロピーは0にならない
- Pに不確実性があれば。one-hotのように不確実性がなければ0になる
- k-meansはhard clustering
- GMM(混合ガウス分布)はsoft clustring