備忘録_ニューラルネットワークの仕組み

備忘録_ニューラルネットワークの仕組み

ニューラルネットワークの繋がり方

ニューラルネットワークを図で表すと、下記のようになる。
一番左の列を入力層、一番右の列を出力層、中間の列を中間層と呼ぶ。中間層は隠れ層と呼ぶこともある。
ニューロンの繋がり方に関して言えば、パーセプトロンとなんら変わりはない。

活性化関数とは

入力信号の総和を出力信号に変換する関数は一般に活性化関数と呼ぶ。活性化関数は入力信号の総和がどのように活性化するか(どのように発火するか)ということを決定する役割がある。
パーセプトロンでバイアスを明示的に図で表すと…

シンプルな形の数式にすると…

     \[ y=h(b+w1x1+w2x2) \] \[ h(x) = \begin{cases} 0 & (x \leqq 0) \\ 1 & (x > 0) \end{cases} \]


更に丁寧に書くと…

     \[ a=b+w1x1+w2x2 \] \[ y = h(a) \]

h(x)のような関数が一般的に活性化関数と呼ばれる

図で表すと…