MNIST

備忘録_ニューラルネットワークの学習

ニューラルネットワークの学習の手順(確率的勾配法(SGD)) 確率的とは、「確率的に無造作に選び出した」という意味である。 ステップ1 ミニバッチ 訓練データの中からランダムに一部のデータを選び出す。その選ばれたデータをミニバッチと言い、ここでは、そのミニバッチの損失関数の値を減らすことを目的とする。 ステップ2 勾配の算出 ミニバッチの損失関数を減らすために、各重みパラメータの勾配を求める。勾配 […]

備忘録_損失関数

損失関数を手掛かりにニューラルネットワークの最適なパラメータを探索する 任意の関数を用いることができるが、一般的には2乗和誤差や交差エントロビー誤差などを用いる 性能の”悪さ”を示す指標 教師データに対してどれだけ適合していないか、どれだけ一致していないかを表す 2乗和誤差 数式で表すと・・・     ・・・ニューラルネットワークの出力 ・・・教師データ ・・・データの次元数 […]

備忘録_手書き数字認識

MNIST 手書き数字の画像セット 機械学習の分野で最も有名なデータセット 0から9までの数字画像から構成 訓練画像 60,000枚 テスト画像 10,000枚 訓練画像を使って学習を行い、学習したモデルでテスト画像に対してどれだけ正しく分類できるかを計測する 28×28のグレースケール画像(1チャンネル) 各ピクセルは0から255までの値を取る それぞれの画像データに対して対応するラベルが与えら […]