備忘録_ニューラルネットワークの学習

ニューラルネットワークの学習の手順(確率的勾配法(SGD)) 確率的とは、「確率的に無造作に選び出した」という意味である。 ステップ1 ミニバッチ 訓練データの中からランダムに一部のデータを選び出す。その選ばれたデータをミニバッチと言い、ここでは、そのミニバッチの損失関数の値を減らすことを目的とする。 ステップ2 勾配の算出 ミニバッチの損失関数を減らすために、各重みパラメータの勾配を求める。勾配 […]

WordPressのDBをRDSに変えてみた

EC2の容量が一杯に! エラーメッセージ出力 先日、あることをしたくてgoをインストールしていたところ、下記のようなメッセージが出力されました。 スペースがない。正直、言ってもそんなに使っていないつもりでしたので正直驚きましたね。とはいえ、現在EC2はEBSの10GiBのみで動いていたのでいづれこの日はくると思ってました。 どのくらい容量使っているのか確認 全体のディスク容量を確認します。今回対象 […]

備忘録_勾配

すべての変数の偏微分をベクトルとして纏めたものを勾配という。 Pythonで実装すると・・・ np.zeros_like(x) xと同じ形状の配列で、その要素が全て0の配列 今回の例で使用する関数     Pythonで実装した場合 (3, 4)、(0, 2)、(3, 0)での勾配 ※実際は[6.00000000000378, 7.999999999999119]という値が得ら […]

備忘録_数値微分

微分 微分とはある瞬間の変化の量を表したものである 数式で表すと・・・     のについてのに対する(微分)を表す記号 「小さな変化」であるhを限りなく0に近づけるという意味 導関数と微分|数学|苦手解決Q&A|進研ゼミ高校講座|ベネッセコーポレーションにわかりやすく書いてあります。 そのままPythonで実装すると・・・ x 関数fへの引数 h できる限り小さな値 1 […]

リセットする力を読んで(5)

僕が僕であるために 自分も自分であるためになにをすればよいか。そんなことをちょっと思った章の名前でした。読んで少しでも自分であるためになにをすればいいか考えるきっかけになればいいと思いながら読みました。 「慌てない」「冷静」「リラックス」の流れを意識する 自分が苦手とする状況と対峙しても、「慌てない」→「冷静さを保つ」→「リラックス状態へ」の3ステップを意識すれば、自らの能力を発揮して活躍する場面 […]

備忘録_損失関数

損失関数を手掛かりにニューラルネットワークの最適なパラメータを探索する 任意の関数を用いることができるが、一般的には2乗和誤差や交差エントロビー誤差などを用いる 性能の”悪さ”を示す指標 教師データに対してどれだけ適合していないか、どれだけ一致していないかを表す 2乗和誤差 数式で表すと・・・     ・・・ニューラルネットワークの出力 ・・・教師データ ・・・データの次元数 […]

リセットする力を読んで(4)

勝負に強くなる 準備を習慣化する 自分もこれは非常に重要なことと思います。本田選手も「勝負を決めるのは準備。なかでも気持ちの準備以上のものはないと思う」と言っていますが、準備は大切ですね。準備によって結果が変わるのは自分もよく思います。 準備とは、起こり得る未来を想定し、その事態に対応できる引き出しをあらかじめ用意しておくこと 準備を大切にしているのは、勝利への確率をいかに99.9%に近づけられる […]

備忘録_データから学習する

「学習」とは訓練データから最適な重みパラメータの値を自動で獲得することである。損失関数を基準として、その値が最も小さくなる重みパラメータを探し出すということが学習の目的である。 ニューラルネットワークの特徴はデータから学習できる点にある。データから学習するとは、重みパラメータの値をデータから自動で決定できるということである。 データ駆動 データから答えを探し、データからパターンを見つけ、データから […]

リセットする力を読んで(3)

切り替える 「切り替える」これは自分にとって非常に苦手な分野です。1つの失敗を長いものは1年くらい引っ張り続けたりするくらいです。よく仕事のオン・オフとか言いますが、これも私にはできません。なにか解決策はないか考えながら、「リセットする力」を読みました。 大事なときこそ、あえてリラックス 僕はグラウンドを離れたらサッカーのことを考えません。 精神的な疲労の場合は案外気がつかないもの。 正直、私には […]

1 4