2018年7月

備忘録_ニューラルネットワークの学習

ニューラルネットワークの学習の手順(確率的勾配法(SGD)) 確率的とは、「確率的に無造作に選び出した」という意味である。 ステップ1 ミニバッチ 訓練データの中からランダムに一部のデータを選び出す。その選ばれたデータをミニバッチと言い、ここでは、そのミニバッチの損失関数の値を減らすことを目的とする。 ステップ2 勾配の算出 ミニバッチの損失関数を減らすために、各重みパラメータの勾配を求める。勾配 […]

WordPressのDBをRDSに変えてみた

EC2の容量が一杯に! エラーメッセージ出力 先日、あることをしたくてgoをインストールしていたところ、下記のようなメッセージが出力されました。 スペースがない。正直、言ってもそんなに使っていないつもりでしたので正直驚きましたね。とはいえ、現在EC2はEBSの10GiBのみで動いていたのでいづれこの日はくると思ってました。 どのくらい容量使っているのか確認 全体のディスク容量を確認します。今回対象 […]

備忘録_勾配

すべての変数の偏微分をベクトルとして纏めたものを勾配という。 Pythonで実装すると・・・ np.zeros_like(x) xと同じ形状の配列で、その要素が全て0の配列 今回の例で使用する関数     Pythonで実装した場合 (3, 4)、(0, 2)、(3, 0)での勾配 ※実際は[6.00000000000378, 7.999999999999119]という値が得ら […]

備忘録_数値微分

微分 微分とはある瞬間の変化の量を表したものである 数式で表すと・・・     のについてのに対する(微分)を表す記号 「小さな変化」であるhを限りなく0に近づけるという意味 導関数と微分|数学|苦手解決Q&A|進研ゼミ高校講座|ベネッセコーポレーションにわかりやすく書いてあります。 そのままPythonで実装すると・・・ x 関数fへの引数 h できる限り小さな値 1 […]