読書会(Deep Learning Javaプログラミング深層学習の理論と実装)第3回議事録

=====================================================================================
Java読書会BOF 「Deep Learning Javaプログラミング深層学習の理論と実装」を読む会第3回
=====================================================================================

.. csv-table:: 開催概要

   "日時","2017年2月18日 10:00 - 17:00"
   "場所","川崎市教育文化会館第３会議室"
   "出席者(敬称略)","高橋(徹)、高橋(智)、吉本、根本(書記)、小棚木、加藤、今井、金山、平山、岩室"

P98から
3.3.3 デノイジング・オートエンコーダー
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
DA = (Denoising Autoencoder)
入力データにノイズを混入させ、そのノイズに対して耐性を持つように学習させ、その学習結果を蓄積する。
　式 2.5.13 で圧縮して逆の数にするのはなぜ?
　勾配降下法と勾配上昇法とで上昇のほうが大変だからか?
　小さい数字が探索目的のほうが見つけやすいからか?
　畳み込み誤差を防ぐため?

　:= 定義するという意味
　x~ をノイズ入りデータ
　デノイジング　オートエンコーダー　ノイズを打ち消して学習させる
　ガウシアンノイズ(正規分布ノイズ)
  η 読み方イータ
  制約付きボルツマン =full connect ではない

3.3.4 積層デノイジング・オートエンコーダー
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
SDA = (Stacked Denoising Autoencoder)
デノイジング・オートエンコーダーとロジスティック回帰とで積層された学習を行う。
フィールド変数名は後ろアンダースコア付ける、たとえば x_
実装上の必要によって、生まれた変数には _ をつける

Chapter 4 ディープラーニング探求 <2> -ドロップアウトと畳み込みニューラルネットワーク(CNN) -
===========================================================================================
　グラフのOはOriginの意味

4.1 事前学習なしディープラーニング
----------------------------------

4.2 ドロップアウト
-----------------
意図的にニューラルネットワークのユニット間結合をなくし、
そのドロップアウトした疎結合な状態で学習することでノイス混入と
同じ効果を得る。
ドロップアウトで落とす結合の量を増やす場合は、層の数を増やす。
評価式は、ReLU(Rectified Linuear Unit), tanh, シグモイド関数などかある。
binominalメソッド = 二項定理

4.3.1 畳み込み
--------------
縮小する画素の中で、最も特徴的な値を持った数字を抽出する手法、

局所受容性(local receptive field)  3x3行列のの評価テーブルを1ピクセルづつ移動させて評価していく手法
移動不変性(translation invariance) 1ピクセルずらしただけの画像を大きく違ったものと認識しまうことのないこと

畳み込みとプーリングの仕組みの論文
http://yann.lecun.com/exdb/publis/pdf/lecun-98.pdf

http://book.impress.co.jp/books/1115101146#box-download　に DLWJ_20161222.zip のコードあり

Chapter 5 Javaライブラリ Deeplearningjの活用
============================================

5.2 DJ4JとND4Jの概要
--------------------
URL集
http://www.tensorflow.org/
http://deeplearningj.org/
https://github.com/deeplearning4j/deeplearning4j
https://github.com/deeplearning4j/nd4j
https://github.com/deeplearning4j/Canova
https://github.com/deeplearning4j/dl4j-0.4-examples
https://github.com/yusugomori/dl4j-0.4-examples
http://www.skymind.io/   DL4Jの開発会社
http://nd4j.org/    　
http://nd4j.org/documentation.html

INDArray は Arrayを拡張したクラス Arrayクラスはないが　Arraysの間違いではないだろうか
CUDA 7.0 はあれば良い
ND4J の日本語は違う dependency が変わっている -cuda で　nd4j-cublas-7.0 は古い
CUDA 8.0 がOSに入っていたら version を合わせる

P157まで
以上

[ 戻る ]