仕事やプライベートで調べたことのメモ書きなど(@札幌)

仕事やプライベートで調べたこと、興味ある事のメモ書きです。2016年4月から札幌で働いてます。※このブログは個人によるもので、団体を代表するものではありません。

「機械学習の勉強会(仮)」に参加 (2017/4/6@東京)

概要

東京への出張時に勉強会に参加するシリーズ!!
今回は以下の勉強会へ参加しました。。
connpass.com

個人的にはFPGAの話に期待してました。
よく調べてみると、全然他でも盛り上がっている話でした。
私の情報収集能力はまだまだです・・・。
これはぜひタイミングが合えば行ってみたい。
fpgax.connpass.com

講演

今岡さん

  • 日本アンドロイドの会
  • 今岡工学事務所
  • FPGA歴 5年くらい
  • Microsoft MVP

www.itmedia.co.jp

モチベーション
  • GPUDSPFPGA
  • NN推論エンジンは並列化で高速化の余地あり
  • 学習済みモデルをVerilog-HDLで吐き出す、コンパイラのようなものをつくった。
  • Cyclone IV (チップだけなら5ドルくらい)
  • 「Neural Networkを平易に解説してみる」のPythonコードを使用

enakai00.hatenablog.com

手順
  • 5x5の手書き文字を認識する学習済みモデルを用意
  • Cソースコード上でFPGAに実装しやすいように最適化

- 1,-1を1,0に変換
- 量子化調整(32/64ビット整数は必要ない)
- 乗算を省きます

  • 並列化箇所を見極め推論エンジンをVerilogoへ移植
  • 学習はCのコードで行い学習済みモデルをVerilogで吐き出す
使っているNNモデル
  • ホップフィールド・ネットワーク
今回作ったところ
  • 学習済みモデルをHDLで出力
  • モデル
評価ボード使って作業

1クロックの実装では24%のリソースを消費した
25クロックを要する実装では7%→6502(ファミコンやアップルII)と同程度のハードウェア規模

FPGAスタートアップを主催
リソース

www.altera.co.jp

有山さん

超解像技術 - Wikipedia

元にした論文

  • ブロック処理と学習のさせ方周辺領域も含めてやらないとダメ。
  • 活性化関数:ReLU
  • decode_jpeggpuに対応していなかった。

所感

超面白かった。自分でもぜひやってみたい!!