Apache NiFi, Storm, Kafkaを利用して、ストリームデータ処理を体験しよう、に参加(2017/8/1@東京)
東京に出張するといろんな勉強会があって本当に楽しい!
今日は、前々から参加したかった、以下の会に参加しました。
futureofdata.connpass.com
チュートリアルは以下をベース。
realtime event processing.0.2h · ijokarumawak/hdf-tutorials-ja Wiki · GitHub
こっちをやると、環境の構築からできるそうです。
github.com
で、登場人物を書くだけでもお腹いっぱい!!
Ambari
www.infoq.com
SAM:GUIでStormのアプリを作るようなもの。
druid:時系列データを保存しやすいデータベース
Druid | Interactive Analytics at Scale
Avro
docs.microsoft.com
nifi
qiita.com
すごいリッチな情報を保持するので、スループットが必要な時には注意が必要。本番では記録をオフにする場合もある。
などなど。細かい情報は参考URLを参考にしてください。
実際のハンズオンは、短い時間で多くをなめる必要があるため、本当に「体験」の域を出ないので、深く理解できるかというとそうではないのですが、こういった入口も必要ですよね。
こういう面白い勉強会がたくさんあるにも関わらず、東京では他でもたくさんイベントやってるからか、参加者も10人いないくらい。開催する側からすると、地方でやってもビジネスにつながらないかもしれないのですが、参加者数も参加率も全然違うと思うですけどね。難しい話題です。