仕事やプライベートで調べたことのメモ書きなど(@札幌)

仕事やプライベートで調べたこと、興味ある事のメモ書きです。2016年4月から札幌で働いてます。※このブログは個人によるもので、団体を代表するものではありません。

Apache NiFi, Storm, Kafkaを利用して、ストリームデータ処理を体験しよう、に参加(2017/8/1@東京)

東京に出張するといろんな勉強会があって本当に楽しい!
今日は、前々から参加したかった、以下の会に参加しました。
futureofdata.connpass.com

チュートリアルは以下をベース。
realtime event processing.0.2h · ijokarumawak/hdf-tutorials-ja Wiki · GitHub
こっちをやると、環境の構築からできるそうです。
github.com

で、登場人物を書くだけでもお腹いっぱい!!

Ambari
www.infoq.com

SAM:GUIでStormのアプリを作るようなもの。
druid:時系列データを保存しやすいデータベース
Druid | Interactive Analytics at Scale

Avro
docs.microsoft.com

nifi
qiita.com
すごいリッチな情報を保持するので、スループットが必要な時には注意が必要。本番では記録をオフにする場合もある。

などなど。細かい情報は参考URLを参考にしてください。

実際のハンズオンは、短い時間で多くをなめる必要があるため、本当に「体験」の域を出ないので、深く理解できるかというとそうではないのですが、こういった入口も必要ですよね。

こういう面白い勉強会がたくさんあるにも関わらず、東京では他でもたくさんイベントやってるからか、参加者も10人いないくらい。開催する側からすると、地方でやってもビジネスにつながらないかもしれないのですが、参加者数も参加率も全然違うと思うですけどね。難しい話題です。