仕事やプライベートで調べたことのメモ書きなど(@札幌)

仕事やプライベートで調べたこと、興味ある事のメモ書きです。2016年4月から札幌で働いてます。※このブログは個人によるもので、団体を代表するものではありません。

Sapporo Tech Bar #7開催 (2017/2/10@札幌)

2017年2月のSapporo Tech Barは、雪まつりの中の開催でした。
www.db-tech-showcase.com
今回も多くの方に参加いただき、とても盛り上がる会でした。

数多くの翻訳をしたうえで、さらに普段Pythonを使って分析業務をされているうえでの使いやすいライブラリ、いつも使っているライブラリなど、Pythonによるデータ分析というだけでも多くの情報が氾濫している中、何をどう選んでいくとよいかの参考になったのではないでしょうか?

分散処理というとなかなか手を付けづらいところかもしれませんが、どんどんデータが増えてくると避けては通れない道かもしれません。

そして、注目はApache Arrow!
Apache Arrow Homepage
これはカラムナーデータを異なるアーキテクチャー間でやり取りするためのもののようです。

カラム型でデータを保持している場合、通常はデータがいい感じに圧縮されています。
そのデータを異なるアーキテクチャー間でやり取りする場合、これまでは、一度そこから取り出して、違うところに入れなおす、という手順が必要でした。そこを共通のフォーマットでやり取りできるようになると、データの変換処理が効率的に行えるようになるはずです。
講演に出てきた、Parquet、Pandasなどでのデータのやり取りが非常に楽になるだろうとのことで、注目です。
PyDataのWesさんが中心的に活動されている模様で、今後の展開に目が離せません!