db tech showcase OSS 2017へ参加 2日目 (2017/6/16,17@秋葉原)
さて、2日目(土曜)です。
実は土曜日の開催というのはこのイベントではあまりやってませんでした。
こういった勉強会の参加は、平日は業務や学業で参加が難しい人にとっては土曜の方が参加しやすいでしょうし、ご家族がいる場合など土曜の参加の方が難しいこともあると思います。実際、私自身も、土曜日の参加というのは本来はなかなか難しく、平日夜が一番参加が容易です。人それぞれの理由があると思いますので、今回の土曜日開催というのは、一定の意味はあったと思っています。
セッション詳細
Facebook 松信さん
さて、土曜の朝イチは松信さん。MySQL界隈では、奥野さん(漢の・・・)と並んで超有名人ではないでしょうか。早速DB Onlineに記事が出てますのでこちらをご覧ください。
enterprisezine.jp
実は私は4月にMariaDBのM17と、Percona Liveに参加したこともあり、海外で松信さんの話を聞く機会がありました。(もちろん英語)
Real World: Deploying MyRocks in Production at Facebook | M|17
Yoshinori Matsunobu | M|17
www.percona.com
今回の講演は国内初!つまり母国語初です!これはこれは貴重な講演だったと思います。やはり英語と母国語とでは話すスピードも違ったと思いますので、非常に内容が濃かったと思いますよ!
ちなみに当日使用された資料はこちらです。
Aerospike 田村さん
AerospikeはSSDを直に(ファイルシステムを使わずに)操作することで、SSDを高速に使うことができるNoSQL(KVS)データベース。海外では金融とかでも結構使われているみたいです。とにかく高速なのが売りなのと、信頼性が求められている(絶対に止められない)システムでむしろ使われるというような話でした。
MariaDB Davidさん
MariaDB ColumnStoreの話です。MariaDB ColumnStoreは、InfiniDBからフォークした分析向けストレージエンジン。InfiniDBがビジネスを終了した後、顧客基盤などもMariaDBが引き継いでいます。列指向型データベースについてはいろんな開設ページがあるのでそちらを参照ください。
www.publickey1.jp
MariaDB ColumnStoreの利点は、商用DBに比べて安価であること、そして、InfiniDB時代から培った標準SQLのサポートと、InnoDBなどの他のストレージエンジンとのJOIN操作をサポートしていることでしょうか。
MS横井さん
講演中は横井さんの自己紹介が非常に話題になりました!
※残念ながら?公開スライドではそのあたりは削除されてましたが・・。
MSがOSSをちゃんとやってきますよー、という話です。今までは、まさに悪の帝国。OSSの目の敵的なところがあったと思いますが、本腰を入れていくとのことですよ。
MariaDB Davidさん
MariaDBのDBS銀行の事例です。DBS銀行って日本ではあまり知られていないかもしれませんが、シンガポールにある世界的な超優良銀行の一つです。もちろんシンガポール最大。とはいへ、日本のメガバンクに比べると資産規模などは小さいですが・・・。DBS銀行は、いろいろと比較したなかでOracleの移行先としてMariaDBを選んだとのことですよ。
海外とは言え、金融機関は保守的な業界の一つではあります。その中でスピード感あるDBS銀行がMariaDBを選んだという意味は、決して小さくなかったと思っています。
Percona Colinさん
Colinさんは昨年までMariaDBにいて、よくdb tech showcaseにも来ていただいてました。昨年、Percona社へ移り、活躍されてます。
頑張って資料に日本語入れてくれました。(Google翻訳使ったとのことです)
かなり内容は盛りだくさんで、最後は超駆け足で、なかなか聞き取りづらかったです。資料が日本語化されたら、超役に立つと思います。
フューチャーアーキテクト松崎さん、SBIホールディング伊藤さん
Spiderと他のOSS基盤とTableauを使って分析基盤を構築した話。ユーザーケースとして非常にためになる話でした。Spiderは非常に安定しているというのと、まだ2台だけど将来を見越してスケールアウト可能な構成にしたとのこと。UIはtableauにすごい満足しているとのことでした!
db tech showcase OSS 2017へ参加 1日目 (2017/6/16,17@秋葉原)
db tech showcase OSS 2017へ参加。(というか運営側でした。)
www.db-tech-showcase.com
登場したデータベース達
いろんな運も味方し、MariaDBのMonty氏、初来日のPerconaのPeter氏、Facebookの松信氏をはじめ、各エキスパートの方においでいただいて講演いただくことができました。また、ユーザー事例も非常に非常に面白かったです。今回登場したデータベースを改めてまとめてみます(吉田氏のセッションで出てきたものは除く)。
- Percona Server
- MongoDB
- Aerospike
- Cassandra
- (Spider)
- (MyRocks)
- RocksDB
セッション詳細
Percona: Peterさん
なんと初来日ということでした。Percona社はMySQLとMongoDBのサポートサービスを世界的に展開している企業で、日本だとスマートスタイル社が提供しています。
www.s-style.co.jp
今後、オープンソースの利用が広がっていくと、企業だとやはりサポートが必要、という感じになっていくのかと思います。今のところ、オープンソースを使う企業は自分たちで問題を解決ができる企業だったり、ちょっとした問題は気にならないシステムであったりすることが多いようです。
MariaDB: Montyさん
なんといっても盛り上がったのは、生Mariaさんが登場したところでしょうか!滅多にみられないシーンだと思います。Monty氏は、MySQL、MariaDBを開発してきた、いわば、レジェンド。彼がどのように生きてきたか、そして今後どの方向に進むのか、注目していく必要はあるでしょう。ちなみに、さらに次の製品ができたら、名前はどうするんでしょうね!
Yahoo: 三谷さん
プライベートクラウドで、RDS的なサービスを提供する Open stack trove というのを使っているらしい。これは面白そう。
github.com
OSSコンソーシアム: 吉田さん
個人的な注目はスライド7ページ目のOSS利用実態。データベースのところなんですが、よく「日本ではPostgreSQLの方が人気がある」と言われているで、日本ではPostgreSQLの方がシェアが高いとずっと思いこんでいたのですが、実際にはMySQLの方が多いようです。ただ、伸びで見ると両方のオープンソースが伸びていますね。今回のイベントはかなりMySQL寄りのラインアップでしたが・・。
SRAOSS: 長田さん
今回のMySQL寄りの中で、「アウェイ」な中での講演となりました。でも、逆に、PostgreSQL使っている人の中で講演するよりは、いいんじゃないかと思いますね。アピールのチャンスです。
https://www.sraoss.co.jp/event_seminar/2017/db_tech_show_case_oss_2017.pdf
DataStax: 森下さん
Cassandraの事例のハナシ。こうやって事例を見せてもらえるのはありがたいですね。国内がもっとあるとありがたいですが・・。Symantec、UBER、MS。結構面白かったのではないでしょうか?
Spiral Arms: 斯波さん
ストレージエンジンスパイダー。テンセントとシーメンス。意外と大きなところで使われてますね。逆に大きな規模で使うようにならないと、必要性に迫られないということもあるのかもしれませんが・・・。テンセントは自分でいじって、質問が来たところから、交流が始まったとか。
Oracle: 奥野さん
「漢のコンピューター道」は有名中の有名ですね。MySQLで何か調べ事をすると、たいていは奥野さんのページに行きつきます。そしてプレゼンでは随所に著書の宣伝もちりばめられてました!盛りだくさんの内容で講演いただきました。このスライドはバイブル級!?
Cloud Days 2017札幌に参加してきました(2017/6/13@札幌)
Cloud Daysなど、いろいろと混合したイベントの札幌開催版に参加してきました。
出展社情報|Cloud Days 2017 <札幌>
会場が小さくなったように見えたのは気のせい??
まず驚いたのが、規模が昨年よりだいぶ?小さくなっていたこと!
(気のせいで??)
あえて小さくしたのか、結果的に小さくなってしまったのか・・・。
今年の会場マップ:
http://expo.nikkeibp.co.jp/cloud/spr/17/2017seminar_booth.pdf
昨年の会場マップ:
http://expo.nikkeibp.co.jp/cloud/16/docs/BoothMap_sapporo.pdf
いずれにせよ、若干心配です・・。
ティントリジャパン
今まで知らなかったストレージベンダーを1社発見。私が知らなかっただけで、その道では普通に有名な会社だったようで・・。
tintri.co.jp
サイトを見てみると、公共関連のユーザーが多いのがなかなか面白いです。
この会社に出会えただけでも行ってよかった。
いややっぱり気になる・・・。Re : わかったつもり?、分散の(n-1)問題!(2017/6/6@社内PRML勉強会)
前回はPRML勉強会で華麗な式展開にノックダウンされた興奮のままに投稿しました。で、なんかわかったつもりになってました。
takumats.hatenablog.com
でもやっぱり気になって。。。参考ページは以下。
tech.naviplus.co.jp
で、以下からスタートしてみます。以下からはnを標本の数、Nを母集団の数とします。※前回の投稿ではNを標本の数としていました。
すると、
ここで、以下を使用します。
すると、
なんと、前回出てこなかった、なんてのが出てきました!
Nを無限大に持っていくと消えるのだとは思いますが・・・。
ということで、前回は以下を使ったのですが、
ここが何か正確ではないんじゃないかと思ってます。
が、あってるのかな・・・?
明日先生に聞いてみるしかないな・・・。
わかったつもり?、分散の(n-1)問題!(2017/6/6@社内PRML勉強会)
社内PRML勉強会。今日の証明はとてもよくわかったつもりだったので記念に書いておこう。いわゆる不偏分散、標本分散の問題で、なんで(n-1)で割るのか?という件です。ExcelのVAR関数、VARP関数のどちらを使いましょう的な話題でもありますね。
お題
お題はPRML本(前編)の(1.58)式の証明。演習問題で言うと、(1.12)になります。
ここで、以下の(1.40)式を使う。※たいていのWebの回答を見ると、(1.50)式よりと説明されているが、(1.50)式は正規分布についての説明のように思えるので、ここでは(1.40)式に言及。実質変わりはないのですが。ちなみにここで、このとはなんぞや、というのが議論になり、パッと見はサンプルの1つなのですが、その平均とかとるので、わかりづらい。。
すると、
そして、以下の(1.130)式を使います。1.130の導出は略。
すると、
の定義により、nとmが等しい時のみ1となるため、
よって、
他のサイトでコンビネーション使った複雑な証明を見ていたので少し複雑な感じ。途中まではそちらの方が理解しやすかったのですが、式展開が長いので、ちょっと断念してました。なんか、いいのかなー、という不思議な気分です。
Botの王道:配達ピザの注文をさばくBotを2時間で開発するワークショップ@札幌 (2017/05/31@札幌)に参加
久々にOracleで定期開催している勉強会に行きました。
oracleclouddevelopersh.doorkeeper.jp
というのも、先日、北海道IT推進協会の総会の懇親会で偶然、Oracleの方とお会いしたから。
www.hicta.or.jp
久々に行くかなーって。
私はもともとWeb系ではないので、正直、今回の勉強会で使うテクノロジーはとてもチンプンカンプンなのだけど、このOracleの勉強会は、結構初心者でもついていけるように講師の方が進めてくれるのがありがたいところでもあります。またQiitaで手順を公開してもくれていて、置いてきぼりくらっても、あとで何とかなるのも心強い。
ということで、今回の手順はこちら!
qiita.com
事前準備
さて、今回のテクノロジ。そもそも、これを準備してきてね、というのが、聞いたことあるけど触ったことないものだらけ。
というわけで、セットアップがてら、それが何かということだけさらっと。。。
api.aiのアカウントを作成しておいてください。
api.aiって何ですか?aiを使えるapiに違いない!
api.ai
www.ptengine.jp
「コード入らずで簡単に人工知能を作成できる」ってものらしいです。
とりあえず、googleアカウントで連携!
当日作業するノートPCにNode.jsのLTS(最新安定版)をインストールしておいてください。
Node.jsってなんですか?javascriptの何かでしょう。
Node.js
qiita.com
なるほど、サーバーサイドのjavascriptですね。javascriptも随分と出世したものです・・・。
とりあえず、インストーラでインストール!したものの、これでインストールされるのは?
ん、サーバーなのかな?サーバーサイドだから。
Herokuのアカウントを作成しておいてください。Bot本体を稼働させるクラウドプラットフォームとして利用します。
Herokuって何ですか?名前からは想像つきません。
https://wwww.heroku.com/wwww.heroku.com
ん、クラウドプラットフォーム?セールスフォースみたいなもんですか?
www.sejuku.net
Node.jsを今回ローカルPCに入れたけど、おそらく、公開時の環境をクラウド上に作る、ということだろう、うん。
Heroku CLIを当日作業するノートPCにインストールしておいてください。
これは、コマンドラインからHerokuを使えるようにする何かだろう!とりあえずインストール。
www.terrasky.co.jp
LINE Business Centerにて、ご自身のLINEアカウントであらかじめログインを試しておいてください(当日パスワードがわからなくなる事件が多発しているため)
確かにつまづいた。あと、2段階認証になっているのも、地味に面白いですね。
無事、事前のログイン確認できました!
当日の勉強会
さぁやるぞ
api.ai
Googleに買収された。
- Agent
- Entity:パラメーターを認識するために必要
- Intent:ユーザーの意図
IntentとかEntityは自然言語解析では一般的な用語!
Intentは最低10個。20個くらいは入れないと、現実的ではない。たくさん入れると賢くなるよ。
手順はこちらの続きから。
qiita.com
- 「ML CLASSIFICATION THRESHOLD」をいじると、認識精度の調整ができる。
なんと、設定はこれだけか!!
Bot本体の開発準備
私のPCはWindows環境のため、Powershellで実施。
基本は、手順に従うだけ。
- constructorとfinishが必要
- constructorの、this.required_parameterでパラメータを揃える
- message_to_confirmでパラメータを要求する。(LineのAPIに合わせた記載になっている)
- finishで終了後の処理(通常はdbに登録するなどするが、今回は返信だけ)
- 非同期で動いているのでresolveが必要
Herokuへデプロイ
手順通り。基本はHeroku上のgitへpushするイメージ。
わー、動いた!
懇親会
ここまではできるんですけど、この後挫折する人が多いんですよねー。そこにビジネス機会があるのかもしれない。
とりあえず動くものは作れても、ちゃんとビジネスレベルで動くようには超えるべきハードルがあるようです。