仕事やプライベートで調べたことのメモ書きなど（＠札幌）

仕事やプライベートで調べたこと、興味ある事のメモ書きです。2016年4月から札幌で働いてます。※このブログは個人によるもので、団体を代表するものではありません。

AI・業務自動化展に出展(2017/11/8@幕張メッセ)

仕事

お仕事でAI・業務自動化展(10/8-10)に出展しました。
www.ai-auto.jp

大盛況

我々の出展もそれはそれは大混雑で、今回展示したソリューションの関心の高さがうかがえました。

RPA

今回、AI・業務自動化展というのに出展したのですが、まわりを某N〇〇グループのRPAソリューションに囲まれた場所でした。各社異なる会社として出展されていたのですが、同じRPAパッケージを展示していて、社員も大量につぎ込んで道路ふさぐふさぐ・・・・。そのおかげで、行き場を失った来場者の方が弊社のブース側を歩いてくれて、我々の展示が目に留まったこともあったと思われます♪

しかし、RPAは最高にバズってますね。これほど、技術的に何も新しくないのになんか盛り上がりを見せてるものも最近では珍しい気がします。
ロボティック・プロセス・オートメーション - Wikipedia

RPAが目指すのは伝統的なIT部門スタッフ向けのプログラミングベースの自動化ではなく、ITナレッジの少ない業務部門スタッフ向けの直観的な操作で構築可能な自動化である。

つまるところ、マクロを書けない人のためのマクロ作成ツールのようなものでしょうか。技術的に新しくないし難しくないから業界にプレーヤーがたくさんいるし・・・。画面を人が操作しているかのように操作するらしいので、UIのテストツールに近いとも言えますね。

幕張メッセ遠い

東京に出張でいったときは、実家のある藤沢に泊まっているのですが、幕張は二時間コース。それはそれは遠かった。
その中でも、以下の夜も定食を食べれるお店にはお世話になりました！
r.gnavi.co.jp
帰りは、JR東海道線(上野東京ライン)はグリーン車デフォでしたね。

MA見たかった

私は今はマーケティングの部署にいるため、それこそMAツールなども使ってるわけです。
で、いろいろと使いづらさを感じているのですが、MAツールも今回たくさん展示されていたのですが、
見に行く暇が全くありませんでした。

「MySQL最新情報セミナー 2017年10月 in 大阪」に参加(2017/10/27@大阪)

仕事 データベース

今日は大阪に別件で出張にきたため、以下のMySQLセミナーに参加しました！
atnd.org

資料は後ほど公開いただけるとのこと。

State of the Dolphin (Morgan Tockerさん)

MySQL 8.0での新機能などを、サンプルアプリ実装

GIS機能の強化

  • 独自実装を捨てて、Boost.Geometoryを採用することにした。
  • Boost.Geometryはオープンソースで、そのために二人を新たに採用している。
  • GISへの要望は多い。

emoji対応

  • モバイルを考えると絵文字対応は必須
  • デフォルトの文字コードをutf8mb4にした。
  • 日本語、ロシア語などで固有の並べ方にも対応。
  • utf8mb4は可変長の文字コードなので、パフォーマンスが気になるところであるが、むしろ速くなった。

開発生産性の向上

  • バックエンドでもjavascriptを使うケースが増えてきた。共通のライブラリを使える。
  • 投資対象の技術を減らしたい。
  • MySQL shellというのが追加になった。
  • スキーマレスなデータへの対応。jsonデータ型(5.7から追加されており、8.0でいくつかをさらに追加)。JSON_TABLE()関数がMorganさんのお気に入り。JSON_TABLE()関数はテーブル構造の形でデータを取り出せる。

データドリブン

  • まずは最小限の機能で世に出すという前提。
  • 要望が多い機能で、以下をCTE(Common Table Expression, WITH句)、Windows Function追加。
  • WITH句はビューに近いけど、そのSQL実行時にのみ存在するビューというイメージ。
  • 24x7稼働し続ける

High Avialability

  • Group Replication

Hot row

  • SKIP LOCKED：競合を抑えられる。

Invisible Index

  • ゴミ箱のように仮にインデックスをなくしてみる。

監視

  • パフォーマンススキーマ(パフォーマンスメタデータ)
  • パフォーマンススキーマ取得のためのオーバーヘッドが大幅に下がった。
  • 5.7ではSYSスキーマができた。SYSスキーマから遅いSQL10件などの取得も簡単。
  • 統計情報は全部オンにするとパフォーマンスに影響があるため、一分みオンにしてある。

パフォーマンスの改良

  • SQL処理性能改善

性能改善

  • 参照処理の改善
  • 書き込みもどこかで参照処理がはいっている。
  • 書き込みは40のうち10台にした方が速かった。
  • バイナリの暗号化はやっているところ。

What’s new in MySQL 8.0 (梶山さん)

MySQL workbench

www.granfairs.com

  • SQLの整形をしてくれたり
  • 実行計画が見られたリ
  • MariaDBでも使えるっぽい

MySQL 8.0は現在RC

GIS機能拡張

  • Boost.Geometryへ変更
  • SRID(測位系)サポート

UTF-8

  • 最新のUnicode 9.0
  • utf8mb4へ
  • デフォルト照合順序はutf8mb4_0900_ai_ci
  • 国ごとの照合順序を実装 utf8mb4_ja_0900_as_cs_ks

ロール

InnoDB Redo/Undo 暗号化

  • 透過的暗号化
  • Community版でも仕組み的には可能だけど、商用版じゃないと鍵管理がきちんとできない。

Window関数

dev.classmethod.jp

ヒストグラム

Invisible Index (一時的に隠す)

オプティマイザヒント拡張

パフォーマンス・スキーマ・ヒストグラム(処理のレイテンシを表すテーブルのこと→簡易的な性能動向の仕組み)

パフォーマンススキーマが拡張された

  • INFORMATION_SCHEMA.INNODB_LOCKSなどは非推奨で削除されてしまった

設定変更の永続化

  • SET xxxだと、セッションをきったり、GLOBALでも再起動すると消える。SET PERSIST xxxで永続化できるようになる。
  • my.cnfの書き間違いが少なくなる。
  • どこで誰が設定したかを確認できる。

InnoDB Dedicated Server

デフォルトパラメータがいろいろ変わるよ。

レプリケーション関連

JSONデータの部分更新(レプリケーションなどの対応が必要)

その他多くの点を修正

MySQL InnoDB Cluster (山崎さん)

高可用性構成をMySQL製品だけでカバーする。レプリケーションでデータベースのレイヤーしかカバーしていなかったが、アプリケーションからの接続の切り替えもカバー。

  • 統合製品(Group Replication + MySQL Router + MySQL Shell → 高可用性製品をまとめたものに名前をつけている。別々にダウンロードする必要がある)
  • 使いやすさ(MySQLシェル)
  • 柔軟性
  • 参照/書き込みのスケールアウト(シャーディング)

本番での事例もチラホラ(すごいたくさんというほどではないが)

後半のデモは超速だった！

MySQL Enterprise Editionの紹介 (山崎さん)

MySQL :: MySQL Editions

Enterprise Monitor

Oracle Enterprise Managerからも監視できる

バックアップが速い

  • コミュニティ版ではmysqldumpだけどEnterprise Backupは速い

Workbenchも商用版があるよ♪

  • ER図作成とか便利そう

包括的なセキュリティ対策ツール

サーバーやSQL単位でのチューニングもサポートする

以上。ありがとうございました。

「Rancher Meetup #02 in Sapporo with Mautic Meetup」に参加（2017/10/12@札幌）

仕事 札幌

弊社札幌オフィスにて「Rancher Meetup #02 in Sapporo with Mautic Meetup」が開催されました。#1に引き続き参加しました。
rancherjp.connpass.com

普段、ドッカーも、クーバネィテスもあまり使っているわけではないので、正直、実感のあるツールではないが、ウォッチしておいた方がよさそうではある。

コンテナとコンテナクラスタについて、以下がとても分かりやすいと思います。
ubiteku.oinker.me

今回のミートアップで、実際に以下のハンズオン資料を元にデモをしてくれました。
www.slideshare.net
やはりこういうのは触ってみないとね。ぜひハンズオンを開催してほしい。(してくれると言っていた！)

でも、今日は、上記資料を見つけたおかげで、コンテナクラスタについてよくわかった！！(気になってます)

ちなみに、ランチャーの日本語情報は以下を参照すべし。
www.rancher.co.jp

No Maps Trade Showに出展(2017/10/11@札幌)

仕事 札幌 データベース

機会があってNo Maps Trade Show 2017に、北海道IT推進協議会の枠として出展しました。
no-maps.jp
残念ながら一般のお客さんはほとんど来なかったのですが、出展していた他の企業と名刺交換等ができたのはよかったです。
が、イベント(このTrade Show)自体の告知もほとんどされていなかったし、こんな開催の仕方であれば、
来場者が来るとは到底思えず、来年は改善が必要でしょうね。

No Mapsとは

no-maps.jp

正直、テーマが非常にわかりづらい謎のイベントです。札幌で去年からやっています。

  • クリエイティブ産業の活性化と他産業への波及
  • 創業支援・新産業の創造・投資の促進
  • クリエイティブな市民文化の醸成
  • 札幌・北海道の国際的知名度・魅力の向上
  • 「世界屈指のイノベーティブなまちSAPPORO」の実現

いわゆる普通のビジネス系はここに混ぜない方がいいのではないでしょうか。
時期が近いビジネスエクスポもありますし・・・。
www.business-expo.jp

札幌マラソンを走った(2017/10/1@札幌)、そして東京マラソンに当選！

マラソン 札幌

札幌マラソン、無事感想しましたー。
satumara.shsf.jp

結果は去年より伸びず残念。。。
だけれども、この大会、まだずっと続いてほしい大会。
なんといっても家から近い！フラッと行って、預け荷物もなく、
走って終了。運営の方にはいつもありがたく思っています！！

東京マラソンあたった！

www.marathon.tokyo

久々にきました、東京マラソン、当たりましたー。
今は札幌在住なので飛行機はマイルでいかなければ！！！
たぶん3回目です、東京マラソンは。
早速コナミスポーツにも入会しましたよ♪
www.konami.com

なんといっても冬場なので、いつもの北海道マラソンとは異なり、
雨さえ降らなければコンディションはいいので、
いい記録を目指します。久々にサブ４行きたい！！

Sapporo Tech Bar #12開催(2017/9/22@札幌)

札幌 データベース 仕事

db tech showcaseのバタバタが終わり、また定期的にSapporo Tech Barを開催できる状況になりました！

今回はこれ！
www.db-tech-showcase.com

GPUデータベース MapD と GISのお話し。

www.slideshare.net

GPUデータベース MapD

www.mapd.com

MapDはオープンソースのGPUデータベース。GPU自体、HPCや最近はディープラーニングなど、本来の目的以外での躍進が目覚ましいデバイスです。それをデータベースの高速化にも使おうという代物です。大きく分けて、以下の二つの箇所での高速化が利くと謳っています。

  • クエリ処理の並列処理による高速化
  • クエリ結果をGPU内で描画してしまうことによる高速化

後者の場合には、可視化のツールもその描画結果を取得してやるようにする必要があります。そのためMapDでは、BIツールのようなものも提供しています。前者のみの高速化を享受するために、ODBC/JDBCなどの標準的なインターフェースで接続することも可能です。

まだまだ、検証は始めたばかり。

今後、もっと調べていきますよ！

Y!mobileとUQ mobileの体感速度(@低速モード)

札幌

AUからUQ mobileに変更して、その後訳あって最近Y!mobileに変更しました。宣伝でも何もない、体感速度差について、書いてみました。

低速モードでの速度が全く違う

具体的に計測した訳ではないけれど、低速モードでの体感速度が全く異なります。UQでは普段低速で使用して、どうしても速度がほしいときだけ高速にする、という使い方が全然可能でした。fbとかwebも低速のまま全然行けます。普段はデータ容量を消費せずに低速にしておくということがアプリにより制御もできました。

Y!は、低速と高速を切り替えることはできませんので、高速のデータ量を容赦なく消費していき、低速になったとき、メールくらいはなんとかなりますが、他はちょっと実用的ではないレベル。。うーん、データの容量を増やすべきか。。

たぶん北海道だから、ということでもないと思います。

高速時はもちろん問題なし

ソフトバンク回線ということで、高速時も少し不安ではありましたが、これは問題ありませんでした。

 

以上