仕事やプライベートで調べたことのメモ書きなど(@札幌)

仕事やプライベートで調べたこと、興味ある事のメモ書きです。2016年4月から札幌で働いてます。※このブログは個人によるもので、団体を代表するものではありません。

仕事

LG gram 17のメモリを40GBに♪

2019年に購入したLG gram 17。購入時に16GB増設して24GBにしたんだけれども、32GBの安いメモリを見つけたので40GBにしちゃいました。購入時に書いた投稿はこちら。 takumats.hatenablog.com今回、購入したメモリはこれ。 paypaymall.yahoo.co.jpポイントバッ…

CentOS7で、snmp-trap 受信

ファイアーウォールをオフにする必要があるのも忘れない。qiita.comfriendsnow.hatenablog.com

Python (pandas) でタブ区切りテキストファイル(tsv)ファイルの読み書き

pandasのタブ区切りテキストファイルファイル(tsvファイル)の読み書き 以下の感じでできるようです。 import pandas as pd df = pd.read_csv('aaa.tsv', sep='\t', header=None) print(df) df.to_csv('bbb.tsv', sep='\t') 読み込みはread_csv/reat_table re…

Python (pandas) で指定時間間隔でデータを集計する方法

Python (pandas)を使って指定時間間隔のログを集計する方法 やりたかったこと タイムスタンプ(datetime)列があるcsvデータで、ある時間範囲にある行数をカウントしたい。(5分おき、15分おき、30分おき、1時間おき、など) pandasのresampleを使うと簡単にでき…

Azure FunctionsのTable Storageへのoutバインディングで上書きしようとしたけどできなかった件(Python)

Azure FunctionsからのTables StorageへのoutバインディングをPythonでやるには あまりサンプルが転がってないのですが、以下あたりを参考にすると実現できます。 github.com Table Storageへのバインディングはデフォルトでは上書きできない Table Storage…

Azure FunctionsでQueueTriggerパラメータとバインディングのパラメータを連携させる (Python)

課題設定 やりたかったことは以下のこと。 QueueTriggerパラメータで情報を受け取り その情報に応じたTable Storageのレコードを読み取る そもそもpythonでtable storageの入出力バインドする例がほとんど見当たらなかったので少し試行錯誤しました。以下が…

re:Invent 2019に行ってきました

昨年の12月に縁あってAWSの年次カンファレンス re:Invent 2019 (@ラスベガス) に行ってきました! ブログは会社のページにも書いたので。 www.insight-tec.com会社のブログに書いてない所感としては超たくさんの人が集まっている巨大カンファレンスの割には…

Azure Functions (Python)での並列実行について気にしておいた方がよさそうなこと (従量課金)

Azure Functions (Python, 従量課金)を実行していて、いまいち並列に実行してくれない、など感じたことはないでしょうか?私はありました。で簡単なテストコードで実行してみたりすると、直列に実行されているように見えたり、並列に実行されているように見…

Azure FunctionsでPythonを使うときのグローバル変数は要注意 (従量課金)

Azure FunctionsでPythonがGAになって久しいですが、実際に使う上で注意しなければならないことがいくつかありそうです。なお、これは従量課金プランでの挙動を確認しています。 グローバル変数やクラス変数は使わない方がいい 一つは実行のされ方に由来する…

db tech showcase Tokyo 2019への参加

今年は初めて発表 db tech showcase Tokyo 2019に3日間参加してきました。昨年は運営する側だったので全く聞くことができなかったのですが、今年は存分に聞くことができました。 www.db-tech-showcase.com そしてなんと今年ははじめての発表というおまけつき…

LG gram 17 (2019)を購入♪&ssd換装&メモリ増設

LG gram 17購入 このたび主に仕事用として使用するpcを購入しました!約4年ぶり。会社ではBYODが許可されており、かつ会社支給pcの選択肢が狭いのが主な理由で、スペックに寄せてDELL XPS 15にするか結構悩んだ末、軽さと画面の大きさから、LG gram 17を選択…

勾配ブースティング (Gradient Boosting) について勉強する

はじめに 機械学習での回帰や分類問題に適用されるアルゴリズムで、勾配ブースティング (Gradient Boosting) とやらがなかなかよいらしいというのをいろんなところで見かけたのでちょっとお勉強。基本的には同じっぽいので、以下では回帰問題を前提にして考…

Pythonのloggingでログが重複して困った話 [fbprophet]

Pythonでログが重複する話は比較的よくある模様。自分で作ったLoggerでログが重複してしまったのであれば以下のようなものも参考になるが・・・。 uyamazak.hatenablog.com今回はいろいろ調査した挙句、インポートして使っているライブラリであるfbprophetに…

C#でのAzure Functionsの呼び出しにはまった

Azure Functions(HttpTrigger)で何らかのFunctionsを追加すると、通常は、 https://xxxxxx.azurewebsites.net/api/xxxxx的なURLが作成されます。で、以下のコードを書きました。 WebClient wc = new WebClient(); string url = "https://xxxxxx.azurewebsite…

PythonでAES暗号化/復号(PyCryptodomeにするときに必要な変更)

以下を参考に、Pythonでの暗号化復号化を実施。かつ、PyCryptodome の方がいいということで試してみました。qiita.com必要な変更は以下。 cipher.encrypt(raw.encode('utf-8')) return self._unpad(cipher.decrypt(enc[16:]).decode()) 後者のself._unpad追…

WSL上のdocker engineの試行錯誤

自分がやろうとしていることがdocker for windowsだとうまくいかそうだったので、WSL(ubuntu)上のdockerについて試しました。qiita.com上記を試すも、以下にハマり・・・。teratail.comで、docker.io でなく、docker-ceを使うべし、というのをどこかで発見し…

Azure FunctionsでPythonを使うメモ(LinuxイメージのFunction追加&pyodbc&fbprophet編)

(2019/1/23訂正) LinuxイメージのAzure FunctionsへのFunction追加ですが、基本はバイナリ依存するようなモジュールはすんなり追加できません。 それでも、pyodbcだと「--build-native-deps --no-bundler」だけでいけたのですが、fbprophetに結構苦戦して、…

Azure FunctionsでPythonを使うメモ(LinuxイメージのFunction追加編)

前回、DockerImage編でうまくいきましたが、DockerImageだと従量課金を選べないので、なんとかFunctinを登録する方式を探していました。ただ、思わぬ苦戦。単純な関数でもうまくデプロイできずに困っていました。ところが、以下の投稿を発見して解決。 githu…

Azure FunctionsでPythonを使うメモ(Dockerイメージ編)

Azure FunctionsはAzureのサーバーレス環境。Dockerイメージを作りそれを実行するパターンでやります。投稿を書いている時点では、Pythonサポート自体もプレビューなので、さほど情報も多くないです・・。基本的なところは以下のページを参考に。 docs.micro…

Docker pullでエラー

なんと、これで解決!感謝! naughtldy.hatenablog.jp

「現場ですぐ使える時系列データ分析~データサイエンティストのための基礎知識〜」を読みながらRでやってみたことのメモ書き1

祝日を利用して「現場ですぐ使える時系列データ分析~データサイエンティストのための基礎知識〜」という書籍を読みながらRをいじってみました。 書籍のサポートページが以下にあり、サンプルデータのダウンロードができます。ちなみに、私は、Rはほぼ初心者…

AI・業務自動化展に出展(2017/11/8@幕張メッセ)

お仕事でAI・業務自動化展(10/8-10)に出展しました。 www.ai-auto.jp 大盛況 我々の出展もそれはそれは大混雑で、今回展示したソリューションの関心の高さがうかがえました。 RPA 今回、AI・業務自動化展というのに出展したのですが、まわりを某N〇〇グルー…

「MySQL最新情報セミナー 2017年10月 in 大阪」に参加(2017/10/27@大阪)

今日は大阪に別件で出張にきたため、以下のMySQLセミナーに参加しました! atnd.org資料は後ほど公開いただけるとのこと。 State of the Dolphin (Morgan Tockerさん) MySQL 8.0での新機能などを、サンプルアプリ実装 GIS機能の強化 独自実装を捨てて、Boost…

「Rancher Meetup #02 in Sapporo with Mautic Meetup」に参加(2017/10/12@札幌)

弊社札幌オフィスにて「Rancher Meetup #02 in Sapporo with Mautic Meetup」が開催されました。#1に引き続き参加しました。 rancherjp.connpass.com普段、ドッカーも、クーバネィテスもあまり使っているわけではないので、正直、実感のあるツールではないが…

No Maps Trade Showに出展(2017/10/11@札幌)

機会があってNo Maps Trade Show 2017に、北海道IT推進協議会の枠として出展しました。 no-maps.jp 残念ながら一般のお客さんはほとんど来なかったのですが、出展していた他の企業と名刺交換等ができたのはよかったです。 が、イベント(このTrade Show)自体…

Sapporo Tech Bar #12開催(2017/9/22@札幌)

db tech showcaseのバタバタが終わり、また定期的にSapporo Tech Barを開催できる状況になりました!今回はこれ! www.db-tech-showcase.comGPUデータベース MapD と GISのお話し。 [20170922 Sapporo Tech Bar] 地図用データを高速処理!オープンソースGPU…

db tech showcase Tokyo 2017参加 (2017/9/5-7@秋葉原)

db tech showcase Tokyo 2017へ参加しました。参加したといっても自社のイベントなので運営側です。 www.db-tech-showcase.com 運営側としてはとりあえず終了して一安心しているのが正直なところです!今回も強力な講師の方々へ講演いただくことができ、また…

Apache GeodeとApache Igniteについて調べたメモ書き2

先日書いた投稿に対して、ありがたくコメントをいただきましたので、紹介いただいた参照先を調べてみました。 takumats.hatenablog.com GridGainのページにある、Pivotal Gemfireとの比較記事 www.gridgain.com それぞれ商用版ですが、背後にはオープンソー…

Apache NiFi, Storm, Kafkaを利用して、ストリームデータ処理を体験しよう、に参加(2017/8/1@東京)

東京に出張するといろんな勉強会があって本当に楽しい! 今日は、前々から参加したかった、以下の会に参加しました。 futureofdata.connpass.comチュートリアルは以下をベース。 realtime event processing.0.2h · ijokarumawak/hdf-tutorials-ja Wiki · Git…

Wordpressのプラグインで Custom Permalinks 1.0.1 にバグ?

いつものルーチンワークとしてWordpressのプラグインバージョンアップを行ったら非常に焦りました!!!Custom Permalinksというプラグインなんですが、更新後、Webページが見られなくなるという事態に。。 ja.wordpress.org当該プラグインのページを見ると…