仕事やプライベートで調べたことのメモ書きなど(@札幌)

仕事やプライベートで調べたこと、興味ある事のメモ書きです。2016年4月から札幌で働いてます。※このブログは個人によるもので、団体を代表するものではありません。

Python

Python (pandas) でタブ区切りテキストファイル(tsv)ファイルの読み書き

pandasのタブ区切りテキストファイルファイル(tsvファイル)の読み書き 以下の感じでできるようです。 import pandas as pd df = pd.read_csv('aaa.tsv', sep='\t', header=None) print(df) df.to_csv('bbb.tsv', sep='\t') 読み込みはread_csv/reat_table re…

Python (pandas) で指定時間間隔でデータを集計する方法

Python (pandas)を使って指定時間間隔のログを集計する方法 やりたかったこと タイムスタンプ(datetime)列があるcsvデータで、ある時間範囲にある行数をカウントしたい。(5分おき、15分おき、30分おき、1時間おき、など) pandasのresampleを使うと簡単にでき…

Azure FunctionsのTable Storageへのoutバインディングで上書きしようとしたけどできなかった件(Python)

Azure FunctionsからのTables StorageへのoutバインディングをPythonでやるには あまりサンプルが転がってないのですが、以下あたりを参考にすると実現できます。 github.com Table Storageへのバインディングはデフォルトでは上書きできない Table Storage…

Azure FunctionsでQueueTriggerパラメータとバインディングのパラメータを連携させる (Python)

課題設定 やりたかったことは以下のこと。 QueueTriggerパラメータで情報を受け取り その情報に応じたTable Storageのレコードを読み取る そもそもpythonでtable storageの入出力バインドする例がほとんど見当たらなかったので少し試行錯誤しました。以下が…

Azure Functions (Python)での並列実行について気にしておいた方がよさそうなこと (従量課金)

Azure Functions (Python, 従量課金)を実行していて、いまいち並列に実行してくれない、など感じたことはないでしょうか?私はありました。で簡単なテストコードで実行してみたりすると、直列に実行されているように見えたり、並列に実行されているように見…

Azure FunctionsでPythonを使うときのグローバル変数は要注意 (従量課金)

Azure FunctionsでPythonがGAになって久しいですが、実際に使う上で注意しなければならないことがいくつかありそうです。なお、これは従量課金プランでの挙動を確認しています。 グローバル変数やクラス変数は使わない方がいい 一つは実行のされ方に由来する…

Pythonのloggingでログが重複して困った話 [fbprophet]

Pythonでログが重複する話は比較的よくある模様。自分で作ったLoggerでログが重複してしまったのであれば以下のようなものも参考になるが・・・。 uyamazak.hatenablog.com今回はいろいろ調査した挙句、インポートして使っているライブラリであるfbprophetに…

PythonでAES暗号化/復号(PyCryptodomeにするときに必要な変更)

以下を参考に、Pythonでの暗号化復号化を実施。かつ、PyCryptodome の方がいいということで試してみました。qiita.com必要な変更は以下。 cipher.encrypt(raw.encode('utf-8')) return self._unpad(cipher.decrypt(enc[16:]).decode()) 後者のself._unpad追…

Sapporo Tech Bar #7開催 (2017/2/10@札幌)

2017年2月のSapporo Tech Barは、雪まつりの中の開催でした。 www.db-tech-showcase.com 今回も多くの方に参加いただき、とても盛り上がる会でした。数多くの翻訳をしたうえで、さらに普段Pythonを使って分析業務をされているうえでの使いやすいライブラリ、…

Sapporo Tech Bar #2開催♪

札幌のIT勉強会事情 最近、本当にいろんな勉強会が多いと思う。 札幌だともちろん東京に比べると少ないけれど、それでも結構ある。 ところで、なぜか、札幌の勉強会は土曜に多い。 おそらく、会社勤務の人を配慮して、のことだと思うけど、家族持ちには土曜…

PythonでFacebookの投稿を取得するまでのメモ

はじめに ちょっと仕事でFacebookの一覧をプログラムから取得してみたくなったので、いろいろ調べてやってみたメモ。 どちらかというとWindowsアプリ開発メインでC++やC#をメインに触っていたので、C#で簡単にいければよかったのだけれど、ちょっと面倒そう…