Python
確か以前、Azure FunctionsのLinux従量課金は東日本で使えなかったと思ってた(Pythonを使いたかった)のだけど、気が付いたら使えるようになっていた。いつからだろう・・。 Azure Functionsの作成確認画面の例
pandasのタブ区切りテキストファイルファイル(tsvファイル)の読み書き 以下の感じでできるようです。 import pandas as pd df = pd.read_csv('aaa.tsv', sep='\t', header=None) print(df) df.to_csv('bbb.tsv', sep='\t') 読み込みはread_csv/reat_table re…
Python (pandas)を使って指定時間間隔のログを集計する方法 やりたかったこと タイムスタンプ(datetime)列があるcsvデータで、ある時間範囲にある行数をカウントしたい。(5分おき、15分おき、30分おき、1時間おき、など) pandasのresampleを使うと簡単にでき…
Azure FunctionsからのTables StorageへのoutバインディングをPythonでやるには あまりサンプルが転がってないのですが、以下あたりを参考にすると実現できます。 github.com Table Storageへのバインディングはデフォルトでは上書きできない Table Storage…
課題設定 やりたかったことは以下のこと。 QueueTriggerパラメータで情報を受け取り その情報に応じたTable Storageのレコードを読み取る そもそもpythonでtable storageの入出力バインドする例がほとんど見当たらなかったので少し試行錯誤しました。以下が…
Azure Functions (Python, 従量課金)を実行していて、いまいち並列に実行してくれない、など感じたことはないでしょうか?私はありました。で簡単なテストコードで実行してみたりすると、直列に実行されているように見えたり、並列に実行されているように見…
Azure FunctionsでPythonがGAになって久しいですが、実際に使う上で注意しなければならないことがいくつかありそうです。なお、これは従量課金プランでの挙動を確認しています。 グローバル変数やクラス変数は使わない方がいい 一つは実行のされ方に由来する…
Pythonでログが重複する話は比較的よくある模様。自分で作ったLoggerでログが重複してしまったのであれば以下のようなものも参考になるが・・・。 uyamazak.hatenablog.com今回はいろいろ調査した挙句、インポートして使っているライブラリであるfbprophetに…
以下を参考に、Pythonでの暗号化復号化を実施。かつ、PyCryptodome の方がいいということで試してみました。qiita.com必要な変更は以下。 cipher.encrypt(raw.encode('utf-8')) return self._unpad(cipher.decrypt(enc[16:]).decode()) 後者のself._unpad追…
2017年2月のSapporo Tech Barは、雪まつりの中の開催でした。 www.db-tech-showcase.com 今回も多くの方に参加いただき、とても盛り上がる会でした。数多くの翻訳をしたうえで、さらに普段Pythonを使って分析業務をされているうえでの使いやすいライブラリ、…
札幌のIT勉強会事情 最近、本当にいろんな勉強会が多いと思う。 札幌だともちろん東京に比べると少ないけれど、それでも結構ある。 ところで、なぜか、札幌の勉強会は土曜に多い。 おそらく、会社勤務の人を配慮して、のことだと思うけど、家族持ちには土曜…
はじめに ちょっと仕事でFacebookの一覧をプログラムから取得してみたくなったので、いろいろ調べてやってみたメモ。 どちらかというとWindowsアプリ開発メインでC++やC#をメインに触っていたので、C#で簡単にいければよかったのだけれど、ちょっと面倒そう…