仕事やプライベートで調べたことのメモ書きなど(@札幌)

仕事やプライベートで調べたこと、興味ある事のメモ書きです。2016年4月から札幌で働いてます。※このブログは個人によるもので、団体を代表するものではありません。

いつから?Azure FunctionsのLinux従量課金が東日本で使えるようになっていた・・

確か以前、Azure FunctionsのLinux従量課金は東日本で使えなかったと思ってた(Pythonを使いたかった)のだけど、気が付いたら使えるようになっていた。いつからだろう・・。 Azure Functionsの作成確認画面の例

PayPay フリマでメモリを売ってみた♪

先日使用しているマシンの増設メモリを16GBから32GBに載せ替えた話を書きました。 http://takumats.hatenablog.com/entry/2020/06/14/110124 それに伴い、16GBメモリが余ってしまったので、PayPayフリマで売ってみることにしました。 新品が結構出品されてた…

LG gram 17のメモリを40GBに♪

2019年に購入したLG gram 17。購入時に16GB増設して24GBにしたんだけれども、32GBの安いメモリを見つけたので40GBにしちゃいました。購入時に書いた投稿はこちら。 takumats.hatenablog.com今回、購入したメモリはこれ。 paypaymall.yahoo.co.jpポイントバッ…

CentOS7で、snmp-trap 受信

ファイアーウォールをオフにする必要があるのも忘れない。qiita.comfriendsnow.hatenablog.com

Python (pandas) でタブ区切りテキストファイル(tsv)ファイルの読み書き

pandasのタブ区切りテキストファイルファイル(tsvファイル)の読み書き 以下の感じでできるようです。 import pandas as pd df = pd.read_csv('aaa.tsv', sep='\t', header=None) print(df) df.to_csv('bbb.tsv', sep='\t') 読み込みはread_csv/reat_table re…

Python (pandas) で指定時間間隔でデータを集計する方法

Python (pandas)を使って指定時間間隔のログを集計する方法 やりたかったこと タイムスタンプ(datetime)列があるcsvデータで、ある時間範囲にある行数をカウントしたい。(5分おき、15分おき、30分おき、1時間おき、など) pandasのresampleを使うと簡単にでき…

Azure FunctionsのTable Storageへのoutバインディングで上書きしようとしたけどできなかった件(Python)

Azure FunctionsからのTables StorageへのoutバインディングをPythonでやるには あまりサンプルが転がってないのですが、以下あたりを参考にすると実現できます。 github.com Table Storageへのバインディングはデフォルトでは上書きできない Table Storage…

Azure FunctionsでQueueTriggerパラメータとバインディングのパラメータを連携させる (Python)

課題設定 やりたかったことは以下のこと。 QueueTriggerパラメータで情報を受け取り その情報に応じたTable Storageのレコードを読み取る そもそもpythonでtable storageの入出力バインドする例がほとんど見当たらなかったので少し試行錯誤しました。以下が…

re:Invent 2019に行ってきました

昨年の12月に縁あってAWSの年次カンファレンス re:Invent 2019 (@ラスベガス) に行ってきました! ブログは会社のページにも書いたので。 www.insight-tec.com会社のブログに書いてない所感としては超たくさんの人が集まっている巨大カンファレンスの割には…

マラソンシーズン2019終了

札幌はほぼマラソンシーズン終了の季節です。私も先日の札幌マラソンをもって今シーズンは終了となりました。今後半年はスポーツクラブで減量!(できたらいいな) 昨年なら東京マラソン当たったのですが今年はやはりダメでした。。 来年こそは!

Azure Functions (Python)での並列実行について気にしておいた方がよさそうなこと (従量課金)

Azure Functions (Python, 従量課金)を実行していて、いまいち並列に実行してくれない、など感じたことはないでしょうか?私はありました。で簡単なテストコードで実行してみたりすると、直列に実行されているように見えたり、並列に実行されているように見…

Azure FunctionsでPythonを使うときのグローバル変数は要注意 (従量課金)

Azure FunctionsでPythonがGAになって久しいですが、実際に使う上で注意しなければならないことがいくつかありそうです。なお、これは従量課金プランでの挙動を確認しています。 グローバル変数やクラス変数は使わない方がいい 一つは実行のされ方に由来する…

db tech showcase Tokyo 2019への参加

今年は初めて発表 db tech showcase Tokyo 2019に3日間参加してきました。昨年は運営する側だったので全く聞くことができなかったのですが、今年は存分に聞くことができました。 www.db-tech-showcase.com そしてなんと今年ははじめての発表というおまけつき…

LG gram 17 (2019)を購入♪&ssd換装&メモリ増設

LG gram 17購入 このたび主に仕事用として使用するpcを購入しました!約4年ぶり。会社ではBYODが許可されており、かつ会社支給pcの選択肢が狭いのが主な理由で、スペックに寄せてDELL XPS 15にするか結構悩んだ末、軽さと画面の大きさから、LG gram 17を選択…

はじめてのGARMIN

北海道マラソンを、初めてのGARMINと走りきりました!245というモデルで、心拍計がついてるやつです。4時間切れなかったのが悔しいところ。 今までトレーニングでも心拍とかを意識したことはなかったけれど、測定できると気になるもんですね。 デフォルトの…

北海道マラソン近し

北海道マラソンを今週末に控えてます。今年の東京マラソンで久々にサブ4を行けたので、今回の北海道マラソンも調子に乗って目指したいところ。ただ北海道マラソンは暑いのだけど。。 ちなみに今年の東京マラソンは以下の記事を参考にチャレンジしたのでした…

勾配ブースティング (Gradient Boosting) について勉強する

はじめに 機械学習での回帰や分類問題に適用されるアルゴリズムで、勾配ブースティング (Gradient Boosting) とやらがなかなかよいらしいというのをいろんなところで見かけたのでちょっとお勉強。基本的には同じっぽいので、以下では回帰問題を前提にして考…

Pythonのloggingでログが重複して困った話 [fbprophet]

Pythonでログが重複する話は比較的よくある模様。自分で作ったLoggerでログが重複してしまったのであれば以下のようなものも参考になるが・・・。 uyamazak.hatenablog.com今回はいろいろ調査した挙句、インポートして使っているライブラリであるfbprophetに…

C#でのAzure Functionsの呼び出しにはまった

Azure Functions(HttpTrigger)で何らかのFunctionsを追加すると、通常は、 https://xxxxxx.azurewebsites.net/api/xxxxx的なURLが作成されます。で、以下のコードを書きました。 WebClient wc = new WebClient(); string url = "https://xxxxxx.azurewebsite…

PythonでAES暗号化/復号(PyCryptodomeにするときに必要な変更)

以下を参考に、Pythonでの暗号化復号化を実施。かつ、PyCryptodome の方がいいということで試してみました。qiita.com必要な変更は以下。 cipher.encrypt(raw.encode('utf-8')) return self._unpad(cipher.decrypt(enc[16:]).decode()) 後者のself._unpad追…

Azure Functionsで環境変数を取り扱う(Python編)

Python上のコードとしては、通常の環境変数を取り扱うように書ける模様。 以下を参考に対応。 note.nkmk.meそして以下を参考に、Azure Portal上で環境変数を設定します。 qiita.com

WSL上のdocker engineの試行錯誤

自分がやろうとしていることがdocker for windowsだとうまくいかそうだったので、WSL(ubuntu)上のdockerについて試しました。qiita.com上記を試すも、以下にハマり・・・。teratail.comで、docker.io でなく、docker-ceを使うべし、というのをどこかで発見し…

Azure FunctionsでPythonを使うメモ(LinuxイメージのFunction追加&pyodbc&fbprophet編)

(2019/1/23訂正) LinuxイメージのAzure FunctionsへのFunction追加ですが、基本はバイナリ依存するようなモジュールはすんなり追加できません。 それでも、pyodbcだと「--build-native-deps --no-bundler」だけでいけたのですが、fbprophetに結構苦戦して、…

Azure FunctionsでPythonを使うメモ(LinuxイメージのFunction追加編)

前回、DockerImage編でうまくいきましたが、DockerImageだと従量課金を選べないので、なんとかFunctinを登録する方式を探していました。ただ、思わぬ苦戦。単純な関数でもうまくデプロイできずに困っていました。ところが、以下の投稿を発見して解決。 githu…

Azure FunctionsでPythonを使うメモ(Dockerイメージ編)

Azure FunctionsはAzureのサーバーレス環境。Dockerイメージを作りそれを実行するパターンでやります。投稿を書いている時点では、Pythonサポート自体もプレビューなので、さほど情報も多くないです・・。基本的なところは以下のページを参考に。 docs.micro…

Docker pullでエラー

なんと、これで解決!感謝! naughtldy.hatenablog.jp

「現場ですぐ使える時系列データ分析~データサイエンティストのための基礎知識〜」を読みながらRでやってみたことのメモ書き1

祝日を利用して「現場ですぐ使える時系列データ分析~データサイエンティストのための基礎知識〜」という書籍を読みながらRをいじってみました。 書籍のサポートページが以下にあり、サンプルデータのダウンロードができます。ちなみに、私は、Rはほぼ初心者…

「Azure DB for PostgreSQL/MySQL開発マネージャと話そう!(通訳&ビール有)」に行ってきました (2018/3/13@品川)

今日は久々に勉強会に参加♪ ossonazure.connpass.comそのメモ書き。 Azure Database for MySQL and PostgreSQLはコミュニティ版を入れていて、その最新を入れるようにしている。 OSS on Azureをしっかりやらないと、Azureのサービスが危うくなりかねない。 A…

AI・業務自動化展に出展(2017/11/8@幕張メッセ)

お仕事でAI・業務自動化展(10/8-10)に出展しました。 www.ai-auto.jp 大盛況 我々の出展もそれはそれは大混雑で、今回展示したソリューションの関心の高さがうかがえました。 RPA 今回、AI・業務自動化展というのに出展したのですが、まわりを某N〇〇グルー…

「MySQL最新情報セミナー 2017年10月 in 大阪」に参加(2017/10/27@大阪)

今日は大阪に別件で出張にきたため、以下のMySQLセミナーに参加しました! atnd.org資料は後ほど公開いただけるとのこと。 State of the Dolphin (Morgan Tockerさん) MySQL 8.0での新機能などを、サンプルアプリ実装 GIS機能の強化 独自実装を捨てて、Boost…