pandasのタブ区切りテキストファイルファイル(tsvファイル)の読み書き 以下の感じでできるようです。 import pandas as pd df = pd.read_csv('aaa.tsv', sep='\t', header=None) print(df) df.to_csv('bbb.tsv', sep='\t') 読み込みはread_csv/reat_table re…
Python (pandas)を使って指定時間間隔のログを集計する方法 やりたかったこと タイムスタンプ(datetime)列があるcsvデータで、ある時間範囲にある行数をカウントしたい。(5分おき、15分おき、30分おき、1時間おき、など) pandasのresampleを使うと簡単にでき…
Azure FunctionsからのTables StorageへのoutバインディングをPythonでやるには あまりサンプルが転がってないのですが、以下あたりを参考にすると実現できます。 github.com Table Storageへのバインディングはデフォルトでは上書きできない Table Storage…
課題設定 やりたかったことは以下のこと。 QueueTriggerパラメータで情報を受け取り その情報に応じたTable Storageのレコードを読み取る そもそもpythonでtable storageの入出力バインドする例がほとんど見当たらなかったので少し試行錯誤しました。以下が…
昨年の12月に縁あってAWSの年次カンファレンス re:Invent 2019 (@ラスベガス) に行ってきました！ ブログは会社のページにも書いたので。 www.insight-tec.com会社のブログに書いてない所感としては超たくさんの人が集まっている巨大カンファレンスの割には…
札幌はほぼマラソンシーズン終了の季節です。私も先日の札幌マラソンをもって今シーズンは終了となりました。今後半年はスポーツクラブで減量！(できたらいいな) 昨年なら東京マラソン当たったのですが今年はやはりダメでした。。 来年こそは！
Azure Functions (Python, 従量課金)を実行していて、いまいち並列に実行してくれない、など感じたことはないでしょうか？私はありました。で簡単なテストコードで実行してみたりすると、直列に実行されているように見えたり、並列に実行されているように見…
Azure FunctionsでPythonがGAになって久しいですが、実際に使う上で注意しなければならないことがいくつかありそうです。なお、これは従量課金プランでの挙動を確認しています。 グローバル変数やクラス変数は使わない方がいい 一つは実行のされ方に由来する…
今年は初めて発表 db tech showcase Tokyo 2019に3日間参加してきました。昨年は運営する側だったので全く聞くことができなかったのですが、今年は存分に聞くことができました。 www.db-tech-showcase.com そしてなんと今年ははじめての発表というおまけつき…
LG gram 17購入 このたび主に仕事用として使用するpcを購入しました！約4年ぶり。会社ではBYODが許可されており、かつ会社支給pcの選択肢が狭いのが主な理由で、スペックに寄せてDELL XPS 15にするか結構悩んだ末、軽さと画面の大きさから、LG gram 17を選択…
北海道マラソンを、初めてのGARMINと走りきりました！245というモデルで、心拍計がついてるやつです。4時間切れなかったのが悔しいところ。 今までトレーニングでも心拍とかを意識したことはなかったけれど、測定できると気になるもんですね。 デフォルトの…
北海道マラソンを今週末に控えてます。今年の東京マラソンで久々にサブ4を行けたので、今回の北海道マラソンも調子に乗って目指したいところ。ただ北海道マラソンは暑いのだけど。。 ちなみに今年の東京マラソンは以下の記事を参考にチャレンジしたのでした…
はじめに 機械学習での回帰や分類問題に適用されるアルゴリズムで、勾配ブースティング (Gradient Boosting) とやらがなかなかよいらしいというのをいろんなところで見かけたのでちょっとお勉強。基本的には同じっぽいので、以下では回帰問題を前提にして考…
Pythonでログが重複する話は比較的よくある模様。自分で作ったLoggerでログが重複してしまったのであれば以下のようなものも参考になるが・・・。 uyamazak.hatenablog.com今回はいろいろ調査した挙句、インポートして使っているライブラリであるfbprophetに…
![はてなブックマーク - Pythonのloggingでログが重複して困った話 [fbprophet]](https://b.hatena.ne.jp/entry/image/http://takumats.hatenablog.com/entry/2019/04/12/203524)
Azure Functions(HttpTrigger)で何らかのFunctionsを追加すると、通常は、 https://xxxxxx.azurewebsites.net/api/xxxxx的なURLが作成されます。で、以下のコードを書きました。 WebClient wc = new WebClient(); string url = "https://xxxxxx.azurewebsite…
以下を参考に、Pythonでの暗号化復号化を実施。かつ、PyCryptodome の方がいいということで試してみました。qiita.com必要な変更は以下。 cipher.encrypt(raw.encode('utf-8')) return self._unpad(cipher.decrypt(enc[16:]).decode()) 後者のself._unpad追…
Python上のコードとしては、通常の環境変数を取り扱うように書ける模様。 以下を参考に対応。 note.nkmk.meそして以下を参考に、Azure Portal上で環境変数を設定します。 qiita.com
自分がやろうとしていることがdocker for windowsだとうまくいかそうだったので、WSL(ubuntu)上のdockerについて試しました。qiita.com上記を試すも、以下にハマり・・・。teratail.comで、docker.io でなく、docker-ceを使うべし、というのをどこかで発見し…
(2019/1/23訂正) LinuxイメージのAzure FunctionsへのFunction追加ですが、基本はバイナリ依存するようなモジュールはすんなり追加できません。 それでも、pyodbcだと「--build-native-deps --no-bundler」だけでいけたのですが、fbprophetに結構苦戦して、…
前回、DockerImage編でうまくいきましたが、DockerImageだと従量課金を選べないので、なんとかFunctinを登録する方式を探していました。ただ、思わぬ苦戦。単純な関数でもうまくデプロイできずに困っていました。ところが、以下の投稿を発見して解決。 githu…
Azure FunctionsはAzureのサーバーレス環境。Dockerイメージを作りそれを実行するパターンでやります。投稿を書いている時点では、Pythonサポート自体もプレビューなので、さほど情報も多くないです・・。基本的なところは以下のページを参考に。 docs.micro…
なんと、これで解決！感謝！ naughtldy.hatenablog.jp
祝日を利用して「現場ですぐ使える時系列データ分析～データサイエンティストのための基礎知識〜」という書籍を読みながらRをいじってみました。 書籍のサポートページが以下にあり、サンプルデータのダウンロードができます。ちなみに、私は、Rはほぼ初心者…
今日は久々に勉強会に参加♪ ossonazure.connpass.comそのメモ書き。 Azure Database for MySQL and PostgreSQLはコミュニティ版を入れていて、その最新を入れるようにしている。 OSS on Azureをしっかりやらないと、Azureのサービスが危うくなりかねない。 A…
お仕事でAI・業務自動化展(10/8-10)に出展しました。 www.ai-auto.jp 大盛況 我々の出展もそれはそれは大混雑で、今回展示したソリューションの関心の高さがうかがえました。 RPA 今回、AI・業務自動化展というのに出展したのですが、まわりを某N〇〇グルー…
今日は大阪に別件で出張にきたため、以下のMySQLセミナーに参加しました！ atnd.org資料は後ほど公開いただけるとのこと。 State of the Dolphin (Morgan Tockerさん) MySQL 8.0での新機能などを、サンプルアプリ実装 GIS機能の強化 独自実装を捨てて、Boost…
弊社札幌オフィスにて「Rancher Meetup #02 in Sapporo with Mautic Meetup」が開催されました。#1に引き続き参加しました。 rancherjp.connpass.com普段、ドッカーも、クーバネィテスもあまり使っているわけではないので、正直、実感のあるツールではないが…
機会があってNo Maps Trade Show 2017に、北海道IT推進協議会の枠として出展しました。 no-maps.jp 残念ながら一般のお客さんはほとんど来なかったのですが、出展していた他の企業と名刺交換等ができたのはよかったです。 が、イベント(このTrade Show)自体…
札幌マラソン、無事感想しましたー。 satumara.shsf.jp結果は去年より伸びず残念。。。 だけれども、この大会、まだずっと続いてほしい大会。 なんといっても家から近い！フラッと行って、預け荷物もなく、 走って終了。運営の方にはいつもありがたく思って…
db tech showcaseのバタバタが終わり、また定期的にSapporo Tech Barを開催できる状況になりました！今回はこれ！ www.db-tech-showcase.comGPUデータベース MapD と GISのお話し。 [20170922 Sapporo Tech Bar] 地図用データを高速処理！オープンソースGPU…
