Python: SQLAlchemy のテーブルに後からインデックスを追加する

今回は、Python の O/R マッパーである SQLAlchemy について。テーブルを定義した時点のモデルには無かったインデックスを、後から追加する方法についてメモしておく。なお、実務における RDBMS のスキーマ変更に関しては、Alembic のようなフレームワーク…

2020-06-04

Python: MLflow Tracking を使ってみる

Python MLflow scikit-learn SQLAlchemy LightGBM 機械学習 Mac OS X

MLflow は MLOps に関連した OSS のひとつ。いくつかのコンポーネントに分かれていて、それぞれを必要に応じて独立して使うことができる。今回は、その中でも実験の管理と可視化を司る MLflow Tracking を試してみることにした。機械学習のプロジェクトで…

2017-05-13

Python: データパイプライン構築用フレームワーク Luigi を使ってみる

Mac OS X Python SQLAlchemy

最近になって、バッチ処理においてデータパイプラインを組むためのフレームワークとして Luigi というものがあることを知った。これは、Spotify という音楽のストリーミングサービスを提供する会社が作ったものらしい。似たような OSS としては他にも Apac…

2017-04-20

Python: SQLAlchemy の生成する SQL をテストするパッケージを作ってみた

Mac OS X Python SQLAlchemy SQLite

SQLAlchemy は Python でよく使われている O/R マッパーの一つ。今回は、そんな SQLAlchemy が生成する SQL 文を確認するためのパッケージを作ってみたよ、という話。具体的には、以下の sqlalchemy-profile というパッケージを作ってみた。このエントリ…

2016-06-17

Python: 環境ごとの依存ライブラリをセットアップスクリプトの extras_require で管理する

Mac OS X Python Postgresql SQLAlchemy MySQL Homebrew

Python のパッケージを作っていると、特定の環境だけで必要となるパッケージが大抵はでてくる。例えばデータベースを扱うアプリケーションなら、使う RDBMS によってデータベースドライバのパッケージが異なる。あるいは、インストール先の Python のバー…

2016-06-07

Python: SQLAlchemy + mysqlclient (MySQLdb) でマルチバイト文字を扱う

CentOS7 SQLAlchemy Python

今回は Python の O/R マッパーである SQLAlchemy と MySQL ドライバの mysqlclient を使ってマルチバイト文字を扱うときの注意点について書いてみる。ただし RDBMS については MySQL ではなく、代わりに MariaDB を使った。注意点というのを先に書いてし…