Python: Under-sampling + Bagging なモデルを簡単に作れる K-Fold を実装してみた

不均衡データに対する分類問題のアプローチとして、多いクラスのデータを取り除く Under-sampling という手法がある。さらに、複数の Under-sampling したデータを用いて、複数のモデルを用意する Bagging という手法を組み合わせることがある。今回は、そ…

2019-08-14

Python: LightGBM の cv() 関数から取得した学習済みモデルを SerDe する

Mac OS X LightGBM

今回は、前回のエントリを書くきっかけになったネタについて。 blog.amedama.jp 上記は今回扱う LightGBM の cv() 関数から取得した _CVBooster のインスタンスで起きた問題だった。このインスタンスは、そのままでは pickle で直列化・非直列化 (SerDe) で…

2019-07-18

Python: LightGBM の学習率を動的に制御する

LightGBM scikit-learn seaborn matplotlib 機械学習

LightGBM の学習率は基本的に低い方が最終的に得られるモデルの汎化性能が高くなることが経験則として知られている。しかしながら、学習率が低いとモデルの学習に多くのラウンド数、つまり計算量を必要とする。そこで、今回は学習率を学習の過程において動…

2019-06-07

Python: LightGBM を Git のソースコードからインストールする

LightGBM Python 機械学習 Mac OS X

今回は LightGBM の Python パッケージを Git のソースコードからインストールする方法について。まだリリースされていない最新の機能を使いたい、あるいは自分で改造したパッケージを使いたい、といった場合に。なお、インストール方法は以下に記載されて…

2019-06-06

Python: LightGBM の学習曲線をコールバックで動的にプロットする

Python LightGBM matplotlib 機械学習 Mac OS X

LightGBM の学習が進む様子は、学習させるときにオプションとして verbose_eval などを指定することでコンソールから確認できる。ただ、もっと視覚的にリアルタイムで確認したいなーと思ったので、今回はコールバックと Matplotlib を使って学習曲線を動的…

2019-03-31

Python: LightGBM でカスタムメトリックを扱う

Python LightGBM Mac OS X 機械学習

今回は LightGBM で、組み込みで用意されていない独自の評価指標 (カスタムメトリック) を扱う方法について。ユースケースとしては、学習自体は別の評価指標を使って進めつつ、本来の目標としている評価指標を同時に確認するといったもの。例えば、精度 (A…

2019-03-30

Python: LightGBM の cv() 関数から学習済みモデルを得る

LightGBM Python 機械学習 scikit-learn

勾配ブースティング決定木を扱うフレームワークの一つである LightGBM の Python API には cv() という関数がある。この "cv" というのは Cross Validation の略で、その名の通り LightGBM のモデルを交差検証するための関数になっている。具体的には、こ…