Python: pandas で縦持ちのデータを横持ちにする

Python pandas 機械学習統計 Mac OS X

データ処理の世界では、データの持ち方に縦持ちと横持ちという考え方がある。縦持ちでは、レコードに種類といったカラムを持たせてデータを追加していく。それに対し横持ちでは種類ごとにカラムを用意した上でデータを追加する形を取る。一般的にはデータ…

2018-05-12

Python: pandas で DataFrame を連結したら dtype が int から float になって驚いた話

Python pandas NumPy 機械学習統計 Mac OS X

今回は pandas を使っているときに二つの DataFrame を pd.concat() で連結したところ int のカラムが float になって驚いた、という話。先に結論から書いてしまうと、これは片方の DataFrame に存在しないカラムがあったとき、それが全て NaN 扱いになるこ…

2018-05-08

Python: pickle を使って pandas の CSV 読み込み時間を削減する

Python Mac OS X pandas 機械学習統計

機械学習やデータ分析に使うデータセットは CSV などの形式で提供される場合がある。それを Python で処理するときは pandas の DataFrame 形式に変換することが多い。このとき CSV から DataFrame に変換する処理は意外と時間がかかる。特に大きなデータ…

2018-05-08

Python: 機械学習の学習済みモデルを pickle でファイルに保存する

Mac OS X Python scikit-learn 機械学習

今回は機械学習において学習済みのモデルを取り回す方法の一つとして pickle を扱う方法を取り上げてみる。尚、使うフレームワークによっては pickle 以外の方法があらかじめ提供されている場合もある。例えば学習済みモデルのパラメータを文字列などの形…

2018-05-01

Python: LightGBM を使ってみる

機械学習 Python scikit-learn matplotlib

LightGBM は Microsoft が開発した勾配ブースティング (Gradient Boosting) アルゴリズムを扱うためのフレームワーク。勾配ブースティングは決定木 (Decision Tree) から派生したアルゴリズムで、複数の決定木を逐次的に構築したアンサンブル学習をするらし…

2017-12-18

Python: 機械学習で分類問題のモデルを評価する指標について

機械学習統計 scikit-learn matplotlib Python NumPy Mac OS X

今回は、機械学習において分類問題のモデルを評価するときに使われる色々な指標について扱う。一般的な評価指標としては正確度 (Accuracy) が使われることが多いけど、これには問題も多い。また、それぞれの指標は特徴が異なることから、対象とする問題ご…

2017-12-09

Python: 多様体学習 (Manifold Learning) を用いた次元縮約

Mac OS X Python scikit-learn 機械学習統計

今回は多様体学習を使ってデータの次元を縮約する方法について。これはデータの前処理として、主に二つの目的で使われる。一つ目は、次元を縮約することで二次元や三次元の形でデータを可視化できるようにするため。もう一つは、次元を縮約した結果を教師…

2017-10-10

Python: 無名数化によるデータの前処理

Python Mac OS X 統計機械学習

データエンジニアリングの分野では、分類精度などを高めるためにデータの前処理が重要となってくる。今回は、そんな前処理の中でも無名数化と呼ばれる手法について見ていく。無名数化というのは、具体的にはデータに含まれる次元の単位をなくす処理のこと…

2017-06-07

Python: Keras/TensorFlow で GPU のメモリを必要な分だけ確保する

DeepLearning Keras TensorFlow Ubuntu16.04LTS 機械学習

Keras のバックエンドに TensorFlow を使う場合、デフォルトでは一つのプロセスが GPU のメモリを全て使ってしまう。今回は、その挙動を変更して使う分だけ確保させるように改めるやり方を書く。環境には次のようにしてセットアップした Ubuntu 16.04 LTS …

2017-04-28

Mac OS X に GNU Octave をインストールする

Homebrew Mac OS X Octave 機械学習統計

GNU Octave 数値計算や解析に使われるプログラミング言語の一つ。あの MATLAB とほぼ互換性があるんだとか。今回 Coursera の Machine Learning コースを受ける上で必要だったためインストールすることにした。使った環境は次の通り。 $ sw_vers ProductN…

2017-04-25

Python: scikit-learn で決定木 (Decision Tree) を試してみる

Mac OS X NumPy Python SciPy scikit-learn 機械学習

今回は機械学習アルゴリズムの一つである決定木を scikit-learn で試してみることにする。決定木は、その名の通り木構造のモデルとなっていて、分類問題ないし回帰問題を解くのに使える。また、決定木自体はランダムフォレストのような、より高度なアルゴ…

2017-04-03

Ubuntu 16.04 LTS で NVIDIA Docker を使ってみる

Ubuntu16.04LTS 機械学習 TensorFlow Keras Docker

以前、このブログで Keras/TensorFlow の学習を GPU (CUDA) で高速化する記事を書いた。このときは、それぞれの環境の分離には Python の virtualenv を使っていた。 blog.amedama.jp 今回は、別の選択肢として NVIDIA Docker を使う方法を試してみる。 NVI…

2017-04-02

Python: scikit-learn で主成分分析 (PCA) してみる

Mac OS X Python 統計機械学習 scikit-learn

主成分分析 (PCA) は、主にデータ分析や統計の世界で使われる道具の一つ。データセットに含まれる次元が多いと、データ分析をするにせよ機械学習をするにせよ分かりにくさが増える。そんなとき、主成分分析を使えば取り扱う必要のある次元を圧縮 (削減) で…

2017-03-19

Python: KMeans 法を実装してみる

機械学習 scikit-learn Python NumPy Mac OS X matplotlib

KMeans 法は、機械学習における教師なし学習のクラスタリングという問題を解くためのアルゴリズム。教師なし学習というのは、事前に教師データというヒントが与えられないことを指している。その上で、クラスタリングというのは未知のデータに対していくつ…

2017-03-18

Python: k 近傍法を実装してみる

Mac OS X matplotlib scikit-learn 機械学習統計 Python

k 近傍法 (k-Nearest Neighbor algorithm) というのは、機械学習において教師あり学習で分類問題を解くためのアルゴリズム。教師あり学習における分類問題というのは、あらかじめ教師信号として特徴ベクトルと正解ラベルが与えられるものをいう。その教師…

2017-03-14

Python: データセットを標準化する効果を最近傍法で確かめる

機械学習 scikit-learn Python NumPy Mac OS X

データセットの標準化については、このブログでも何回か扱っている。しかし、実際にデータセットを標準化したときの例については試していなかった。 blog.amedama.jp blog.amedama.jp そこで、今回は UCI の提供する小麦 (seeds) データセットを最近傍法で…

2017-03-13

Python: Keras/TensorFlow の学習を GPU で高速化する (Ubuntu 16.04 LTS)

DeepLearning Ubuntu16.04LTS 機械学習 TensorFlow Keras Python

以前、このブログで Keras/TensorFlow の学習スピードを GPU を使って速くする記事を書いた。ただし、このとき使った OS は Mac OS X (macOS Sierra) だった。 blog.amedama.jp とはいえ NVIDIA の dGPU を積んだ Mac がどれだけあるんだというと、正直なか…