dbt (data build tool) を使ってデータをテストする

ソフトウェアエンジニアリングの世界では、自動化されたテストを使ってコードの振る舞いを検証するのが当たり前になっている。同じように、データエンジニアリングの世界でも、自動化されたテストを使ってデータの振る舞いを検証するのが望ましい。データ…

2021-12-30

PostgreSQL のテーブルに CSV でデータを読み込む

Postgresql macOS

今回は PostgreSQL のテーブルに CSV ファイル経由でデータを読み込む方法について。ちょくちょくやり方を調べている気がするのでメモしておく。使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 12.1 BuildVersion: 21C52 $ uname…

2017-12-29

macOS に Homebrew で PostgreSQL をインストールする

macOS Postgresql

とあるライブラリのために PostgreSQL を使う機会があったので、その作業メモ。使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.6 BuildVersion: 16G1114 $ brew --version Homebrew 1.4.1 Homebrew/homebrew-core (git rev…

2017-06-29

SQL: NULLIF() 関数を使ってゼロ除算を防ぐ

Postgresql MariaDB Apache Hive SQL

RDBMS によってはゼロ除算をするとエラーになってしまうものがある。例えば PostgreSQL とかがそう。 $ psql --version psql (PostgreSQL) 9.6.3 次のようにゼロ除算をするとエラーになって結果が得られない。これは SQL を使って演算するときに問題となる…

2017-06-15

ファイルから SQL を読み込む (MySQL, PostgreSQL, SQLite3)

MySQL Postgresql SQLite

色々な RDBMS で SQL の書かれたファイルを読み込む方法について調べた。まずはSQL の書かれたテキストファイルを用意しておく。 $ cat << 'EOF' > sample.sql DROP TABLE IF EXISTS users; CREATE TABLE users ( id integer, name varchar(255), age integ…