CUBE SUGAR CONTAINER

技術系のこと書きます。

GitHub

Apache Spark を完全分散モードの YARN クラスタで動かす

Apache Spark を使って複数ノードで分散並列処理をする場合、まずは動作させるためのクラスタマネージャを選ぶことになる。 Apache Spark では以下のクラスタマネージャに対応している。 Apache Spark 組み込み (これはスタンドアロンモードと呼ばれる) Apac…

Homebrew の GitHub API rate limit exceeded ... を回避する

ある日、Homebrew を使っていると以下のようなエラーに見舞われた。 なるほど組織などでプロキシを使ってインターネットにアクセスしていると、送信元 IP アドレスが同一になるため GitHub API の利用制限に引っかかりやすいようだ。 $ brew search direnv d…