Mac で llama.cpp をビルドして GPU の有効・無効によるパフォーマンスの違いを比べてみる

llama.cpp GPU LLM Apple Silicon macOS

Mac で llama.cpp を使う場合、最も手っ取り早い方法は Homebrew からインストールすることだろう。コマンドラインから brew install llama.cpp するだけで、GPU での演算が有効なバイナリが得られる。一方で、GPU を有効にした場合と無効にした場合で、ど…

自分で MCP (Model Context Protocol) を喋ってみる

LLM Model Context Protocol Python

Model Context Protocol (MCP) は、LLM が外部のシステムから情報を得る、または操作するのに用いられるプロトコルのひとつ。昨今の扱われ方からすると、今後のデファクトとなりつつあるように感じられる。今回は、そんな MCP がどういったプロトコルなの…

OpenAI Web API LLM

最近は OpenAI 互換の Web API が、LLM の機能を提供する上でデファクトに近い方法となっているように思う。そこで、今回は本家の OpenAI の Web API を使い始めるまでの内容を自分用のメモを兼ねて残しておく。使った環境は次のとおり。 $ sw_vers Produc…

LLM macOS

Ollama 1 はローカル LLM を動かすためのソフトウェアのひとつ。一般的なラップトップやデスクトップマシンで動かすようなユースケースが主に想定されているように思う。 LLM の機能を不特定多数に提供するというよりは、マシンを操作しているユーザ自身が…