Ollamaの同時実行は3つの上限で決める

Ollamaの同時実行は3つの上限で決める

本サイトの記事には広告が含まれます。

ローカルLLM完全ガイドの運用編です。

目次

結論(30秒)

  • Ollamaの同時実行は、同じモデルへの並列依頼数、同時に載せるモデル数、待たせる依頼数を分け、必要な文脈長を保てるメモリの範囲で決めます。
  • 必要な文脈長を先に決め、並列数だけを変えて比較するのが筆者の提案です。
  • 待ち行列を増やしても処理能力は増えません。速度と最適値は未測定です。

筆者はローカルLLMの導入・運用を比較する立場から、公式資料をもとに判断手順をまとめています。本稿の並列速度と最大人数は未測定です。掲載コマンドの実行検証は行っていません(2026年11月16日)。

3つの上限は何を数えるか

この節の要点:Ollamaの同時処理は並列実行数、常駐モデル数、待ち行列数の3変数で個別に制御されます。クライアントから送られる接続数や利用人数とは単位が異なるため、それぞれが制御する対象を区別して把握します。

「同時に使いたい」が、同じモデルへの依頼なのか、別モデルの併用なのかで設定先は変わります。まずは単位をそろえましょう。

設定変数単位変える場面増やすだけでは保証されないもの
OLLAMA_NUM_PARALLELスロット数(1モデルあたりの並列処理枠)同じモデルに対して複数のリクエストを同時に処理させたいとき1リクエストあたりの処理速度向上、メモリ消費の削減
OLLAMA_MAX_LOADED_MODELSモデル数(メモリ上に常駐できる上限)複数モデルを常駐させ、切り替えの再ロードを減らしたいとき単一モデルに対する並列処理枠の増加、無制限の同時起動
OLLAMA_MAX_QUEUEリクエスト数(サーバー内で待機できる上限)一時的な集中時に、503で断る前に待たせる枠を調整したいとき処理速度の向上、根本的な計算能力の拡張

出典:Ollama FAQと公式設定コード(2026年11月16日確認)。表は各設定の役割を筆者が整理したものです。

外部のクライアントから送信された同時接続数と、サーバー側で同時に計算できる処理枠は一致しません。

また、利用人数とリクエスト数も別物です。1人の利用者が操作するエージェントツールが、内部で複数のプロンプトを一斉に送信する場合もあります。人数だけでは決められません。普段の操作で、いくつの依頼が重なるかを確かめてください。

2026年11月16日確認時点の公式envconfig(mainブランチ)のコード定義では、NumParallelは1、MaxQueueは512となっています。MaxRunnersはコード上で0と定義されていますが、これは0個のモデルという意味ではなく、利用可能なGPU数に応じた自動判別を示す値です。Ollama FAQでも、モデル常駐数はGPU数に応じた自動設定として解説されています。なお、これらのコード値は最新の開発版に基づくものであり、手元の環境にインストールされているバージョンの挙動を無条件に保証するものではありません。

同時実行は処理枠と待ち枠を分ける

文脈長を決めてから並列枠を変える

この節の要点:並列枠を増やすと枠の数だけ文脈領域が確保されるため、モデル重みに加えて大きなメモリが必要になります。公式ドキュメント間で既定値の記述が異なるため、固定値の思い込みを排して必要な長さを先に確定させます。

必要な文脈長を下げて並列数だけを増やすと、待ちは減っても入力を扱えなくなるおそれがあります。用途に必要な長さを先に決めます。

並列枠を増やすと、その枠数ぶんだけ文脈領域(KVキャッシュ)が独立して確保されます。メモリ消費はモデルの重みファイルだけでは決まりません。

メモリ総量が単純に2倍になるわけでもなければ、「2人同時なら16GBで足りる」と言い切ることもできません。推論時のメモリには、モデルの重み、並列数ぶんの文脈領域、計算用の一時バッファ、そしてOSや他アプリが消費する余白が必要です。本稿には、メモリ容量別の並列動作の実測値はありません。

文脈領域の確保について、計算の考え方を例示します。

4096トークンの文脈長を前提とし、並列数を2に設定した場合、サーバー内部では「4096トークン×並列2枠=8192トークン分」の文脈領域が確保されます。これはサーバー側が確保する領域の計算モデルです。1回のリクエストで8192トークンの入力が可能になるわけではありません。また、この数値はGB単位のメモリ消費量や、処理速度が2倍になることを意味するものでもありません。

文脈長の既定値には注意が必要です。Ollama FAQには一律4096という記述がある一方で、専用のContext lengthドキュメントでは利用可能なVRAM容量に応じた既定値が案内されています。

両ページを2026年11月16日に確認しました。一律の既定値を前提にせず、起動後のollama psでCONTEXTを見て、比較時は必要なnum_ctxをそろえてください。

長い入力で文脈長が足りない場合は、文脈長の考え方と注意点をまとめたローカルLLMコーディング文脈長解説も参照してください。

文脈長を決めてから並列数を変える

対話とバッチでは採用条件が変わる

この節の要点:対話処理では応答開始までの待ち時間を抑える設定が求められ、バッチ処理では締め切りまでの全体完了時間が判断基準になります。まずはモデル1・並列1の基準環境を作り、1条件ずつ変更して挙動を確認します。

対話では最初の返答を待つ時間、夜間バッチでは全件の終了時刻を見ます。以下は筆者の比較案です。最適値の実測ではありません。

利用条件調整する上限値採用の判断基準
一人の対話並列1、モデル1を比較の基準にする必要な文脈を保ち、普段の対話で許容できる待ち時間に収まること
同じ生成モデルへ小人数並列1と2を比較候補にする文脈長と回答品質を保ち、メモリ不足や待ち時間の悪化がないこと
異なる2モデルを交互OLLAMA_MAX_LOADED_MODELSを2に変更両モデルを常駐でき、想定する切り替えで再ロードを減らせること
夜間バッチ処理OLLAMA_NUM_PARALLELの微増または維持1件ごとの許容時間も守り、締め切りまでに全件が完了すること
混雑時の503多発OLLAMA_MAX_QUEUEの調整上流の送信量も抑え、クライアントの許容待ち時間内に収まること

出典:Ollama FAQ・Context length(2026年11月16日確認)。数値は実測の推奨値ではなく、筆者が提案する比較条件です。

筆者の推奨は、まず「常駐モデル数1・並列数1」の基準環境を維持することです。必要な文脈長を固定した上で、並列数を2にするなど、変更する条件を必ず1つに絞って比較します。

設定が使える範囲も確認します。

2026年11月16日確認時点の公式scheduler(mainブランチ)の実装を確認すると、Apple SiliconなどのMLX環境ではバッチ処理をMLX側に委ねる記述がある一方、非MLX環境かつ非completion(テキスト生成以外)の処理では、並列数を強制的に1とする分岐が含まれています。テキスト生成モデルでの検証結果を、埋め込みモデルや音声モデルへ無条件に当てはめることはできません。

メモリに収まったという事実だけで設定を本番採用してはいけません。

対話もバッチも、次の項目を分けて記録します。

  • 最初の応答までの待ち時間
  • 処理完了までの総所要時間
  • 1秒あたりの生成トークン速度
  • エラーおよびタイムアウトの発生率
  • 回答に必要な情報が欠落していないか

これらを別々に判定します。ストリーミング(stream=true)を使用しなければ、最初のトークンが出るまでの時間は観測できません。

設定はOllamaを起動する側に書く

この節の要点:Ollamaの環境変数はサーバーを起動する側に設定します。手動起動ならそのシェル、アプリやサービスなら各起動元が設定先です。設定変更後はサーバーを再起動し、正しくプロセスに渡っているかを端末内で確認します。

掲載する手順は、既存のアプリやサービスを一旦終了し、手元のローカル端末で保守できる環境を対象とした例です。共有サーバーの場合は、利用者への事前周知を先に行ってください。新規のインストールや新しいモデルのダウンロードは不要です。

Macアプリ

デスクトップ版のOllamaアプリを利用している場合、通常のターミナルでexportコマンドを実行してもGUIアプリには届きません。

メニューバー等からOllamaを一度終了し、ターミナルで以下を実行します。

launchctl setenv OLLAMA_NUM_PARALLEL "1"
launchctl setenv OLLAMA_MAX_LOADED_MODELS "1"

コマンド実行後にOllamaアプリを起動します。変更前に値がなければ、戻す際はlaunchctl unsetenv OLLAMA_NUM_PARALLELとlaunchctl unsetenv OLLAMA_MAX_LOADED_MODELSで今回の指定を解除してアプリを再起動します。元から値があった場合は、控えておいた元値をsetenvで復元してください。ここで指定した値「1」は比較用の基準値であり、最適値ではありません。

Windows 11アプリ

タスクトレイにあるOllamaアイコンを右クリックし、「Quit」を選択して終了します。

Windowsのスタートメニューから「環境変数を編集」を開き、ユーザー環境変数に以下を追加します。

  • 変数名: OLLAMA_NUM_PARALLEL / 変数値: 1
  • 変数名: OLLAMA_MAX_LOADED_MODELS / 変数値: 1

PowerShell上で $env:OLLAMA_NUM_PARALLEL="1" と入力しても、既に常駐しているアプリの動作は変わりません。設定後、スタートメニューからOllamaを起動します。元に戻す際は、変更前の状態を控えておき、変数を削除または元の値に戻します。

Linux systemd

Linuxでsystemdサービスとして運用している場合は、設定オーバーライド用のファイルを作成します。

sudo systemctl edit ollama.service

エディタが開いたら、[Service] の下に環境変数を追加します。

[Service]
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"

既存の設定全体を書き換えるのではなく、必要なディレクティブのみを追加して保存します。保存後、設定の再読み込みとサービスの再起動を行います。

sudo systemctl daemon-reload
sudo systemctl restart ollama.service

設定が渡っているかの確認は、自分の端末内でのみ実行してください。他の環境変数の機密情報が含まれる場合があるため、出力結果をそのまま外部に共有してはいけません。

systemctl show ollama.service --property=Environment

直近の動作ログは以下のコマンドで確認します。

journalctl -u ollama.service --since "10 minutes ago" --no-pager

手動serve(Mac/Linux/WSL2)

端末から直接 ollama serve を実行している環境では、既存のサーバープロセスをCtrl+C等で停止した上で、変数を付与して起動します。

OLLAMA_NUM_PARALLEL=1 OLLAMA_MAX_LOADED_MODELS=1 ollama serve

デスクトップアプリ版がバックグラウンドで動いている状態でこれを実行すると、ポートの競合が発生します。アプリ版と重複起動しないよう注意してください。WSL2内部のサーバーとWindowsホストのアプリは別の起動元です。

Docker環境の注意点

Docker Desktop等のコンテナ環境では、ホストOS側の環境変数を書き換えてもコンテナ内部には伝わりません。Composeファイルや起動設定内のenvironmentディレクティブが指定先となります。

既存のデータマウントや設定を壊さないため、本稿ではコンテナ再作成のコマンドは掲載しません。設定ファイルの記述箇所を確認してください。なお、macOS上のDocker DesktopにおけるGPU利用の制約はホスト版と同一ではありません(Ollama FAQ)。本稿の対象はネイティブサーバーの設定であり、DockerのGPU環境構築は扱いません。

起動状態の確認

各OS共通で、まずはバージョンと常駐状況を確認します。

ollama --version
ollama ps

API経由で確認する場合、MacおよびLinuxでは以下のコマンドを実行します。

curl --fail --show-error http://127.0.0.1:11434/api/ps

Windows環境では curl.exe を使用します。

curl.exe --fail --show-error http://127.0.0.1:11434/api/ps

この一覧はモデルのメモリ常駐状況を示します。modelsが空でも、正常応答なら「常駐モデルがない」状態であり、接続失敗とは区別します。並列スロット数そのものを直接証明するAPIではありません。並列枠の確認はサーバー起動ログと照合して判断します。リモートサーバーの変更は、該当サーバーの管理者が行います。

設定手順の詳細は、Ollama FAQ、Linux設定ドキュメント、API psドキュメント(各2026年11月16日確認)を参照してください。

待ち時間と生成時間を分けて確認する

この節の要点:利用者が待った時間と、APIが返すロード・入力評価・生成の時間を分けて記録します。合計から他の時間を引いただけで、残りを待ち行列の時間と断定しません。

掲載する例は未検証の構文例であり、手元に既存のローカルモデルを保持している読者を想定しています。本稿の執筆中に実行検証は行っていません。Pythonや外部ライブラリは使用せず、curlで単一のリクエストを送る手順のみを扱います。

パラメータ内のモデル名は、必ず ollama ls で確認した実在のローカルモデル名に書き換えてください。未置換のまま実行してはいけません。

ollama ls
MODEL_NAME='既存ローカルモデル名へ置換'
curl --fail --show-error http://127.0.0.1:11434/api/generate -H 'Content-Type: application/json' -d "{\"model\":\"${MODEL_NAME}\",\"prompt\":\"一文で自己紹介してください\",\"stream\":false,\"options\":{\"num_ctx\":4096,\"num_predict\":64}}"

文脈長4096と出力上限64は比較条件を説明するための例です。長文要約やエージェントには、その用途に必要な長さへ置き換えてください。

Windowsでは、以下のPowerShell例のモデル名を既存のローカルモデル名へ置き換えます。日本語を送る場合も文字コードがあいまいにならないよう、本文をUTF-8のバイト列で渡します。PowerShellのHTTP送信とContent-Typeの指定はMicrosoft公式リファレンス(2026年11月16日確認)で確認しました。

$modelName = "REPLACE_WITH_EXISTING_LOCAL_MODEL"
$body = @{
    model = $modelName
    prompt = "Say hello in one sentence."
    stream = $false
    options = @{
        num_ctx = 4096
        num_predict = 64
    }
} | ConvertTo-Json
Invoke-RestMethod -Uri "http://127.0.0.1:11434/api/generate" -Method Post -ContentType "application/json; charset=utf-8" -Body ([System.Text.Encoding]::UTF8.GetBytes($body))

API Generateは時間とトークン数を返します。以下のdurationはナノ秒単位、eval_countは個数です。

  • total_duration: リクエスト全体の総処理時間
  • load_duration: モデルのロードに要した時間
  • prompt_eval_duration: 入力プロンプトの評価に要した時間
  • eval_duration: 出力トークンの生成に要した時間
  • eval_count: 生成されたトークン数

これらは生成処理自体の内訳を示した数値です。純粋な待ち行列(キュー)での滞留時間だけを返す独立した項目は存在しません。

total_duration から他の時間を引き算して、残りをすべてキュー待機時間と断定するのは早計です。各値の計測範囲だけから純粋な待ち時間を切り出せるとは限りません。利用者側の経過時間には通信時間も加わるため、API内部のtotal_durationと同一視せず、ストリーミングやサーバーログと併せて確認します。

実測値を記録する際は、以下の空欄テンプレートを用いて条件を整理します。実測していない数値を埋めてはいけません。

記録する条件・結果自分の記録
Ollama版・モデル名・実行方式未記入
num_ctx・並列数・常駐数未記入
psのPROCESSOR・CONTEXT未記入
利用者側の完了時間・APIのduration各値未測定
エラー・タイムアウト・回答に必要な情報未確認

待ち行列(OLLAMA_MAX_QUEUE)の数値を引き上げても、サーバーの計算能力自体は一切増えません。処理待ちのタスクを多く抱え込めるようになるだけです。

キューが溢れて503エラーを受け取ったクライアント側アプリは、即座に無限ループで再送してはいけません。サーバーの過負荷を助長する結果になります。

また、リクエスト時に指定するkeep_aliveパラメータは、処理完了後にモデルをメモリへ保持しておく継続時間を指定するものです。同時処理の枠数を増やす設定ではありません。仕様の詳細は、Ollama FAQおよびAPI generateドキュメント(各2026年11月16日確認)を参照してください。

FAQ:同時実行で迷いやすい点

同時実行の設計や運用において、混同しやすい概念や判断の迷いどころをまとめます。

並列数とモデル数は何が違いますか

OLLAMA_NUM_PARALLELは1つのモデルに対して同時にリクエストを処理するスロット数を指定し、OLLAMA_MAX_LOADED_MODELSはメモリ上に同時に常駐できる異なるモデルの数を指定します。前者は同じモデルを複数人で共有したり非同期処理を行ったりする際に調整し、後者は複数種類のモデルを常駐させて再ロードを減らしたい際に調整します。管理する対象が異なるため、目的に応じて分けて設定します。

16GBのMacで何人まで同時に使えますか

利用するモデルのサイズと設定する文脈長によって消費メモリが大きく変動するため、利用可能な人数を一律に保証することはできません。本稿では並列速度や最大人数の測定を行っておらず、環境ごとの実測確認が必要です。Macのメモリ容量とモデル選択の判断基準については、16GB Mac向けローカルLLM選択ガイドを参考にしてください。

設定した環境変数が反映されません

環境変数を記述した場所と、Ollamaプロセスを起動した親プロセスが一致していない可能性があります。作業用ターミナルでexportを実行しても、OSのバックグラウンドサービスやデスクトップアプリには値が伝わりません。OSごとの設定ファイルやlaunchctlに記述した上で、プロセスを完全に再起動してログを確認してください。

キューの受け付け数を増やせば処理は速くなりますか

キューの受け付け数(OLLAMA_MAX_QUEUE)を増やしても、計算を処理するサーバーの能力自体は向上しません。一時的な集中を待ち行列で受け止める余地は増えますが、503がなくなる保証はなく、長い待ち時間や上流のタイムアウトを招くこともあります。処理速度を改善したい場合は、並列枠やハードウェアリソースを見直す必要があります。

keep_aliveを長くすれば同時処理数は増えますか

keep_aliveは推論完了後にモデルをメモリへ常駐させておく制限時間を延ばす設定であり、同時処理枠を増やすものではありません。モデルの頻繁なロードとアンロードを防ぐ効果はありますが、VRAMやRAMを占有し続けるため、他のモデルや並列枠のメモリ確保を圧迫する要因にもなります。常駐時間と同時処理スロットは切り離して管理してください。

自分の条件に置き換える

この節の要点:同時実行を導入する際は、設定の復元手順や文脈長、クライアントの挙動を事前に確認しておく必要があります。6つのチェック項目を通じて、無理のない運用条件を固めてから変更に着手します。

設定変更に着手する前に、以下の6項目を確認してください。

  • [ ] アプリ起動元と設定の復元手順:自分が利用している起動元(GUIアプリ、systemd、手動CLI)を特定し、不具合時に元の設定へ戻す復元手順を控えているか。
  • [ ] モデルと実行方式の制約:使用するモデルがテキスト生成用か、あるいはMLXや非completionの制約を受ける構成でないか。
  • [ ] 必要な入力と出力の文脈長:業務で実際に必要なトークン数を割り出し、過大なnum_ctxを無計画に割り当てていないか。
  • [ ] 共有環境での同時依頼の発生頻度:単一ユーザーの連続対話なのか、複数ユーザーや自動スクリプトによる重複呼び出しが発生する頻度はどの程度か。
  • [ ] 許容できる待ち時間とクライアントの再送設計:タイムアウトまでの猶予が何秒あり、503エラー発生時にクライアントが指数バックオフなどで適切に待機できるか。
  • [ ] 他の常駐モデルやOS全体の空きメモリ:Ollama以外の常駐プロセスやOS自体の動作に必要なメモリマージンを確保できているか。

ローカルLLM全体の導入設計や環境構築の基礎については、体系的にまとめたローカルLLM完全ガイド2026も合わせて確認してください。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

CAPTCHA


目次