OllamaがPIDカウンタ上げまくってる話

こんにちは。1510tyです。

突然ですが、ローカルで"AI"を動かしたことってありますか?

ある人、ない人、それぞれいると思います

その中でテキスト生成系のAIが使いやすい、Ollamaというアプリがあります。

ollama run gpt-oss:20b みたいにコマンド打つだけで、サーバーからAIのファイル引っ張ってきて起動までしてくれる優れもんです。

さらにそこにOpen WebUIを組み合わせればそれはもうChatGPTと同じ操作感で会話できます(w)

↑こんな感じです

で、そのOllamaなんですか、会話生成時にVRAMにモデルが乗り切らないとRAMにオフロードする仕様になっています。(変更もできるけど)

そのオフロードされた分はCPUで演算するようです。

(あくまで推測)

その演算をするプロセスが毎秒200くらいPIDカウンターを進めています。

おそらく、1文字?トークン?につき、1スレッド生成するようになっているからだと思います

なので、数時間会話しただけであっという間に新規プロセスのPIDが1,000,000とかなりますw

筆者はWindowsからLinuxに乗り換えたので、PIDの最大値が4,000,000くらいだったような気がするんですが、Windows環境だともっと少ない気がするので、どういう挙動になるのかはちょっと気になります

以上、ただのよくわからん愚痴?でした...?...