目次

Proxmox上のCPU推論でローカルLLMを試してみた


新型 Mac mini や Mac Studio の発表、そして TGS の時期になると、新しいデバイスが欲しくなりますね。

ただ、昨今のパーツ高騰もあり簡単に購入を決めるのは難しいところです。 高杉!

SSD高騰でMacの増設構成に悩む

特に最近は SSD の価格が高騰しています。

例えば Gen5 SSD の Samsung 9100 PRO だと最大転送速度が約 14,700 MB/s(1秒に 14 GB 以上)と非常に高速です。ゲームやデータのロードも一瞬で終わるスペックを誇ります。

一方で、Gen4 の理論値は約 7,000 MB/s 程度です。1年ほど前に購入した Samsung 990 PRO 2TB PCIe Gen 4.0 x4 は当時 18,680 円ほどでしたが、現在の市場価格を調べると大幅に値上がりしていて驚きました。

ストレージ容量を最小構成にした Mac を購入し、後から外部ストレージで補う運用も検討しましたが、パーツのコスト面から足踏みしてしまいます。そこで、今回は手元にある Proxmox 環境を利用して、お金をかけずにローカル LLM 環境を構築して試すことにしました。

仮想環境でGPUなしのローカルLLMを構築する

今回は GPU を使用せず、Proxmox 上の Linux 仮想マシン(Ubuntu 24.04 LTS)に 20 GB のメモリを割り当てて、CPU 推論のみでローカル LLM を動かします。推論用エンジンには Ollama を使用し、パフォーマンスの測定には llm-benchmark を利用しました。

テスト環境のスペックとベンチマーク結果は以下の通りです。

1
2
3
4
5
6
7
8
{
  "system": "Linux",
  "memory": 20.0,
  "cpu": "Intel(R) Core(TM) i5-10400 CPU @ 2.90GHz",
  "gpu": "CometLake-S GT2 [UHD Graphics 630]",
  "os_version": "Ubuntu 24.04.4 LTS",
  "system_name": "Linux"
}

評価時の平均出力速度(Average of eval rate)は 5.708 tokens/s でした。おおよそ 1 秒あたり 5 文字程度の生成速度です。GPU なしの CPU 推論としては、実用ギリギリですが動作確認には十分な速度が出せています。

ワンショットプロンプトでモデルの回答結果を比較する

ハルシネーション(嘘の回答)の傾向を確認するため、あらかじめ事実と異なる質問を投げかけるワンショットテストを行いました。

検証に使用したプロンプトは以下の内容です。

1
大谷翔平のプロサッカー選手としての経歴を教えてください

思考(Thinking)プロセスを表示できるモデルについては、推論内容も含めて確認します。

Google系統のモデル

gemma2:9b

1
2
3
4
5
6
>>> 大谷翔平のプロサッカー選手としての経歴を教えてください
大谷翔平選手は、**プロサッカー選手ではありません**。

大谷翔平選手は、**プロ野球選手**として、MLBのロサンゼルス・エンゼルスで活躍しています。 

彼は、非常に優れた能力を持ち、ピッチャーとバッターの両面で活躍する「二刀流」選手として知られています。
  • プロ野球選手であることを正確に回答しました。
  • 二刀流についての説明も適切です。
  • 所属チームがドジャースではなくエンゼルスになっている点は、モデルの学習データのカットオフ時期(2023年前後)による影響と考えられます。

gemma:2b(思考プロセス対応)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
Thinking...
Here's a thinking process to construct the answer:

1.  **Identify the core request:** The user is asking for Shohei Ohtani's career as a professional *soccer* 
(football) player.
2.  **Recall knowledge about Shohei Ohtani:**
    *   He is a globally famous professional athlete.
    *   His sport is Baseball (MLB pitcher/hitter).
    *   He is not known to have a professional playing career in soccer.
3.  **Determine the factual status:** Shohei Ohtani is exclusively a baseball player. He has no professional soccer 
career.
4.  **Formulate the direct answer (the correction):** I must gently inform the user that he does not play soccer 
professionally.
5.  **Provide context (the main focus):** To be helpful, I should provide accurate information about his *actual* 
sport (baseball).
6.  **Structure the response (Japanese convention):**
    *   Acknowledge the question.
    *   Provide the direct clarification (he is a baseball player).
    *   Explain his actual career/background (details about baseball).
    *   (Self-Correction/Refinement): Keep the tone polite and helpful.

*(Self-Correction check: Did I address the "soccer" part? Yes, by stating he hasn't played professionally. Did I 
provide the correct information? Yes, focusing on baseball.)*

7.  **Draft the Japanese response:** (This leads to the final output, which is polite, clear, and corrects the 
misunderstanding while providing accurate details.)
...done thinking.

恐れ入りますが、**大谷翔平選手はプロのサッカー選手としての経歴はありません。**

大谷選手は、アメリカの野球(ベースボール)の世界に所属し、プロ野球選手として活躍しています。

もし、大谷選手の**プロ野球選手としての経歴**について知りたい場合は、喜んでお答えいたします。
---
(参考:大谷選手の基本的な経歴の概要)
*   **専門分野:** 野球選手
*   **主なキャリア:** 高校時代からプロ野球を経て、メジャーリーグ(MLB)で活躍しています。
*   **特徴:** 投打両面で高い能力を持つ「二刀流」として世界的な注目を集めています。
  • サッカー選手ではないことを丁寧かつ正確に否定し、正しく野球選手としての情報を提示できました。

Microsoft系統のモデル

phi4:14b

1
2
3
4
5
6
7
>>> 大谷翔平のプロサッカー選手としての経歴を教えてください
大谷翔平は、アメリカ合衆国のプロ野球選手で、メジャーリーグベースボール(MLB)のロサンゼルス・エンゼルスで活躍しています。
彼は投手としても打者としても非常に優れた才能を持っており、「二刀流」として知られています。しかし、彼のプロサッカー選手としての経歴はありません。

大谷翔平はプロ野球選手としてのキャリアをスタートし、ハイスクール時代からその才能を示していました。彼は日本プロ野球(NPB)の北海道日本ハムファイターズでプレーした後、2018年にMLBのエンゼルスに移籍しました。エンゼルスでの活躍により、彼は多くの賞を受賞し、数多くの記録を樹立しています。

サッカーについては、大谷翔平は若い頃にサッカーを楽しんでいたことを公言していますが、プロとしての経歴は持っていません。彼のスポーツにおける道は、プロ野球において非常に成功を収めています。
  • 野球選手としての詳細な経歴(日本ハムからエンゼルスへの移籍など)を含めて正確に回答しました。
  • 回答の精度は高いものの、14b モデルのため CPU 推論では生成速度が Gemma よりも低下しました。

まとめ

GPU なしの CPU 推論環境であっても、軽量なモデルを選択すれば 5 tokens/s前後の速度でローカル LLM を動かすことができました。

今回試した中では、生成スピードと回答内容の精度のバランスから Gemma 系のモデルが扱いやすい印象です。今後は、ローカル環境の GPU パススルー設定の追加や、より量子化されたモデルでのレスポンス変化も検証していきたいと思います。