目次

ローカルLLMを構築した


新型Mac mini や新型Mac Studio、そしてTGSと、新しいデバイスが欲しくなる季節ですね!こんにちは!

私はお財布を見つめる毎日です!買えません!高杉!

1年前と比較してSSDが高すぎる

SSDが高すぎる、と一口に言っても、関係ないのまで上がってないですかね?

Gen5のSSDは転送速度が、そう、例えば Samsung 9100 PROなどは、最大転送速度14,700MB/s(1秒14GB以上)になるので、ものすごい早い。そら一瞬でなんでもロードできますわ。

Gen4は理論上の転送速度が約7,000MB/s 程なので半分。1秒につき7GB程のロード時間。

ここで昨年この時期に購入したSamsung 990 PRO 2TB PCIe Gen 4.0 x4 (最大転送速度 7,450MB/秒)です。昨年に購入した際は(その時点でもやや高めになっていましたが)、 18,680円。今は、87,040円

えぇ….(ドン引き)

もう少し安けれなー。昨年にしたみたいにローカルディスクを最低にしたMacStudioか何かを購入することもやぶさかではない・・・と思いましたが、うーん。

何も試せないので、あるもので試すしかありません。 そこでローカル環境に立ててみることにします。

仮想環境でGPUなしでローカルLLMを試してみる。

仮想環境に20GBのメモリを付与して、GPUはなし、単純なCPU推論でローカルLLMを試してみます。

環境は以下の通り (llm-benchmarkを利用)

1
2
3
4
5
6
7
8
9
Average of eval rate: 5.708 tokens/s
{
"system": "Linux",
"memory": 20.0,
"cpu": "Intel(R) Core(TM) i5-10400 CPU @ 2.90GHz",
"gpu": "CometLake-S GT2 [UHD Graphics 630]",
"os_version": "Ubuntu 24.04.4 LTS",
"system_name": "Linux"
}

1秒あたり5文字くらい出力できる、ってことですね

ハルシネーション前提に幾つかのモデルで同じ推論をワンショットで試す

Promptとしては何も調整せずワンショットで確実に誤りの質問をして、どのような結果になるのかを試してみることにします。 質問としては「大谷翔平のプロサッカー選手としての経歴を教えてください」だけにします。

もちろんこれで100%の結果になるというわけでもありませんが、試してみるだけなのでまずは雰囲気としてどうなるかを確認するのが目的。

思考(推論)プロセスが見えるものは合わせて表示。一部のモデルは表示できなかった。(オプション不足?)

Google系統

gemma2:9b の場合

1
2
3
4
5
6
>>> 大谷翔平のプロサッカー選手としての経歴を教えてください
大谷翔平選手は、**プロサッカー選手ではありません**。

大谷翔平選手は、**プロ野球選手**として、MLBのロサンゼルス・エンゼルスで活躍しています。 

彼は、非常に優れた能力を持ち、ピッチャーとバッターの両面で活躍する「二刀流」選手として知られています。
  • 正しく、プロ野球選手であることを表示。必要以上の回答はしていない。
  • 二刀流の意味についても正しく表示。
  • ドジャースではなくエンゼルスなのは、モデルの学習時点が23年前後だったからと思われる

gemma4:e4b の場合

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
>>> 大谷翔平のプロサッカー選手としての経歴を教えてください
Thinking...
Here's a thinking process to construct the answer:

1.  **Identify the core request:** The user is asking for Shohei Ohtani's career as a professional *soccer* 
(football) player.
2.  **Recall knowledge about Shohei Ohtani:**
    *   He is a globally famous professional athlete.
    *   His sport is Baseball (MLB pitcher/hitter).
    *   He is not known to have a professional playing career in soccer.
3.  **Determine the factual status:** Shohei Ohtani is exclusively a baseball player. He has no professional soccer 
career.
4.  **Formulate the direct answer (the correction):** I must gently inform the user that he does not play soccer 
professionally.
5.  **Provide context (the main focus):** To be helpful, I should provide accurate information about his *actual* 
sport (baseball).
6.  **Structure the response (Japanese convention):**
    *   Acknowledge the question.
    *   Provide the direct clarification (he is a baseball player).
    *   Explain his actual career/background (details about baseball).
    *   (Self-Correction/Refinement): Keep the tone polite and helpful.

*(Self-Correction check: Did I address the "soccer" part? Yes, by stating he hasn't played professionally. Did I 
provide the correct information? Yes, focusing on baseball.)*

7.  **Draft the Japanese response:** (This leads to the final output, which is polite, clear, and corrects the 
misunderstanding while providing accurate details.)
...done thinking.

恐れ入りますが、**大谷翔平選手はプロのサッカー選手としての経歴はありません。**

大谷選手は、アメリカの野球(ベースボール)の世界に所属し、プロ野球選手として活躍しています。

もし、大谷選手の**プロ野球選手としての経歴**について知りたい場合は、喜んでお答えいたします。

---
(参考:大谷選手の基本的な経歴の概要)
*   **専門分野:** 野球選手
*   **主なキャリア:** 高校時代からプロ野球を経て、メジャーリーグ(MLB)で活躍しています。
*   **特徴:** 投打両面で高い能力を持つ「二刀流」として世界的な注目を集めています。
  • 正しく、プロ野球選手であることを表示。必要以上の回答はしていない。
  • 二刀流の意味についても正しく表示。

Microsoft

phi4:14b の場合

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
>>> 大谷翔平のプロサッカー選手としての経歴を教えてください
大谷翔平は、アメリカ合衆国のプロ野球選手で、メジャーリーグベースボール(MLB)のロサンゼルス・エンゼルスで活躍しています。
彼は投手としても打者としても非常に優れた才能を持っており、「二刀流」として知られています。しかし、彼のプロサッカー選手と
しての経歴はありません。

大谷翔平はプロ野球選手としてのキャリアをスタートし、ハイスクール時代からその才能を示していました。彼は日本プロ野球(NPB)
の北海道日本ハムファイターズでプレーした後、2018年にMLBのエンゼルスに移籍しました。エンゼルスでの活躍により、彼は多くの賞
を受賞し、数多くの記録を樹立しています。

サッカーについては、大谷翔平は若い頃にサッカーを楽しんでいたことを公言していますが、プロとしての経歴は持っていません。彼
のスポーツにおける道は、プロ野球において非常に成功を収めています。
  • 正しく、プロ野球選手であることを表示。必要以上の回答はしていない。
  • 二刀流の意味についても正しく表示。
  • エンゼルスへの移籍も正しく表示。ただし、gemma2よりも、gemma4より遅かった。

速度と内容から考えるとgemma4がバランスが良さそうかな。