はじめに
チャッピーで調べて実行してみた。
CPU動作でカテゴリ分類をしてもらう。軽快に動くとのこと。
ゴール
記事タイトル
↓
ローカルLLM
↓
カテゴリ分類
をLinuxで動かす。
環境構築
私の環境では、VirtualBoxでやってみました。
作業フォルダ
mkdir ~/local_llm_classifier
cd ~/local_llm_classifier
Python仮想環境
python3 -m venv venv
仮想環境の有効化
source venv/bin/activate
成功すると以下。
(venv)
Ollamaインストール
curl -fsSL https://ollama.com/install.sh | sh
ollama
表示されればOK。
モデルDL
ollama run qwen3:4b
初回だけ数GBダウンロード。
Pythonライブラリインストール
pip install ollama
テストコード
test.py
Python
import ollama
prompt = """
以下カテゴリから最適なものを1つ選べ。
カテゴリ:
- Python
- Linux
- WordPress
- ComfyUI
- Stable Diffusion
記事タイトル:
ComfyUIでLoRAを使う方法
カテゴリだけ返せ。
"""
response = ollama.chat(
model='qwen3:4b',
options={
'temperature': 0
},
messages=[
{
'role': 'user',
'content': prompt
}
]
)
print(response['message']['content'])実行
python test.py
成功例
ComfyUI
実際
Bash
(venv) :~/llm_categolizer$ date && python3 test.py && date
2026年 5月 x日 14:31:41 JST
ComfyUI
2026年 5月 x日 14:40:25 JST
(venv) :~/llm_categolizer$ なんと、9分近くかかっている。軽快どころではない。
仮想環境が悪かったのだろうか??
参考情報??
チャッピーがくれた情報。
モデルおすすめ
| モデル | 評価 |
|---|---|
| qwen3:4b | ◎ |
| gemma3:4b | ◎ |
| llama3.1:8b | ○ |
| mistral:7b | ○ |
4B前後が最適
理由:
- レスポンス速い
- RAM少ない
- 分類精度十分
ほんとかよ!!


コメント