Ollama(オラマ)試してみた!

AI

はじめに

チャッピーで調べて実行してみた。

CPU動作でカテゴリ分類をしてもらう。軽快に動くとのこと。

ゴール

記事タイトル
↓
ローカルLLM
↓
カテゴリ分類

をLinuxで動かす。

環境構築

私の環境では、VirtualBoxでやってみました。

作業フォルダ

mkdir ~/local_llm_classifier
cd ~/local_llm_classifier

Python仮想環境

python3 -m venv venv

仮想環境の有効化

source venv/bin/activate

成功すると以下。

(venv)

Ollamaインストール

公式:Ollama Linux Install

curl -fsSL https://ollama.com/install.sh | sh
ollama

表示されればOK。

モデルDL

ollama run qwen3:4b

初回だけ数GBダウンロード。

Pythonライブラリインストール

pip install ollama

テストコード

test.py

Python
import ollama

prompt = """
以下カテゴリから最適なものを1つ選べ。

カテゴリ:
- Python
- Linux
- WordPress
- ComfyUI
- Stable Diffusion

記事タイトル:
ComfyUIでLoRAを使う方法

カテゴリだけ返せ。
"""

response = ollama.chat(
    model='qwen3:4b',
    options={
        'temperature': 0
    },
    messages=[
        {
            'role': 'user',
            'content': prompt
        }
    ]
)

print(response['message']['content'])

実行

python test.py

成功例

ComfyUI

実際

Bash
(venv) :~/llm_categolizer$ date && python3 test.py && date
2026年  5 x日 14:31:41 JST
ComfyUI
2026年  5 x日 14:40:25 JST
(venv) :~/llm_categolizer$ 

なんと、9分近くかかっている。軽快どころではない。

仮想環境が悪かったのだろうか??

参考情報??

チャッピーがくれた情報。

モデルおすすめ

モデル評価
qwen3:4b
gemma3:4b
llama3.1:8b
mistral:7b

4B前後が最適

理由:

  • レスポンス速い
  • RAM少ない
  • 分類精度十分

ほんとかよ!!

コメント

タイトルとURLをコピーしました