ローカルLLM 2025 - Llama・Mistralのオンデバイス実行ガイド

ローカルLLMのメリット

2025年、ローカルでLLMを実行することは最もホットなAIトレンドの一つです。

人気モデル比較

Llama 3 (Meta)

2025年最もベンチマークされたオープンソースLLM。

# Ollama でインストール
ollama pull llama3

# 実行
ollama run llama3

特徴:

• 8B / 70B パラメータ
• 多言語対応
• 推論・知識タスクに優れる

Mistral 7B

小型ながらLlama 2 13Bを全タスクで上回る高性能モデル。

ollama pull mistral
ollama run mistral

ベンチマーク比較:

DeepSeek

コーディングに特化した中国発のオープンモデル。

ollama pull deepseek-coder

実行ツール

Ollama（推奨）

最も人気のあるローカルLLM実行ツール。

# macOS / Linux インストール
curl -fsSL https://ollama.com/install.sh | sh

# モデルをダウンロードして実行
ollama pull llama3
ollama run llama3

Python から利用:

import ollama

response = ollama.chat(
    model='llama3',
    messages=[{
        'role': 'user',
        'content': 'Pythonでクイックソートを実装して'
    }]
)

print(response['message']['content'])

LM Studio

GUIベースで初心者に優しいツール。

特徴:

• ドラッグ&ドロップでモデル管理
• RAG機能内蔵
• ローカルAPI サーバー

# LM Studio のローカルAPIを利用
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="local-model",
    messages=[{"role": "user", "content": "Hello!"}]
)

llama.cpp

C++実装で最高の推論パフォーマンス。

# ビルド
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make

# 実行
./main -m models/llama-3-8b.gguf -p "Hello, how are you?"

ハードウェア要件

最小構成

Apple Silicon

M1/M2/M3 MacでMetalを使った高速推論が可能。

# Metal アクセラレーション有効
ollama run llama3  # 自動的にMetal使用

M2 Pro (16GB) での性能:

• Llama 3 8B: ~30 tokens/sec
• Mistral 7B: ~35 tokens/sec

量子化について

モデルサイズを削減しつつ性能を維持する技術。

# 4bit量子化モデルを使用
ollama pull llama3:8b-instruct-q4_0

RAG（検索拡張生成）との連携

from langchain_community.llms import Ollama
from langchain_community.embeddings import OllamaEmbeddings
from langchain_community.vectorstores import Chroma

# ローカルLLMとエンベディング
llm = Ollama(model="llama3")
embeddings = OllamaEmbeddings(model="llama3")

# ベクトルストアを作成
vectorstore = Chroma.from_documents(
    documents=docs,
    embedding=embeddings
)

# RAG チェーンを構築
retriever = vectorstore.as_retriever()

今後の展望

• さらなる小型化: Phi-2、Mixtralなどの効率的モデル
• エッジAI: スマートフォン・IoTへの展開
• ハイブリッド: ローカル + クラウドのフォールバック

参考: n8n Blog - How to Run a Local LLM

まとめ

2025年、ローカルLLMはプライバシー重視の開発者やコスト削減を求める企業にとって現実的な選択肢となりました。Ollamaを使えば数分でセットアップでき、API互換のインターフェースで既存アプリケーションにも容易に統合できます。