آموزش نصب و راه‌اندازی ollama در قطعی اینترنت.

خب همونطور که شاید بدونید اینترنت مدت زمان زیادی هستش که قطع شده و خیلی‌ها نیاز به استفاده از هوش مصنوعی دارن.

توی این پست می‌خوام آموزش نصب هوش مصنوعی رو به صورت محلی بدم.

اگر حال خوندن متن رو ندارید، آموزشش رو قبلاً توی آپارات ضبط کردم صرفاً با محوریت کوداست.

شروع به کار

خب برای شروع شما نیاز دارید تا ollama رو نصب کنید. فرض می‌کنیم از پارچ، آرچ یا هر آرچ بیس دیگه‌ای استفاده می‌کنید:

sudo pacman -S ollama

بعد از نصب ollama ، اگر نمی‌خواید مدل روی پردازنده اجرا بشه باید افزونه‌های اون رو نصب کنید.

اگر کارت گرافیکتون در هر صورت نه توسط ROCm پشتیبانی میشه و نه Cuda می تونید از ولکان استفاده کنید.

sudo pacman -S cuda cudnn ollama-cuda

sudo pacman -S ollama-rocm

sudo pacman -S ollama-vulkan

بعد از نصب این افزودنی‌ها به دلخواهتون، یکبار باید اولاما رو اجرا کنید تا یک سری مسیر و فایل رو بسازه.

ollama serve

و بعدش می‌تونید با ctrl + c ازش خارج بشید.

توی لاگش حتماً چک کنید که کارت‌گرافیک شما رو شناخته اگر cuda یا rocm رو نصب کردید.

بعد از این میریم سراغ مرحله بعد.

دریافت مدل دلخواه

برای این کار نیاز دارید تا از سافت۹۸ مدل‌ دلخواهتون رو دریافت کنید.

مهم: حتماً به سیستمتون دقت کنید، حجم مدل باید کمتر از میزان رمتون باشه. اگر از کودا یا rocm استفاده می‌کنید، حجم مدل باید کمتر از مجموع vram و ram شما باشه.
اگر روی cpu اجرا می‌کنید، خب به صورت طبیعی کند هستش :)

بعد از دریافتش اون رو استخراج کنید، بهتون دوتا پوشه blobs و manifests رو میده.

برای نصب این مدل‌ها باید به مسیر
~/.ollama
برید و این پوشه‌ها رو در پوشه models قرار بدید.

اگر پوشه models نبود دستی بسازیدش.

بعد از قرار دادنشون، یکبار دیگه با ollama serve اون رو اجرا کنید و بعدش در یک تب دیگه با ollama list ببینید که مدلتون هستش یا نه.
در نهایت هم اسم مدل رو از توی لیست برمیدارید و با ollama run اجراش می‌کنید.

محیط تحت وب

چون اولاما محیط گرافیکی پیشفرض نداره، شما باید یک سری برنامه جداگانه برای کار با اون نصب کنید، متأسفانه اکثر این برنامه‌ها یا در aur هستند یا flatpak که امکان دریافتشون نیست.

برای همین می‌تونید از openweb-ui بزرگوار استفاده کنید.

فرض می‌شود داکر و داکر کامپوز را از قبل نصب کرده باشید.

# docker-compose.yml
# Only the OpenWebUI frontend/back‑end
# Ollama must already be running on your host (e.g. http://localhost:11434)

version: "3.8"

services:
  openwebui:
    image: dyrnq/open-webui:latest
    network_mode: host
    container_name: openwebui
    restart: unless-stopped
    environment:
      # Point OpenWebUI to your local Ollama instance
      - OLLAMA_BASE_URL=http://127.0.0.1:11434   # macOS/Windows
        #      - CORS_ALLOW_ORIGIN=*
      - WEBUI_SECRET_KEY=<CHANGEME>
      # For Linux, replace the above with the actual IP of your host
      # e.g. - OLLAMA_BASE_URL=http://172.17.0.1:11434
      #
      # Optional: enable API‑key authentication
      # - AUTH_MODE=api_key
      # - API_KEY=supersecret
    volumes:
      # Persist user data and chat history across restarts
      - openwebui_data:/app/backend/data
        #ports:
        # - "127.0.0.1:8080:8080"   # Web UI port

volumes:
  openwebui_data:

• این برنامه بر روی پورت ۸۰۸۰ اجرا میشود.
• برای ساختن کلید از دستور زیر استفاده کنید:

openssl rand -base64 32

اجرای openweb-ui خیلی طول می‌کشه، می‌تونید یک ربع برید و بعداً برگردید.

اگر سوالی داشتید، با توجه به داخلی بودن ارائه دهنده ایمیل، بهم ایمیل بزنید:

behdanisohrab@chmail.ir

موفق باشید :)