Ollama + Open-WebUI

  • 安裝環境 VM 規格 :
    • vCPU : 8 ([host] i7-11700 支援 avx2)
    • RAM : 8G
    • SSD : 64G
  • OS : Ubuntu 20.04
  • 編輯 docker-compose.yml
    services:
      ollama:
        image: ollama/ollama:latest
        ports:
          - 11434:11434
        volumes:
          - .:/code
          - ./ollama/ollama:/root/.ollama
        container_name: ollama
        pull_policy: always
        tty: true
        restart: always
        networks:
          - ollama-docker
    
      ollama-webui:
        image: ghcr.io/open-webui/open-webui:main
        container_name: ollama-webui
        volumes:
          - ./ollama/ollama-webui:/app/backend/data
        depends_on:
          - ollama
        ports:
          - 8080:8080
        environment:
          - '/ollama/api=http://ollama:11434/api'
        extra_hosts:
          - host.docker.internal:host-gateway
        restart: unless-stopped
        networks:
          - ollama-docker
    
    networks:
      ollama-docker:
        external: false
  • 啟動 docker compose

    docker compose up -d

  • Open-WebUI 網址 - http://Server-IP:8080
  • Ollama API 網址 - http://Server-IP:11434
  • 安裝程序

    curl -fsSL https://ollama.com/install.sh | sh

    • 看安裝紀錄
  • 下載模型 Exp. llama3

    ollama pull llama3

    • 看執行紀錄
  • 開始測試

    ollama run llama3

    • 看執行紀錄
  • tech/ollama.txt
  • 上一次變更: 2024/05/22 09:02
  • jonathan