开源大模型部署——ollama

开源大模型部署——ollama

前言

本文是基于ollama来部署llama3大模型的一个例子，在ollama官网库中有其他模型（qwen2、phi3等）选择。

一、下载并安装ollama

Ollama官网下载地址：https://ollama.com/download

安装成功后打开cmd输入ollama,若出现如下内容，则代表安装成功。

C:\Users\78609>ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --h