使用docker+Ollama部署模型

docker安装Ollama

拉取镜像

docker pull ollama/ollama

运行环境

docker run -d -v D:\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Ollama的模型库 https://ollama.com/library
qwen2.5:0.5b地址https://ollama.com/library/qwen2.5:0.5b

进入docker中的Ollama运行模型，如果没有该模型会自动下载

运行模型

 docker exec -it ollama ollama run qwen2.5:0.5b