【Ollama】一、介绍

介绍

Ollama 是一个开源项目,专注于提供本地化的大型语言模型(LLM)部署和运行解决方案。它允许用户在本地环境中轻松运行和微调各种开源语言模型(如 LLaMA、Falcon 等),而无需依赖云服务或高性能 GPU。Ollama 的目标是让开发者、研究人员和爱好者能够更高效地利用 LLM 进行实验和应用开发。

Ollama 支持多种操作系统,包括 macOS、Windows、Linux 以及通过 Docker 容器运行。

相关链接

Ollama 官方地址:Ollama

Github 开源地址:GitHub - ollama/ollama: Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2, and other large language models.

Ollama 官方文档:ollama/docs at main · ollama/ollama · GitHub

特点

  • 本地化运行

    •  支持在本地计算机上运行大型语言模型,无需依赖云服务,保护数据隐私。
  • 开源模型支持

    • 支持多种开源语言模型,如 LLaMA、Falcon、GPT-J 等,用户可以根据需求选择模型。
  • 轻量化部署

    • 提供简单的命令行工具,用户可以快速下载、安装和运行模型。
  • 跨平台支持

    • 支持 macOS、Linux 和 Windows 系统,方便用户在不同环境中使用。
  • 模型微调

    • 支持对模型进行微调,以适应特定任务或数据集。
  • 开发者友好

    • 提供 API 接口,方便开发者将模型集成到自己的应用中。



### Ollama API 介绍 Ollama 提供了套 RESTful 风格的 API 来访问其强大的大模型功能,使得开发者能够轻松集成这些能力到自己的应用程序中[^1]。 #### 获取 Token 为了安全起见,在调用任何其他 API 路由之前,客户端需要先获取个 token。这可以通过向 `/token` 发送 POST 请求来完成: ```bash curl -X 'POST' \ 'http://localhost:11434/token' \ -H 'accept: application/json' ``` 服务器会返回个 JSON 对象,其中包含了用于后续请求的身份验证令牌。 #### 创建对话 创建个新的对话可以使用 `POST /chat/{model}` 方法。这里的 `{model}` 参数指定了要使用的具体模型名称。例如,如果想要启动个名为 "alpaca" 的模型,则 URL 应该是 `/chat/alpaca`: ```bash curl -X 'POST' \ 'http://localhost:11434/chat/alpaca' \ -H 'Content-Type: application/json' \ -d '{"messages": [{"role": "user", "content": "你好"}]}' ``` 此命令发送了个包含消息列表的消息体给指定的大模型实例,并接收来自该模型的回答作为响应数据的部分。 #### 查询现有对话历史记录 对于已经存在的对话,可以通过 GET 请求查询它们的历史记录。只需提供相应的 ID 即可获得完整的聊天日志: ```bash curl -X 'GET' \ 'http://localhost:11434/chats/<id>' \ -H 'accept: application/json' ``` 请注意 `<id>` 是占位符,实际应用时应替换为具体的对话标识符。 #### 删除对话 当不再需要某个特定的对话时,可以选择将其删除以释放资源。通过 DELETE 请求并附带目标对话的唯标识即可执行这操作: ```bash curl -X 'DELETE' \ 'http://localhost:11434/chats/<id>' ``` 同样地,这里也需要将 `<id>` 替换成真实的对话编号。 --- 除了上述基本的操作之外,Ollama 还提供了更多高级特性和服务端设置选项,比如 CORS 支持等,详情参阅官方文档了解更多配置细节[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值