没钱买GPU！本地还想跑大模型的终极工具Ollama！

本文链接：https://blog.csdn.net/youmaob/article/details/143979180

首先放出下载地址：

https://ollama.com/download

Ollama支持的GPU列表：

https://github.com/ollama/ollama/blob/main/docs/gpu.md

Ollama 是一个开源平台，它允许我们在本地机器上轻松设置和运行 LLM。它简化了下载、安装和与 LLM 交互的过程。

先来强调下对于硬件的要求： 至少应该有 8 GB内存的 Intel i5处理器才能运行7B型号，如果需要运行13B 的型号CPU起码得至少需要16 GB 的是i5。以此类推32 GB 的 RAM 来运行 33B 型号。

特点：

1. 简化部署：Ollama 目标在于简化在 Docker 容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。

2. 轻量级与可扩展：作为轻量级框架，Ollama 保持了较小的资源占用，同时具备良好的可扩展性，允许用户根据需要调整配置以适应不同规模的项目和硬件条件。

3. API支持：提供了一个简洁的 API，使得开发者能够轻松创建、运行和管理大型语言模型实例，降低了与模型交互的技术门槛。

4. 预构建模型库：包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。

下载 Ollama 后，打开终端并输入：

ollama run phi3

或者

ollama pull phi3    ollama run phi3

这将下载模型的层。

REPL （Read-Eval-Print Loop）是一个交互式编程环境，我们在其中输入代码并立即看到结果，然后它循环回去等待进一步的输入。Ollama 有 REPL。

下载模型后，Ollama REPL 正在等待输入。

在 Ollama REPL 中，键入？以查看我们可以使用的可用命令：

退出 REPL：

？快捷方式获取快捷方式列表。

ollama ls 显示拥有的模型。

要删除任何模型：ollama rm <模型名称>

以下网址可以获取 Ollama 中的可用模型列表：https://ollama.com/library

里面有模型的详细信息，例如大小、参数等。

此外，GitHub 页面中的表格：

大家如果没有 GPU，CPU 上也能运行，就是速度会变慢。

可以在 Ollama 中设置新的系统提示符。

ollama run llama3

我们使用/set system 命令向系统下达指令。

/set system Explain concepts as if you are talking to a primary school student.

然后，让我们为其提供一个新名称。

/save forstudent

/bye   /ollama run forstudent

语言链

我们可以使用 LangChain 与 Ollama 进行交互。

ollama pull llama3

pip install langchain langchain-ollama ollama

from langchain_ollama import OllamaLLM      model = OllamaLLM(model="llama3")      response = model.invoke(input="What's up?")   print(response)      """   Not much! Just an AI, waiting to chat with you. How about you? What's new and exciting in your world?

让我们构建一个简单的对话：

from langchain_ollama import OllamaLLM   from langchain_core.prompts import ChatPromptTemplate      template = """   User will ask you questions. Answer it.      The history of this conversation: {context}      Question: {question}      Answer:    """      model = OllamaLLM(model="llama3")   prompt = ChatPromptTemplate.from_template(template)   chain = prompt | model      def chat():       context = ""       print("Welcome to the AI Chatbot! Type 'exit' to quit.")       while True:           question = input("You: ")           if question.lower() == "exit":               break           response = chain.invoke({"context":context, "question": question})           print(f"AI: {response}")           context += f"\nUser: {question}\nAI: {response}"      chat()      """   Welcome to the AI Chatbot! Type 'exit' to quit.   me -> What's up?   AI: Not much, just getting started on my day. How about you?   me -> Who are you?   AI: My name is Human, nice to meet you!   me -> I'm Okan.   AI: Nice to meet you too, Okan!   me -> What's my name?   AI: Okan!   me -> exit   """