菜鸟教程：从0开始离线部署私有大模型

大模型的使用必将包含以下三个阶段：

\1. 直接使用，用于提效

\2. 使用 API 定制应用程序

\3. 离线部署+微调，实现私有数据模型化

第一个阶段已经完成，作为技术者应该关注第二、三阶段。今天我们教大家从0开始离线部署私有大模型，过程十分详细，再菜的鸟都能学的会，记不住的点赞收藏，上机实操下。

1. 环境安装和配置

我们以清华大学开源的 ChatGLM-6B 语言模型为例。ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署。

实验使用的环境如下：

Windows11

13700KF

32G内存

RTX 3090 24G显存

ChatGLM-6B 可在最小 6GB 显存运行。如果没有合适的显卡或者想体验完整版，可以购买云服务商的 A100 GPU 服务器试用。以阿里云为例，最便宜的每小时 38 元左右。

2. 安装 Python

Python 官网下载并安装 Python，记得选上“Add python.exe to PATH”。

3. 安装 CUDA

由于 PyTorch 最新只能支持 11.8 的显卡驱动，不能安装最新版 CUDA。

在 Nvidia 官网 下载 11.8 的 CUDA T