在本地运行 LLMs 的 6 种方法

商业人工智能和大型语言模型 (LLM) 有一个很大的缺点：隐私。在处理敏感数据或专有数据时，我们无法从这些工具中获益。因此，我们需要了解如何在本地运行私人 LLM。开源模型提供了一种解决方案，但它们也有自己的挑战和优势。

设定期望值

开源软件种类繁多，有数以千计的模型可供选择，从 Meta 等大型组织提供的模型到个人爱好者开发的模型，各有不同。然而，运行这些模型也面临着一系列挑战：

• 它们可能需要强大的硬件，须拥有足够的内存和一个 GPU
• 尽管开源模型在不断改进，但它们的功能通常仍无法与 ChatGPT 等更完善的产品相提并论，因为 ChatGPT 得益于庞大的工程师团队的支持。
• 并非所有模型都能用于商业用途。

不过，正如同谷歌的一份文件所指出的，开源和闭源模型之间的差距正在缩小。

Hugging Face 和 Transformers

Hugging Face 相当于机器学习和人工智能的 Docker Hub，提供了大量开源模型。并且，Hugging Face 会定期对模型进行基准测试，并提供排行榜，帮助用户选择最佳模型。

Hugging Face 还提供了一个 Python 库 transformers，可以简化本地运行一个 LLM 的过程。下面的示例使用该库运行了一个较旧的 GPT-2 microsoft/DialoGPT-med