什么是HuggingFace?
Huggingface汇聚了众多最前沿的模型和数据集等有趣的成果,与强大的 transformers 库深度结合,也因transformers模型而闻名,为开发者提供了一个极为便捷的平台,使得大家能够快速上手学习和使用这些模型。可以毫不夸张地说,如今在提及 NLP 时,Huggingface 已然是无法绕过的存在,它就如同算法模型领域的 GitHub,极大地推动了 AI 技术的共享与发展。
其官网链接为:https://huggingface.co/ 。
同时国内也有一款类似的优秀产品——GiteeAI。GiteeAI 同样致力于为国内的 AI 开发者提供丰富的算法模型资源,涵盖了与 Huggingface 类似的多个领域,包括计算机视觉、自然语言处理、语音处理等。它为国内的 AI 社区搭建了一个便捷的资源共享和交流平台,促进了国内 AI 技术的发展。
Huggingface 涵盖丰富多样的领域
Huggingface 涵盖了丰富多样的领域,包括 Computer Vision(计算机视觉)、Natural Language Processing(自然语言处理)、Audio(语音处理)、Multimodal(多模态)、Tabular(表格处理)以及 Reinforcement Learning(强化学习)。这些领域的覆盖,使得不同方向的 AI 开发者都能在 Huggingface 找到所需的资源。
Huggingface主要包括以下几部分
1)Models(模型),Huggingface 上拥有各种处理NLP等任务的算法模型,这些模型都可以免费获取。这为广大研究者和开发者提供了宝贵的资源,无论是初学者想要尝试不同的模型架构,还是资深专家进行创新性的研究,都能在这里找到合适的模型起点。
2)Datasets(数据集),丰富的数据集是训练和评估模型的关键。Huggingface 提供了大量不同类型的数据集,涵盖了多种领域和任务。这些数据集为模型的训练和优化提供了坚实的基础,帮助开发者更好地适应不同的应用场景。开发者也可以你自己上传数据集到该平台,供大家研究学习使用。
3)Spaces(分享空间),Spaces 就像是 Huggingface 的 “朋友圈”,在社区空间下展示着最新的一些有意思的分享。在这里,开发者们可以分享自己的项目经验、创新应用,或者是对模型的独特见解。
4)Docs(文档):全面的文档是学习和使用模型算法的重要指引。Huggingface 的 Docs 包含了各种模型算法等说明使用文档,无论是对模型原理的深入解释,还是实际使用中的参数设置和代码示例
5)Solutions(解决方案,体验等),Solutions 部分为用户提供了各种实际应用场景下的解决方案以及体验。这不仅有助于开发者将模型应用到实际项目中,还能让他们从他人的经验中学习,更好地理解模型在不同场景下的表现和优化方向。
如何使用Huggingface?
1)可以在这儿测试模型的效果、查看模型的效果说明
2)代码调用giteeAi大模型
需要安装huggingface_hub
pip install -U huggingface_hub
安装transformers库
pip install transformers
使用以下命令安装Transformers 和 PyTorch:
pip install 'transformers[torch]'
Transformers 和 TensorFlow 2.0:
pip install 'transformers[tf-cpu]'
在ai.gitee运行一个大模型demo
首先安装python的openai库
pip3 install openai
完成调用大模型的Python脚本
from openai import OpenAI
import json
base_url = "https://ai.gitee.com/v1"
model_name = "Qwen2.5-72B-Instruct"
# 模力方舟(Gitee AI) 获取你的 api_key
client = OpenAI(base_url=base_url, api_key="token")
completion = client.chat.completions.create(
model=model_name,
stream=True,
temperature=0.7,
top_p=0.95,
frequency_penalty=1.05,
messages=[
{"role": "system", "content": "你是二次元女生,叫萌萌,喜欢使用颜文字,请用二次元可爱语气和我说话,多使用表情"},
{"role": "user", "content": "我今天不太开心,怎么办?"}
]
)
for chunk in completion:
print(chunk.choices[0].delta.content, end="")
copy token
ok,执行可以了