Optimum Transformers 项目教程

Optimum Transformers 项目教程

optimum-transformersAccelerated NLP pipelines for fast inference on CPU and GPU. Built with Transformers, Optimum and ONNX Runtime.项目地址:https://gitcode.com/gh_mirrors/op/optimum-transformers

项目介绍

Optimum Transformers 是一个扩展自 Transformers 库的项目，旨在提供一系列性能优化工具，以便在特定硬件上高效地训练和运行模型。该项目支持多种硬件平台，包括 NVIDIA、AMD、Intel、AWS 等，并提供了量化、加速训练等功能，以最大化模型在目标硬件上的效率。

项目快速启动

安装

首先，克隆项目仓库并安装必要的依赖：

git clone https://github.com/AlekseyKorshuk/optimum-transformers.git
cd optimum-transformers
pip install -r requirements.txt

示例代码

以下是一个简单的示例，展示如何使用 Optimum Transformers 进行模型量化：

from optimum.intel import OVModelForSequenceClassification
from transformers import AutoTokenizer

# 加载预训练模型和分词器
model_id = "distilbert-base-uncased-finetuned-sst-2-english"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = OVModelForSequenceClassification.from_pretrained(model_id, export=True)

# 量化模型
model.quantize(weight_format="int8")

# 运行推理
inputs = tokenizer("Hello, world!", return_tensors="pt")
outputs = model(**inputs)
print(outputs)

应用案例和最佳实践

量化

量化是减少模型大小和提高推理速度的有效方法。Optimum Transformers 支持对权重和激活进行量化，具体方法如下：

model.quantize(weight_format="int8")

加速训练

Optimum Transformers 提供了对多种硬件的训练加速支持，例如 Habana 的 Gaudi 处理器和 AWS Trainium 实例。以下是一个使用 Gaudi 处理器的训练示例：

from optimum.habana import GaudiTrainer, GaudiTrainingArguments
from transformers import AutoModelForSequenceClassification

# 加载预训练模型
model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased")

# 定义训练参数
training_args = GaudiTrainingArguments(
    output_dir="./results",
    per_device_train_batch_size=8,
    num_train_epochs=3,
    logging_dir="./logs",
)

# 创建训练器
trainer = GaudiTrainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
)

# 开始训练
trainer.train()

典型生态项目

ONNX Runtime

ONNX Runtime 是一个高性能的推理引擎，Optimum Transformers 提供了对其的支持，可以通过以下命令安装相关依赖：

pip install optimum[onnxruntime]

OpenVINO

OpenVINO 是 Intel 提供的一个优化工具包，用于加速模型在 Intel 硬件上的推理。Optimum Transformers 支持将模型导出为 OpenVINO 格式，并进行量化：

pip install optimum[openvino]

NVIDIA TensorRT-LLM

NVIDIA TensorRT-LLM 是一个针对 NVIDIA 平台的优化工具，Optimum Transformers 提供了对其的支持，可以通过以下命令安装相关依赖：

docker run -it --gpus all --ipc host huggingface/optimum-nvidia

通过这些生态项目，Optimum Transformers 能够在多种硬件平台上实现高效的模型训练和推理。

optimum-transformersAccelerated NLP pipelines for fast inference on CPU and GPU. Built with Transformers, Optimum and ONNX Runtime.项目地址:https://gitcode.com/gh_mirrors/op/optimum-transformers