Refusal in Language Models Is Mediated by a Single Direction 使用教程

Refusal in Language Models Is Mediated by a Single Direction 使用教程

refusal_direction Code and results accompanying the paper "Refusal in Language Models Is Mediated by a Single Direction". 项目地址: https://gitcode.com/gh_mirrors/re/refusal_direction

1. 项目介绍

本项目是 accompanying the paper "Refusal in Language Models Is Mediated by a Single Direction" 的开源代码库。该论文研究了大模型在处理拒绝指令时的行为特征，并提供了一种通过单一方向向量来介导拒绝的方法。此代码库包含了论文复现所需的全部代码和结果，旨在促进科学研究的可复现性。

2. 项目快速启动

环境搭建

首先，需要克隆项目到本地环境：

git clone https://github.com/andyrdt/refusal_direction.git
cd refusal_direction

接着，运行以下命令来设置虚拟环境并安装所需的包：

source setup.sh

在执行上述脚本时，会提示输入 HuggingFace 和 Together AI 的 token。这些 token 是访问相关模型和 API 所必需的。

运行代码

在完成环境搭建后，可以使用以下命令运行代码，复现论文中的主要结果：

python3 -m pipeline.run_pipeline --model_path {model_path}

其中 {model_path} 是指向 HuggingFace 模型的路径。例如，对于 Llama-3 8B Instruct 模型，路径应该是 meta-llama/Meta-Llama-3-8B-Instruct。

3. 应用案例和最佳实践

• 案例一：通过本项目提供的代码，可以分析不同模型在处理拒绝指令时的效果，进而优化模型的拒绝策略。
• 最佳实践：在部署模型前，使用本项目的方法对模型进行拒绝指令的测试，确保模型能在适当的情况下有效地拒绝不恰当的指令。

4. 典型生态项目

目前，本项目是独立的研究成果，尚未成为大型生态项目的一部分。但其研究成果可以被集成到更广泛的模型评估和优化工具中，为研究社区提供更多价值。

refusal_direction Code and results accompanying the paper "Refusal in Language Models Is Mediated by a Single Direction". 项目地址: https://gitcode.com/gh_mirrors/re/refusal_direction