LettuceDetect项目安装与配置指南

LettuceDetect项目安装与配置指南

LettuceDetect LettuceDetect is a hallucination detection framework for RAG applications. 项目地址: https://gitcode.com/gh_mirrors/le/LettuceDetect

1. 项目基础介绍

LettuceDetect是一个用于检测 Retrieval-Augmented Generation (RAG) 系统中虚构内容（hallucinations）的开源工具。它可以识别出答案中未被提供上下文支持的部分。该工具在RAGTruth数据集上进行训练和评估，并使用ModernBERT进行长上下文处理，适合需要广泛上下文窗口的任务。

主要编程语言：Python

2. 项目使用的关键技术和框架

• ModernBERT: 用于长上下文处理的预训练语言模型。
• Token-level Classification: 对答案中的每个标记进行分类，以确定其是否为虚构内容。
• Huggingface Transformers: 用于加载预训练模型并进行推理的库。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统已安装以下依赖：

• Python 3.6及以上版本
• pip（Python的包管理工具）
• Git（用于克隆项目仓库）

详细安装步骤

步骤1：克隆项目仓库

打开命令行（终端），使用以下命令克隆项目仓库：

git clone https://github.com/KRLabsOrg/LettuceDetect.git

步骤2：安装项目依赖

进入项目目录：

cd LettuceDetect

安装项目所需的依赖：

pip install -r requirements.txt

步骤3：安装LettuceDetect

从仓库安装LettuceDetect：

pip install -e .

或者，如果您更喜欢从pip安装：

pip install lettucedetect

步骤4：安装可选的API依赖（可选）

如果您计划使用LettuceDetect的Web API，请安装可选的API依赖：

pip install -e .[api]

或者：

pip install lettucedetect[api]

步骤5：启动API服务器（可选）

如果需要启动API服务器，运行以下脚本：

python scripts/start_api.py dev

如果要部署到生产环境，请使用：

python scripts/start_api.py prod

步骤6：运行示例代码

运行以下Python代码，以测试LettuceDetect是否已正确安装：

from lettucedetect.models.inference import HallucinationDetector

# 初始化检测器
detector = HallucinationDetector(
    method="transformer",
    model_path="KRLabsOrg/lettucedect-base-modernbert-en-v1"
)

# 定义上下文、问题和答案
contexts = [
    "France is a country in Europe. The capital of France is Paris. The population of France is 67 million."
]
question = "What is the capital? What is the population?"
answer = "The capital of France is Paris. The population is 69 million."

# 获取预测结果
predictions = detector.predict(
    context=contexts,
    question=question,
    answer=answer,
    output_format="spans"
)

# 打印预测结果
print(predictions)

以上步骤完成后，您就可以开始使用LettuceDetect项目进行虚构内容的检测了。

LettuceDetect LettuceDetect is a hallucination detection framework for RAG applications. 项目地址: https://gitcode.com/gh_mirrors/le/LettuceDetect