Spring AI 整合聊天模型之智谱AI

Spring AI 支持智谱 AI(ZhiPu AI)的各种人工智能语言模型。可以与智谱 AI 的语言模型进行交互,并基于智谱 AI 的模型创建一个多语言会话助手。

前置作业

在智谱的官方站点: https://open.bigmodel.cn/ 注册并获取一个API Key。

Spring AI 项目定义了一个名为 spring.ai.zhipuai.api-key 的配置属性,将其设置为从 API 密钥页面获取的 API 密钥的值。

可以在 application.properties 文件中设置这个配置属性:

spring.ai.zhipuai.api-key=<your-zhipuai-api-key>

在处理像 API 密钥这样的敏感信息时,为了增强安全性,可以使用 Spring 表达式语言(SpEL)来引用自定义的环境变量:

# In application.yml
spring:
  ai:
    zhipuai:
      api-key: ${ZHIPUAI_API_KEY}

这个变量可以同环境变量设置,比如Linux 设置:

# In your environment or .env file
export ZHIPUAI_API_KEY=<your-zhipuai-api-key>

也可以在应用程序代码中以编程方式设置此配置:

// Retrieve API key from a secure source or environment variable
String apiKey = System.getenv("ZHIPUAI_API_KEY");

自动配置

Spring AI 为智谱 AI(ZhiPuAI)聊天客户端提供了 Spring Boot 自动配置功能。要启用此功能,将以下依赖项添加到项目的 Maven pom.xml 文件中:

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-zhipuai</artifactId>
</dependency>

聊天属性(Chat Properties)

重试属性(Retry Properties)

前缀 spring.ai.retry 用作属性前缀,用于为智谱 AI(ZhiPu AI)聊天模型配置重试机制。

属性描述默认值
spring.ai.retry.max-attempts最大重试次数10
spring.ai.retry.backoff.initial-interval指数退避策略的初始休眠时长2秒
spring.ai.retry.backoff.multiplier退避间隔倍增系数5
spring.ai.retry.backoff.max-interval最大退避时长3分钟
spring.ai.retry.on-client-errors若为false,遇到4xx客户端错误码时抛出NonTransientAiException且不重试false
spring.ai.retry.exclude-on-http-codes不应触发重试的HTTP状态码列表(将抛出NonTransientAiException)
spring.ai.retry.on-http-codes应触发重试的HTTP状态码列表(将抛出TransientAiException)
连接属性(Connection Properties)

前缀 spring.ai.zhiPu 用作属性前缀,可用于连接到智谱 AI(ZhiPuAI)

属性描述默认值
spring.ai.zhipuai.base-url连接的目标URLopen.bigmodel.cn/api/paas
spring.ai.zhipuai.api-keyAPI密钥
配置属性(Configuration Properties)

聊天自动配置的启用和禁用现在可通过带有前缀 spring.ai.model.chat 的顶级属性进行配置。

若要启用,设置 spring.ai.model.chat=zhipuai(默认情况下已启用)

若要禁用,设置 spring.ai.model.chat=none(或设置为任何不匹配 zhipuai 的值)

前缀 spring.ai.zhipuai.chat 是用于配置智谱 AI(ZhiPuAI)聊天模型实现的属性前缀。

属性说明默认值
spring.ai.zhipuai.chat.enabled (已移除且不再有效)启用智谱AI聊天模型true
spring.ai.model.chat启用智谱AI聊天模型zhipuai
spring.ai.zhipuai.chat.base-url可选配置,覆盖spring.ai.zhipuai.base-url以提供聊天专用URLopen.bigmodel.cn/api/paas
spring.ai.zhipuai.chat.api-key可选配置,覆盖spring.ai.zhipuai.api-key以提供聊天专用API密钥-
spring.ai.zhipuai.chat.options.model指定使用的智谱AI聊天模型GLM-3-Turbo(GLM-3-Turbo、GLM-4、GLM-4-Air、GLM-4-AirX、GLM-4-Flash和GLM-4V均指向最新模型版本)
spring.ai.zhipuai.chat.options.maxTokens聊天补全生成的最大token数。输入token和生成token的总长度受模型上下文长度限制-
spring.ai.zhipuai.chat.options.temperature采样温度,取值0到1。较高值(如0.8)使输出更随机,较低值(如0.2)使输出更集中和确定。通常建议调整此参数或top_p,但不要同时调整0.7
spring.ai.zhipuai.chat.options.topP温度采样的替代方案——核采样,模型仅考虑概率质量前top_p的token。例如0.1表示仅考虑前10%概率质量的token。通常建议调整此参数或temperature,但不要同时调整1.0
spring.ai.zhipuai.chat.options.stop模型将停止生成指定的停止字符,当前仅支持单个停止词,格式为[“stop_word1”]-
spring.ai.zhipuai.chat.options.user终端用户的唯一标识符,可帮助智谱AI监控和检测滥用行为-
spring.ai.zhipuai.chat.options.requestId客户端传递的参数,必须确保唯一性,用于区分每个请求的唯一标识符。若客户端未提供,平台将默认生成-
spring.ai.zhipuai.chat.options.doSample当设为true时启用采样策略。若为false,则采样策略参数temperature和top_p不生效true
spring.ai.zhipuai.chat.options.proxy-tool-calls若为true,Spring AI将不会内部处理函数调用,而是代理给客户端。客户端需负责处理函数调用、分派到适当函数并返回结果。若为false(默认),Spring AI将内部处理函数调用。仅适用于支持函数调用的聊天模型false

可以为 ChatModel 实现覆盖通用的 spring.ai.zhipuai.base-urlspring.ai.zhipuai.api-key。如果设置了 spring.ai.zhipuai.chat.base-urlspring.ai.zhipuai.chat.api-key 属性,它们将优先于通用属性。当希望为不同的模型使用不同的智谱 AI(ZhiPuAI)账户以及不同的模型端点时,这一功能非常有用。

所有以 spring.ai.zhipuai.chat.options` 为前缀的属性,都可以在运行时通过向提示调用(Prompt call)中添加特定于请求的运行时选项(Runtime Options)来进行覆盖。

运行时选项(Runtime Options)

ZhiPuAiChatOptions.java 类提供了模型配置,例如要使用的模型、温度(temperature)、频率惩罚(frequency penalty)等。

在启动时,可以使用 ZhiPuAiChatModel(api, options) 构造函数或 spring.ai.zhipuai.chat.options.*` 属性来配置默认选项。

在运行时,您可以通过向提示调用(Prompt call)中添加新的、特定于请求的选项来覆盖默认选项。例如,要为特定请求覆盖默认模型和温度,可以这样做:

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        ZhiPuAiChatOptions.builder()
            .model(ZhiPuAiApi.ChatModel.GLM_3_Turbo.getValue())
            .temperature(0.5)
        .build()
    ));

除了针对特定模型的 ZhiPuAiChatOptions 之外,还可以使用一个可移植的 ChatOptions 实例,该实例可以通过 ChatOptionsBuilder#builder() 方法来创建。

控制器的示例(Sample Controller)

创建一个新的 Spring Boot 项目,并将 spring-ai-starter-model-zhipuai 添加到的 pom(或 gradle)依赖项中。

在 src/main/resources 目录下添加一个 application.properties` 文件,以启用并配置智谱 AI(ZhiPuAi)聊天模型:

spring.ai.zhipuai.api-key=YOUR_API_KEY
spring.ai.zhipuai.chat.options.model=glm-4-air
spring.ai.zhipuai.chat.options.temperature=0.7

这将创建一个 ZhiPuAiChatModel 实现,可以将其注入到类中。以下是一个简单的 @Controller 类示例,该类使用聊天模型进行文本生成。

@RestController
public class ChatController {

    private final ZhiPuAiChatModel chatModel;

    @Autowired
    public ChatController(ZhiPuAiChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", this.chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        var prompt = new Prompt(new UserMessage(message));
        return this.chatModel.stream(prompt);
    }
}

手动配置(Manual Configuration)

ZhiPuAiChatModel 实现了 ChatModel 和 StreamingChatModel 接口,并使用低级别的 `ZhiPuAiApi 客户端来连接到智谱 AI(ZhiPuAI)服务。

将 spring-ai-zhipuai 依赖项添加到项目的 Maven pom.xml` 文件中:

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-zhipuai</artifactId>
</dependency>

接下来,创建一个 ZhiPuAiChatModel` 实例,并使用它进行文本生成:

var zhiPuAiApi = new ZhiPuAiApi(System.getenv("ZHIPU_AI_API_KEY"));

var chatModel = new ZhiPuAiChatModel(this.zhiPuAiApi, ZhiPuAiChatOptions.builder()
                .model(ZhiPuAiApi.ChatModel.GLM_3_Turbo.getValue())
                .temperature(0.4)
                .maxTokens(200)
                .build());

ChatResponse response = this.chatModel.call(
    new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses
Flux<ChatResponse> streamResponse = this.chatModel.stream(
    new Prompt("Generate the names of 5 famous pirates."));

ZhiPuAiChatOptions 为聊天请求提供了配置信息。ZhiPuAiChatOptions.Builder 是一个流畅的选项构建器(fluent options builder)。

低层级智谱 AI(ZhiPuAi)API 客户端

ZhiPuAiApi` 提供了一个轻量级的 Java 客户端,用于访问智谱 AI 的 API。

以下是一个简单的代码片段,展示了如何以编程方式使用该 API:

ZhiPuAiApi zhiPuAiApi =
    new ZhiPuAiApi(System.getenv("ZHIPU_AI_API_KEY"));

ChatCompletionMessage chatCompletionMessage =
    new ChatCompletionMessage("Hello world", Role.USER);

// Sync request
ResponseEntity<ChatCompletion> response = this.zhiPuAiApi.chatCompletionEntity(
    new ChatCompletionRequest(List.of(this.chatCompletionMessage), ZhiPuAiApi.ChatModel.GLM_3_Turbo.getValue(), 0.7, false));

// Streaming request
Flux<ChatCompletionChunk> streamResponse = this.zhiPuAiApi.chatCompletionStream(
        new ChatCompletionRequest(List.of(this.chatCompletionMessage), ZhiPuAiApi.ChatModel.GLM_3_Turbo.getValue(), 0.7, true));

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oscar999

送以玫瑰,手留余香

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值