本篇文章会通篇详细的讲清楚LangChain4j与DashScope集成的各个方面,从Springboot的集成到Ai对话、会话记忆、RAG、FunctionCalling、互联网搜索、结构化的输出、多模态等都给出相应的说明,希望通过这篇文章对于LLM不了解的同仁一样可以扩展出自己的AI应用。
DashScope(Qwen)
DashScope是阿里云开发的一个平台。
Qwen模型是由阿里云开发的一系列生成式AI模型。Qwen系列模型是专门为文本生成、摘要、问答和各种NPL任务而设计的。
简单SpringBoot集成
第一步:新增一个父Maven工程,目的是方便后面的依赖管理
父工程POM文件内容如下:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.xiaoxie</groupId>
<artifactId>LangChain4j</artifactId>
<packaging>pom</packaging>
<version>1.0.0</version>
<modules>
<module>chat</module>
</modules>
<properties>
<maven.compiler.source>17</maven.compiler.source>
<maven.compiler.target>17</maven.compiler.target>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<springboot.version>3.3.5</springboot.version>
<langchain4j_version>1.0.0-beta1</langchain4j_version>
</properties>
<dependencyManagement>
<dependencies>
<dependency>
<groupId>dev.langchain4j</groupId>
<artifactId>langchain4j</artifactId>
<version>${langchain4j_version}</version>
</dependency>
<dependency>
<groupId>dev.langchain4j</groupId>
<artifactId>langchain4j-community-bom</artifactId>
<version>${langchain4j_version}</version>
<type>pom</type>
<scope>import</scope>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-dependencies</artifactId>
<version>${springboot.version}</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
</project>
这里几个版本说明:
- langchain4j:1.0.0-beta1
- SpringBoot:3.3.5
第二步:新增一个chat的子Maven模块
子模块中基础的pom文件如下:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>com.xiaoxie</groupId>
<artifactId>LangChain4j</artifactId>
<version>1.0.0</version>
</parent>
<artifactId>chat</artifactId>
<properties>
<maven.compiler.source>17</maven.compiler.source>
<maven.compiler.target>17</maven.compiler.target>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencies>
<!-- springboot web -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!-- langchain4j集成dashcope starter -->
<dependency>
<groupId>dev.langchain4j</groupId>
<artifactId>langchain4j-community-dashscope-spring-boot-starter</artifactId>
</dependency>
<!-- lombok -->
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
</dependencies>
</project>
第三步:对于chat模块,修改项目的yml文件,添加关于dashcope的apikey及模型相关信息
langchain4j:
community:
dashscope:
chat-model:
apiKey: ${QWEN_API_KEY}
modelName: qwen-max-latest
注意:这里apikey我配置到了系统的环境变量当中
需要使用大家可以自行去阿里云dashcope去申请apikey,建议也配置到自己的环境变量中
第四步:我们chat模块新增一个Controller类进行聊天对话请求
@RestController
@RequestMapping("/chat")
public class ChatController {
@Resource
private ChatLanguageModel chatLanguageModel;
@GetMapping("/ai")
public String chat(@RequestParam("message") String message) {
return chatLanguageModel.chat(UserMessage.from(message)).aiMessage().text();
}
}
使用AiService
第一步:我们新增一个包service,在其中定义一个接口Assistant (这个名称是可以自定义的)
public interface Assistant {
String chat(String message);
}
我们要实例化出来这个Assistant的Bean出来,这里实际上使用提反射机制来完成的。
第二步:我们新增config包,其中定义一个配置类AssistantConfig,用来实例化Assistant这个Bean,由于我们在配置类中我们需要使用到AiService这个工具类,所以此时在我们的chat这个模块中添加一个依赖:
<dependency>
<groupId>dev.langchain4j</groupId>
<artifactId>langchain4j</artifactId>
</dependency>
配置类如下:
@Configuration
public class AssistantConfig {
@Resource
private ChatLanguageModel chatLanguageModel;
@Bean
public Assistant getAssistant() {
return AiServices.builder(Assistant.class)
.chatLanguageModel(chatLanguageModel)
.build();
}
}
第三步:新增一个Controller类,使用AiService接口的代理类来实现聊天对话
@RestController
@RequestMapping("/assistant")
public class AssistantController {
@Resource
private Assistant assistant;
@GetMapping("/chat")
public String chat(@RequestParam("message") String message) {
return assistant.chat(message);
}
}
调整AI对话中的场景角色
使用ChatLanguageModel
在Controller中我们在调用chat方法的时候可以传入多个Message,其中有一个SystemMessage就可以用来设置角色和场景相关的信息。而UserMessage是来自于用户传递过来的请求消息。
我们此时在配置文件中定义一个SystemMessage文本配置信息
ai:
systemMessage: 你的名字中天鉴,拥有强大的智慧
最终ChatController修改为如下:
@RestController
@RequestMapping("/chat")
public class ChatController {
@Resource
private ChatLanguageModel chatLanguageModel;
@Value("${ai.systemMessage}")
private String systemMessage;
@GetMapping("/ai")
public String chat(@RequestParam("message") String message) {
return chatLanguageModel.chat(List.of(SystemMessage.systemMessage(systemMessage),
UserMessage.from(message))).aiMessage().text();
// return chatLanguageModel.chat(UserMessage.from(message)).aiMessage().text();
}
}
使用AiService
在初始化AiService的Bean的时候,我们可以在创建Bean的类上加上一个注解@SystemMessage,给定其中的value值则可以完成指定。
@Bean
@SystemMessage("${ai.systemMessage}")
public Assistant getAssistant() {
return AiServices.builder(Assistant.class)
.chatLanguageModel(chatLanguageModel)
.build();
}
如果我们不使用@SystemMessage注解的话也可以在构造的链式调用时调用systemMessageProvider()来指定
@Value("${ai.systemMessage}")
private String systemMessage;
@Bean
public Assistant getAssistant() {
return AiServices.builder(Assistant.class)
.chatLanguageModel(chatLanguageModel)
.systemMessageProvider(request -> systemMessage)
.build();
}
会话记忆
我们一般来说实现会话记忆的方式如下:
实际上我们调用原生API的时候,我们要实现的话要把所有会话历史内容发送给LLM
我们再新增一个Maven模块:memory
基础的pom.xml如下:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>com.xiaoxie</groupId>
<artifactId>LangChain4j</artifactId>
<version>1.0.0</version>
</parent>
<artifactId>memory</artifactId>
<properties>
<maven.compiler.source>17</maven.compiler.source>
<maven.compiler.target>17</maven.compiler.target>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencies>
<dependency>
<groupId>dev.langchain4j</groupId>
<artifactId>langchain4j</artifactId>
</dependency>
<!-- springboot web -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!-- langchain4j集成dashcope starter -->
<dependency>
<groupId>dev.langchain4j</groupId>
<artifactId>langchain4j-community-dashscope-spring-boot-starter</artifactId>
</dependency>
<!-- lombok -->
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
</dependencies>
</project>
主配置文件如下:
langchain4j:
community:
dashscope:
chat-model:
apiKey: ${QWEN_API_KEY}
modelName: qwen-max-latest
我们要创建一个配置类来配置ChatMemory这个Bean
@Configuration
p