一.知识回顾
【0.三高商城系统的专题专栏都帮你整理好了,请点击这里!】
【1-系统架构演进过程】
【2-微服务系统架构需求】
【3-高性能、高并发、高可用的三高商城系统项目介绍】
【4-Linux云服务器上安装Docker】
【5-Docker安装部署MySQL和Redis服务】
【6-Git安装与配置过程、Gitee码云上创建项目、IDEA关联克隆的项目】
【7-创建商城系统的子模块并将修改后的信息使用Git提交到Gitee上】
【8-数据库表结构的创建&后台管理系统的搭建】
【9-前端项目的搭建部署、Node安装、VSCode安装】
【10-Node的安装以及全局环境变量的相关配置&解决启动报错的问题(1.Error: Cannot find module ‘fs/promises)(2.npm安装node-sass报错)】
【11-导入人人generator项目并自动生成相关的文件&商品子模块的调试&公共模块common子模块的抽离与实现&Lombok插件的安装】
【12-商品子模块整合MyBatisPlus技术&其它模块通过generator的自动生成与补充完善】
【13-项目中微服务组件的学习-SpringCloudAlibaba微服务生态体系的学习&SpringCloudAlibaba的依赖管理&项目中SpringBoot和SpringCloud版本的统一】
【14-微服务的注册中心与配置中心Nacos&Windows操作系统上安装Nacos和Linux操作系统上用Docker中安装Nacos&每个子项目模块使用Nacos进行服务注册与发现】
【15-项目中服务的远程调用之OpenFeign&订单模块与商品模块集成使用OpenFeign的案例】
【16-配置中心之Nacos的基本使用&Nacos服务之命令空间、Nacos服务之配置组、Nacos服务之配置拆分】
【17-微服务网关之Spring Cloud Gateway&Spring Cloud Gateway网关服务搭建】
【18-业务开发-基础业务-商品模块-分类管理-前后端管理系统的启动-为分类管理表增加数据-Json插件的下载-返回具有层级目录、父子关系结构的数据】
【19-业务开发-基础业务-商品模块-分类管理-管理系统新建菜单-后端项目renren注册到Nacos注册中心和配置中心去-项目gateway网关模块的搭建-浏览器的同源策略与解决跨域问题实操案例】
【20-业务开发-基础业务-商品模块-分类管理-前端展示后端具有层级关系的目录数据-商品系统三级分类的逻辑删除前后端代码实现】
【21-业务开发-基础业务-商品模块-分类管理-商品系统三级分类的新增类别前后端代码实现-商品系统三级分类的更新类别前后端代码实现-之前错误的Bug修正】
【22-业务开发-基础业务-商品模块-分类管理-商品系统三级分类拖拽页面的功能-前后端代码的逻辑实现-访问测试-拖拽开关的开启和关系-批量更新拖拽数据-批量删除选定数据】
【23-业务开发-基础业务-品牌管理-品牌管理项目搭建-品牌管理实现的增删改查操作测试-后端数据显示状态使用前端组件开关按钮展示-以及数据处理以及测试】
【24-业务开发-基础业务-品牌管理-图片管理-阿里云OSS服务开通和使用-阿里云OSS服务API使用-SpringCloudAlibaba OSS服务的使用】
【25-业务开发-基础业务-品牌管理-图片管理-图片上传方式的三种实现方式-第三方公共服务模块集成到项目中-服务端生成签名实战】
【26-业务开发-基础业务-品牌管理-图片管理-上传图片功能实现-基于阿里云OSS服务-解决跨域问题-设置跨域规则-修改ACL权限为公共读】
【27-业务开发-基础业务-品牌管理-图片管理-添加修改品牌信息并显示图片-前端数据校验-后端数据JSR303校验实现-统一异常处理-自定义响应编码规则-分组校验-自定义校验注解-项目Bug解决】
【28-业务开发-基础业务-属性管理-SKU和SPU基本概念-SKU和SPU关联关系-属性实体之间的关联关系-批量菜单创建】
【29-业务开发-基础业务-属性管理-属性组业务逻辑开发-页面布局-三级分类组件功能-属性组表单-父子组件传值-属性组数据展示-属性组数据添加-属性组数据修改-前后端项目整合交互测试】
【30-业务开发-基础业务-品牌管理-分类维护-解决分类维护业务开发中的一个Bug-品牌管理-分页插件-分页功能的逻辑实现-品牌管理-检索条件模糊查询品牌管理-增加更新操作中排序字段检验还是存在问题】
【31-业务开发-基础业务-品牌管理-级联类别信息业务功能实现-品牌管理和商品分类管理俩者业务关联出现数据冗余,导致数据不同步的问题-开启事务-项目测试】
【32-业务开发-基础业务-规格参数-保存数据-查询数据-更新操作之数据回显展示-更新操作-前后端项目交互整合与测试-总结收获】
【33-业务开发-基础业务-规格参数-销售属性-多表之间的关联增删改查操作-前后端项目交互整合与测试-Cannot read property ‘publish‘ of undefined】
【34-业务开发-基础业务-属性组和基本属性-属性组和基本属性建立关联-属性组和基本属性解除关联-未关联属性查询-确认新增】
【35-业务开发-基础业务-商品服务-新增商品-会员模块服务-mall-member-会员模块数据维护-规格参数维护-前端项目Bug解决-PubSub依赖缺失】
【36-业务开发-基础业务-商品服务SPU-前后端处理商品数据Json-发布商品前后端业务逻辑-feign服务远程调用-DTO数据传输对象-商品服务的检索-商品管理的检索项目中修改更正完善逻辑操作】
【37-业务开发-基础业务-库存管理- 仓库模块Nacos注册中心的配置-Gateway网关配置-仓库维护的增删改查-商品库存管理-采购流程-采购需求维护-采购需求合并-领取采购单完成采购操作】
【插入------>ElasticSearch专栏相关的知识内容都整理好了,在这里哟!】
【38-商品上架功能结合ElasticSearch全文检索的流程-商品ES关系映射模型&Docker安装ik分词器-实现上架功能复杂的逻辑实现-Postman+Kibana访问测试】
【39-商品整合thymeleaf模板引擎-商城用户端的实现逻辑-部署devtools工具依赖-商品后台-三级分类逻辑分析实现-Docker 安装部署Nginx-Nginx对网关实现反向代理负载均衡】
【40-系统性能压力测试基本概念-相关性能指标HPS&TPS&QPS&RT-安装Jmeter教程-JMeter测试流程-线程组-取样器-监视器-测试商城首页-JMeter Address 占用的问题】
【41-系统性能压力测试优化-JVM知识回顾-jconsole和jvisualvm-jvisualvm安装Visual GC插件-Nginx压力测试- 网关gateway压测-Nginx实现动静分离】
【42-缓存的基本概念-是否使用缓存的场景-本地缓存-分布式缓存-项目中整合Redis-修改三级分类逻辑代码+加入缓存-三级分类加入缓存后压力测试-缓存穿透-缓存雪崩-缓存击穿】
【43-本地锁-分布式锁概念原理-分布式锁解决方案-Redis实现分布式锁-Redisson分布式锁-项目整合Redisson-缓存数据一致性问题-解决缓存一致性的方案-SpringCache缓存】
二.检索页面的搭建
检索服务结构图
商品检索页面我们放在search服务中处理,首页我们需要在mall-search服务中支持Thymeleaf。添加对应的依赖
<!-- 添加Thymeleaf的依赖 -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-thymeleaf</artifactId>
</dependency>
然后我们拷贝模板文件到template目录下,然后不要忘记添加Thymeleaf的名称空间
需要把相关的静态资源文件拷贝到Nginx服务中。目录结构是:/mydata/nginx/html/static/search/
查看是否上传成功
修改index.html页面中的资源的路径
然后我们要通过 ljw.search.com
来访问我们的检索服务,那么就需要设置对应的host文件
然后我们就需要修改Nginx的配置
这时我需要在修改网关的服务,根据我们的域名访问,那么需要网关路由到我们的检索服务中
然后我们就可以重启相关的服务 ,来测试了
三.检索服务-页面跳转调整
页面跳转
热部署
application.yml配置文件关闭缓存
首页三级分类跳转,nginx中的js文件中修改请求地址
如果请求访问还不能跳转,可能数据资源文件被缓存下来了,最简单的方式是我们在nginx中将文件重新复制一份,然后修改名字,最后在mall-product项目中修改引用的资源。
mall-product项目中修改index.html文件中引用的资源。
重新启动项目,请求测试是否可以跳转,成功跳转,搞定。
实现搜索后页面跳转
后端接口处理
启动访问测试,搜索实现跳转
四.检索服务elasticsearch
4.1 创建前端请求后端的VO对象
我们需要检索数据库中的相关的商品信息,那么我们就需要提交相关的检索条件,为了统一的管理提交的数据,我们需要创建一个VO来封装信息。
/**
* 封装页面所有可能提交的查询条件
*/
@Data
public class SearchParam {
private String keyword; // 页面传递的查询全文匹配的关键字
private Long catalog3Id;// 需要根据分类查询的编号
/**
* sort=salaCount_asc/desc
* sort=skuPrice_asc/desc
* sort=hotScore_asc/desc
*/
private String sort; // 排序条件
// 查询的筛选条件 hasStock=0/1;
private Integer hasStock ; // 是否只显示有货
// brandId=1&brandId=2
private List<Long> brandId; // 按照品牌来查询,可以多选
// skuPrice=200_300
// skuPrice=_300
// skuPrice=200_
private String skuPrice; // 价格区间查询
// 不同的属性 attrs:1_苹果:6.5寸
private List<String> attrs; // 按照属性信息进行筛选
private Integer pageNum; // 页码
}
4.2 创建后端逻辑处理好要返回给前端的VO对象
然后就是检索后的数据我们需要封装的VO对象,定义如下:
/**
* 封装检索后的响应信息
*/
@Data
public class SearchResult {
private List<SkuESModel> products; // 查询到的所有的商品信息 满足条件
// 分页信息
private Integer pageNum; // 当前页
private Long total; // 总的记录数
private Integer totalPages; // 总页数
// 当前查询的所有的商品涉及到的所有的品牌信息
private List<BrandVO> brands;
// 当前查询的所有的商品涉及到的所有的属性信息
private List<AttrVo> attrs;
// 当前查询的所有商品涉及到的所有的类别信息
private List<CatalogVO> catalogs;
@Data
public static class CatalogVO{
private Long catalogId;
private String catalogName;
}
/**
* 品牌的相关信息
*/
@Data
public static class BrandVO{
private Long brandId; // 品牌的编号
private String brandName; // 品牌的名称
private String brandImg; // 品牌的图片
}
@Data
public static class AttrVo{
private Long attrId; // 属性的编号
private String attrName; // 属性的名称
private List<String> attrValue; // 属性的值
}
}
4.3 构建查询DSL语句案例
我们需要根据基本的检索条件来封装对应的DSL语句
- 查询关键字 模糊匹配
- 过滤(分类,品牌,属性,价格区间,库存…)
- 排序
- 分页
- 高亮
4.3.1 案例1
GET mall_product/_search
{
"query": {
"bool": {
"must": [
{
"match": {
"subTitle": "HUAWEI 128G 网上支付"
}
}
]
}
},"sort": [
{
"skuPrice": {
"order": "desc"
}
}
],"from": 0
,"size": 20
,"highlight": {
"fields": {"subTitle": {}}
,"pre_tags": "<b style='color:red'>"
,"post_tags": "<b>"
}
}
结果展示:
4.3.2 案例2
GET /mall_product/_search
{
"query": {
"bool": {
"must": [
{
"match": {
"subTitle": "HUAWEI 128G 网上支付"
}
}
],
"filter": [
{
"term": {
"catalogId": "225"
}
},
{
"terms": {
"brandId": [
"12"
]
}
},
{
"range": {
"skuPrice": {
"gte": 10,
"lte": 12000
}
}
}
]
}
},"sort": [
{
"skuPrice": {
"order": "desc"
}
}
],"from": 0
,"size": 20
,"highlight": {
"fields": {"subTitle": {}}
,"pre_tags": "<b style='color:red'>"
,"post_tags": "<b>"
}
}
数据展示:
4.4 数据迁移&维护修改原有的索引字段下的类型错误问题
数据类型有误,我们通过ES数据迁移的过程来进行修改
维护好了新的数据类型后,我们再次使用数据迁移
4.5 构建SearchRequest对象
根据客户端提交的检索的信息,我们需要封装为对应的SearchRequest对象,然后通过ES的API来检索数据。
/**
* 构建检索的请求
* 模糊匹配,关键字匹配
* 过滤(类别,品牌,属性,价格区间,库存)
* 排序
* 分页
* 高亮
* 聚合分析
* @param param
* @return
*/
private SearchRequest buildSearchRequest(SearchParam param) {
SearchRequest searchRequest = new SearchRequest();
searchRequest.indices(ESConstant.PRODUCT_INDEX);
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
// 构建具体的检索的条件
// 1.构建bool查询
BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
// 1.1 关键字的条件
if(!StringUtils.isEmpty(param.getKeyword())){
boolQuery.must(QueryBuilders.matchQuery("subTitle",param.getKeyword()));
}
// 1.2 类别的检索条件
if(param.getCatalog3Id() != null){
boolQuery.filter(QueryBuilders.termQuery("catalogId",param.getCatalog3Id()));
}
// 1.3 品牌的检索条件
if(param.getBrandId() != null && param.getBrandId().size() > 0){
boolQuery.filter(QueryBuilders.termsQuery("brandId",param.getBrandId()));
}
// 1.4 是否有库存
if(param.getHasStock() != null){
boolQuery.filter(QueryBuilders.termQuery("hasStock",param.getHasStock() == 1));
}
// 1.5 根据价格区间来检索
if(!StringUtils.isEmpty(param.getSkuPrice())){
String[] msg = param.getSkuPrice().split("_");
RangeQueryBuilder skuPrice = QueryBuilders.rangeQuery("skuPrice");
if(msg.length == 2){
// 说明是 200_300
skuPrice.gte(msg[0]);
skuPrice.lte(msg[1]);
}else if(msg.length == 1){
// 说明是 _300 200_
if(param.getSkuPrice().endsWith("_")){
// 说明是 200_
skuPrice.gte(msg[0]);
}
if(param.getSkuPrice().startsWith("_")){
// 说明是 _300
skuPrice.lte(msg[0]);
}
}
boolQuery.filter(skuPrice);
}
// 1.6 属性的检索条件 attrs=20_8英寸:10英寸&attrs=19_64GB:32GB
if(param.getAttrs() != null && param.getAttrs().size() > 0){
for (String attrStr : param.getAttrs()) {
BoolQueryBuilder boolNestedQuery = QueryBuilders.boolQuery();
// attrs=19_64GB:32GB 我们首先需要根据 _ 做分割
String[] attrStrArray = attrStr.split("_");
// 属性的编号
String attrId = attrStrArray[0];
// 64GB:32GB 获取属性的值
String[] values = attrStrArray[1].split(":");
// 拼接组合条件
boolNestedQuery.must(QueryBuilders.termQuery("attrs.attrId",attrId));
boolNestedQuery.must(QueryBuilders.termsQuery("attrs.attrValue",values));
NestedQueryBuilder nestedQuery = QueryBuilders.nestedQuery("attrs", boolNestedQuery, ScoreMode.None);
boolQuery.filter(nestedQuery);
}
}
sourceBuilder.query(boolQuery);
// 2.排序
if(!StringUtils.isEmpty(param.getSort())){
// sort=salaCount_asc/desc
String[] s = param.getSort().split("_");
SortOrder order = s[1].equalsIgnoreCase("asc")?SortOrder.ASC:SortOrder.DESC;
sourceBuilder.sort(s[0], order);
}
// 3.处理分页
// Integer pageNum; // 页码
if(param.getPageNum() != null){
// 需要做分页处理 pageSize = 5
// pageNum:1 from:0 [0,1,2,3,4]
// pageNum:2 from:5 [5,6,7,8,9]
// from = ( pageNum - 1 ) * pageSize
sourceBuilder.from( (param.getPageNum() - 1 ) * ESConstant.PRODUCT_PAGESIZE);
sourceBuilder.size(ESConstant.PRODUCT_PAGESIZE);
}
// 4. 设置高亮
if(!StringUtils.isEmpty(param.getKeyword())){
// 如果有根据关键字查询那么我们才需要高亮设置
HighlightBuilder highlightBuilder = new HighlightBuilder();
highlightBuilder.field("subTitle");
highlightBuilder.preTags("<b style='color:red'>");
highlightBuilder.postTags("</b>");
sourceBuilder.highlighter(highlightBuilder);
}
// 5.聚合运算
// 5.1 品牌的聚合
TermsAggregationBuilder brand_agg = AggregationBuilders.terms("brand_agg");
brand_agg.field("brandId");
brand_agg.size(50);
// 品牌的子聚合
brand_agg.subAggregation(AggregationBuilders.terms("brand_name_agg").field("brandName").size(10));
brand_agg.subAggregation(AggregationBuilders.terms("brand_img_agg").field("brandImg").size(10));
sourceBuilder.aggregation(brand_agg);
// 5.2 类别的聚合
TermsAggregationBuilder catalog_agg = AggregationBuilders.terms("catalog_agg");
catalog_agg.field("catalogId");
catalog_agg.size(10);
// 类别的子聚合
catalog_agg.subAggregation(AggregationBuilders.terms("catalog_name_agg").field("catalogName").size(10));
sourceBuilder.aggregation(catalog_agg);
// 5.3 属性的聚合
NestedAggregationBuilder attr_agg = AggregationBuilders.nested("attr_agg", "attrs");
// 属性id聚合
TermsAggregationBuilder attr_id_agg = AggregationBuilders.terms("attr_id_agg");
attr_id_agg.field("attrs.attrId");
attr_id_agg.size(10);
// 属性id下的子聚合 属性名称和属性值
attr_id_agg.subAggregation(AggregationBuilders.terms("attr_name_agg").field("attrs.attrName").size(10));
attr_id_agg.subAggregation(AggregationBuilders.terms("attr_value_agg").field("attrs.attrValue").size(10));
attr_agg.subAggregation(attr_id_agg);
sourceBuilder.aggregation(attr_agg);
System.out.println(sourceBuilder.toString());
searchRequest.source(sourceBuilder);
return searchRequest;
}
4.6 构建SearchResult对象
当我们通过封装的SearchRequest对象从ES中检索出了相关的信息后,我们需要将返回的SearchResponse对象封装为前端接收的SearchResult对象。
- 所有的满足条件的商品
- 分页相关的信息
- 当前商品涉及的品牌信息
- 当前商品涉及的类别信息
- 当前商品涉及的属性信息
/**
* 根据检索的结果解析封装为SearchResult对象
* @param response
* @return
*/
private SearchResult buildSearchResult(SearchResponse response,SearchParam param){
SearchResult result = new SearchResult();
SearchHits hits = response.getHits();
// 1.检索的所有商品信息
SearchHit[] products = hits.getHits();
List<SkuESModel> esModels = new ArrayList<>();
if(products != null && products.length > 0){
for (SearchHit product : products) {
String sourceAsString = product.getSourceAsString();
// 把json格式的字符串通过fastjson转换为SkuESModel对象
SkuESModel model = JSON.parseObject(sourceAsString, SkuESModel.class);
if(!StringUtils.isEmpty(param.getKeyword())){
// 我们需要设置高亮
HighlightField subTitle = product.getHighlightFields().get("subTitle");
String subTitleHighlight = subTitle.getFragments()[0].string();
model.setSubTitle(subTitleHighlight); // 设置高亮
}
esModels.add(model);
}
}
result.setProducts(esModels);
Aggregations aggregations = response.getAggregations();
// 2.当前商品所涉及到的所有的品牌
ParsedLongTerms brand_agg = aggregations.get("brand_agg");
List<? extends Terms.Bucket> buckets = brand_agg.getBuckets();
// 存储所有品牌的容器
List<SearchResult.BrandVO> brandVOS = new ArrayList<>();
if(buckets!=null && buckets.size() > 0){
for (Terms.Bucket bucket : buckets) {
SearchResult.BrandVO brandVO = new SearchResult.BrandVO();
// 获取品牌的key
String keyAsString = bucket.getKeyAsString();
brandVO.setBrandId(Long.parseLong(keyAsString)); // 设置品牌的编号
// 然后我们需要获取品牌的名称和图片的地址
ParsedStringTerms brand_img_agg = bucket.getAggregations().get("brand_img_agg");
List<? extends Terms.Bucket> bucketsImg = brand_img_agg.getBuckets();
if(bucketsImg != null && bucketsImg.size() > 0){
String img = bucketsImg.get(0).getKeyAsString();
brandVO.setBrandImg(img);
}
// 获取品牌名称的信息
ParsedStringTerms brand_name_agg = bucket.getAggregations().get("brand_name_agg");
String breadName = brand_name_agg.getBuckets().get(0).getKeyAsString();
brandVO.setBrandName(breadName);
brandVOS.add(brandVO);
}
}
result.setBrands(brandVOS);
// 3.当前商品涉及到的所有的类别信息
ParsedLongTerms catalog_agg = aggregations.get("catalog_agg");
List<? extends Terms.Bucket> bucketsCatalogs = catalog_agg.getBuckets();
// 创建一个保存所有类别的容器
List<SearchResult.CatalogVO> catalogVOS = new ArrayList<>();
if(bucketsCatalogs != null && bucketsCatalogs.size() > 0){
for (Terms.Bucket bucket : bucketsCatalogs) {
SearchResult.CatalogVO catalogVO = new SearchResult.CatalogVO();
String keyAsString = bucket.getKeyAsString(); // 获取类别的编号
catalogVO.setCatalogId(Long.parseLong(keyAsString));
// 获取类别的名称
ParsedStringTerms catalog_name_agg = bucket.getAggregations().get("catalog_name_agg");
String catalogName = catalog_name_agg.getBuckets().get(0).getKeyAsString();
catalogVO.setCatalogName(catalogName);
catalogVOS.add(catalogVO);
}
}
result.setCatalogs(catalogVOS);
// 4.当前商品涉及到的所有的属性信息
ParsedNested attr_agg = aggregations.get("attr_agg");
ParsedLongTerms attr_id_agg = attr_agg.getAggregations().get("attr_id_agg");
List<? extends Terms.Bucket> bucketsAttr = attr_id_agg.getBuckets();
List<SearchResult.AttrVo > attrVos = new ArrayList<>();
if(bucketsAttr != null && bucketsAttr.size() > 0){
for (Terms.Bucket bucket : bucketsAttr) {
SearchResult.AttrVo attrVo = new SearchResult.AttrVo();
// 获取属性的编号
String keyAsString = bucket.getKeyAsString();
attrVo.setAttrId(Long.parseLong(keyAsString));
// 又得分别获取 属性的名称 和 属性的值
ParsedStringTerms attr_name_agg = bucket.getAggregations().get("attr_name_agg");
String attrName = attr_name_agg.getBuckets().get(0).getKeyAsString(); // 属性的名称
attrVo.setAttrName(attrName);
ParsedStringTerms attr_value_agg = bucket.getAggregations().get("attr_value_agg");
if(attr_value_agg.getBuckets() != null && attr_value_agg.getBuckets().size() > 0 ){
List<String> values = attr_value_agg.getBuckets().stream().map(item -> {
String keyAsString1 = item.getKeyAsString();
return keyAsString1;
}).collect(Collectors.toList());
attrVo.setAttrValue(values);
}
attrVos.add(attrVo);
}
}
result.setAttrs(attrVos);
// 5. 分页信息 当前页 总的记录数 总页数
long total = hits.getTotalHits().value;
result.setTotal(total);// 设置总记录数 6 /5 1+1
result.setPageNum(param.getPageNum()); // 设置当前页
long totalPage = total % ESConstant.PRODUCT_PAGESIZE == 0 ? total / ESConstant.PRODUCT_PAGESIZE : (total / ESConstant.PRODUCT_PAGESIZE + 1);
result.setTotalPages((int)totalPage); // 设置总的页数
return result;
}
4.7 前端thymeleaf模板引擎渲染—thymeleaf官方网站学习手册
前端页面代码过多,比较零碎,就不详细展示了。
好了,关于【44-商城检索服务的搭建-页面跳转调整-elasticsearch检索服务前后端响应的VO对象-检索服务前后端逻辑实现-构建SearchRequest、SearchResponse对象】就先学习到这里,更多的内容持续创作学习中,敬请期待。