Elasticsearch: 运用 Field collapsing 来减少基于单个字段的搜索结果

已于 2025-07-05 09:38:50 修改
阅读量1.7k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Elastic Elasticsearch 文章标签： elasticsearch 大数据 搜索引擎 全文检索
于 2019-12-18 14:02:07 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/UbuntuTouch/article/details/103593811
本文介绍Elasticsearch中Fieldcollapsing的使用方法，通过示例展示如何对搜索结果进行折叠，只显示每个分类下的最高评分项，以及如何扩展折叠结果以获取更多相关信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

允许根据字段值折叠搜索结果。 折叠是通过每个折叠键仅选择排序最靠前的文档来完成的。要想理解这个其实也并不难，我们就那百度音乐的页面例子来说：

我们可以看到在上面的页面中，它有展示很多喜欢的歌曲。其实这个歌曲可能是一个专辑里的最突出的一个。当我们做页面的时候，我们没有必要把一个专辑里所有的歌曲都放到这个封面的位置。我也许就只想放这个专辑里点击率最高的或者是最受欢迎的一首歌作为这个专辑的代表。当我们点击这个专辑的时候，我们还可以看到其它在这个专辑里的歌曲：

Field collapsing 就是为这个而生。这种情况也适用于有些新闻头条出现在标题栏中。当我们点击进去过，可以看到更多的相关类别的新闻。

下面我们来通过一个例子来展示如何使用。

准备数据

今天我们使用的数据是一个最好游戏的一个数据。我们可以从我的 github 项目里把这个数据下载下来：

git clon https://github.com/liu-xiao-guo/best_games_json_data

然后，我们通过如下的方式把我们下载的 JSON 数据导入到 Elasticsearch 中：

我们把这个 index 的名字叫做 best_games:

这样我们的数据就准备好了。整个索引共有500条数据。这个索引里的每一条数据就像：

{"id":"madden-nfl-2002-ps2-2001","name":"Madden NFL 2002","year":2001,"platform":"PS2","genre":"Sports","publisher":"Electronic Arts","global_sales":3.08,"critic_score":94,"user_score":7,"developer":"EA Sports","image_url":"http://www.mobygames.com/images/covers/l/202684-madden-nfl-2002-playstation-2-back-cover.png"}

它的 mapping 为：

{
  "best_games" : {
    "mappings" : {
      "_meta" : {
        "created_by" : "ml-file-data-visualizer"
      },
      "properties" : {
        "critic_score" : {
          "type" : "long"
        },
        "developer" : {
          "type" : "text"
        },
        "genre" : {
          "type" : "keyword"
        },
        "global_sales" : {
          "type" : "double"
        },
        "id" : {
          "type" : "keyword"
        },
        "image_url" : {
          "type" : "keyword"
        },
        "name" : {
          "type" : "text"
        },
        "platform" : {
          "type" : "keyword"
        },
        "publisher" : {
          "type" : "keyword"
        },
        "user_score" : {
          "type" : "long"
        },
        "year" : {
          "type" : "long"
        }
      }
    }
  }
}

Field collapsing

下面我们用 collapsing 的方法来对我们的数据进行搜索：

GET best_games/_search
{
  "query": {
    "match": {
      "name": "Final Fantasy"
    }
  },
  "collapse": {
    "field": "publisher"
  }, 
  "sort": [
    {
      "critic_score": {
        "order": "desc"
      }
    }
  ]
}

搜索的结果是：

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 11,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [
      {
        "_index" : "best_games",
        "_type" : "_doc",
        "_id" : "E3JzF28BjrINWI3xtt80",
        "_score" : null,
        "_source" : {
          "id" : "final-fantasy-ix-ps-2000",
          "name" : "Final Fantasy IX",
          "year" : 2000,
          "platform" : "PS",
          "genre" : "Role-Playing",
          "publisher" : "SquareSoft",
          "global_sales" : 5.3,
          "critic_score" : 94,
          "user_score" : 8,
          "developer" : "SquareSoft",
          "image_url" : "http://gamesdatabase.org/Media/SYSTEM/Sony_Playstation/Snap/Thumb/Thumb_Final_Fantasy_IX_-_2000_-_Square_Co.,_Ltd..jpg"
        },
        "fields" : {
          "publisher" : [
            "SquareSoft"
          ]
        },
        "sort" : [
          94
        ]
      },
      {
        "_index" : "best_games",
        "_type" : "_doc",
        "_id" : "wnJzF28BjrINWI3xtt40",
        "_score" : null,
        "_source" : {
          "id" : "final-fantasy-vii-ps-1997",
          "name" : "Final Fantasy VII",
          "year" : 1997,
          "platform" : "PS",
          "genre" : "Role-Playing",
          "publisher" : "Sony Computer Entertainment",
          "global_sales" : 9.72,
          "critic_score" : 92,
          "user_score" : 9,
          "developer" : "SquareSoft",
          "image_url" : "https://r.hswstatic.com/w_907/gif/finalfantasyvii-MAIN.jpg"
        },
        "fields" : {
          "publisher" : [
            "Sony Computer Entertainment"
          ]
        },
        "sort" : [
          92
        ]
      },
      {
        "_index" : "best_games",
        "_type" : "_doc",
        "_id" : "_nJzF28BjrINWI3xtt40",
        "_score" : null,
        "_source" : {
          "id" : "final-fantasy-xii-ps2-2006",
          "name" : "Final Fantasy XII",
          "year" : 2006,
          "platform" : "PS2",
          "genre" : "Role-Playing",
          "publisher" : "Square Enix",
          "global_sales" : 5.95,
          "critic_score" : 92,
          "user_score" : 7,
          "developer" : "Square Enix",
          "image_url" : "https://m.media-amazon.com/images/M/MV5BM2I4MDMyMDQtNjM2OC00ZWNkLTg0ODQtNzYxZjY0M2QxODQyXkEyXkFqcGdeQXVyNjY5NTM5MjA@._V1_.jpg"
        },
        "fields" : {
          "publisher" : [
            "Square Enix"
          ]
        },
        "sort" : [
          92
        ]
      },
      {
        "_index" : "best_games",
        "_type" : "_doc",
        "_id" : "FXJzF28BjrINWI3xtt80",
        "_score" : null,
        "_source" : {
          "id" : "final-fantasy-x-2-ps2-2003",
          "name" : "Final Fantasy X-2",
          "year" : 2003,
          "platform" : "PS2",
          "genre" : "Role-Playing",
          "publisher" : "Electronic Arts",
          "global_sales" : 5.29,
          "critic_score" : 85,
          "user_score" : 6,
          "developer" : "SquareSoft",
          "image_url" : "https://upload.wikimedia.org/wikipedia/en/thumb/6/6c/FFX-2_box.jpg/220px-FFX-2_box.jpg"
        },
        "fields" : {
          "publisher" : [
            "Electronic Arts"
          ]
        },
        "sort" : [
          85
        ]
      }
    ]
  }
}

上面的结果显示：

  • 我们搜索所有的名字为 Final Fantasy 的游戏，并按照 critic_score 降序排序。
  • 由于我们使用 collapse，并按照 publisher 来进行分类。它的意思就是每个 publisher 只能有一个搜索的结果，尽管每一 publisher 有很多款的游戏

比如，我们可以找到 publisher 为 SquareSoft 并且 name 里含有 Final Fantasy 的游戏，有三款之多：

GET best_games/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "name": "Final Fantasy"
          }
        },
        {
          "match": {
            "publisher": "SquareSoft"
          }
        }
      ]
    }
  },
  "sort": [
    {
      "critic_score": {
        "order": "desc"
      }
    }
  ]
}

上面的查询结果：

    "hits" : [
      {
        "_index" : "best_games",
        "_type" : "_doc",
        "_id" : "E3JzF28BjrINWI3xtt80",
        "_score" : null,
        "_source" : {
          "id" : "final-fantasy-ix-ps-2000",
          "name" : "Final Fantasy IX",
          "year" : 2000,
          "platform" : "PS",
          "genre" : "Role-Playing",
          "publisher" : "SquareSoft",
          "global_sales" : 5.3,
          "critic_score" : 94,
          "user_score" : 8,
          "developer" : "SquareSoft",
          "image_url" : "http://gamesdatabase.org/Media/SYSTEM/Sony_Playstation/Snap/Thumb/Thumb_Final_Fantasy_IX_-_2000_-_Square_Co.,_Ltd..jpg"
        },
        "sort" : [
          94
        ]
      },
      {
        "_index" : "best_games",
        "_type" : "_doc",
        "_id" : "0nJzF28BjrINWI3xtt40",
        "_score" : null,
        "_source" : {
          "id" : "final-fantasy-viii-ps-1999",
          "name" : "Final Fantasy VIII",
          "year" : 1999,
          "platform" : "PS",
          "genre" : "Role-Playing",
          "publisher" : "SquareSoft",
          "global_sales" : 7.86,
          "critic_score" : 90,
          "user_score" : 8,
          "developer" : "SquareSoft",
          "image_url" : "https://gamingheartscollection.files.wordpress.com/2018/02/final-fantasy-8.png?w=585"
        },
        "sort" : [
          90
        ]
      },
      {
        "_index" : "best_games",
        "_type" : "_doc",
        "_id" : "SHJzF28BjrINWI3xtuA1",
        "_score" : null,
        "_source" : {
          "id" : "final-fantasy-tactics-ps-1997",
          "name" : "Final Fantasy Tactics",
          "year" : 1997,
          "platform" : "PS",
          "genre" : "Role-Playing",
          "publisher" : "SquareSoft",
          "global_sales" : 2.45,
          "critic_score" : 83,
          "user_score" : 8,
          "developer" : "SquareSoft",
          "image_url" : "https://www.thefinalfantasy.com/gallery/screenshots/ff-tactics/dynamic_previews/ff-tactics-screenshot-1_scale_800_700.jpg"
        },
        "sort" : [
          83
        ]
      }
    ]
  }

但是由于我们使用了collapse，只有一款游戏，并且是按照 critic_score 最高的那个被搜索出来。

注意：能够被 collapse 所使用的字段必须是数字或 keyword 字段，并且含有 doc_values。

扩展 Collapse 结果

我们也可以通过使用 inner_hits 选项来扩展 Collapse 的热门匹配：

GET best_games/_search
{
  "query": {
    "match": {
      "name": "Final Fantasy"
    }
  },
  "collapse": {
    "field": "publisher",
    "inner_hits": {
      "name": "top 3 games",
      "size": 3,
      "sort": [{"user_score": "desc"}]
    }
  }, 
  "sort": [
    {
      "critic_score": {
        "order": "desc"
      }
    }
  ]
}

那么运行后的结果为：

  "hits" : [
      {
        "_index" : "best_games",
        "_type" : "_doc",
        "_id" : "E3JzF28BjrINWI3xtt80",
        "_score" : null,
        "_source" : {
          "id" : "final-fantasy-ix-ps-2000",
          "name" : "Final Fantasy IX",
          "year" : 2000,
          "platform" : "PS",
          "genre" : "Role-Playing",
          "publisher" : "SquareSoft",
          "global_sales" : 5.3,
          "critic_score" : 94,
          "user_score" : 8,
          "developer" : "SquareSoft",
          "image_url" : "http://gamesdatabase.org/Media/SYSTEM/Sony_Playstation/Snap/Thumb/Thumb_Final_Fantasy_IX_-_2000_-_Square_Co.,_Ltd..jpg"
        },
        "fields" : {
          "publisher" : [
            "SquareSoft"
          ]
        },
        "sort" : [
          94
        ],
        "inner_hits" : {
          "top 3 games" : {
            "hits" : {
              "total" : {
                "value" : 3,
                "relation" : "eq"
              },
              "max_score" : null,
              "hits" : [
                {
                  "_index" : "best_games",
                  "_type" : "_doc",
                  "_id" : "0nJzF28BjrINWI3xtt40",
                  "_score" : null,
                  "_source" : {
                    "id" : "final-fantasy-viii-ps-1999",
                    "name" : "Final Fantasy VIII",
                    "year" : 1999,
                    "platform" : "PS",
                    "genre" : "Role-Playing",
                    "publisher" : "SquareSoft",
                    "global_sales" : 7.86,
                    "critic_score" : 90,
                    "user_score" : 8,
                    "developer" : "SquareSoft",
                    "image_url" : "https://gamingheartscollection.files.wordpress.com/2018/02/final-fantasy-8.png?w=585"
                  },
                  "sort" : [
                    8
                  ]
                },
                {
                  "_index" : "best_games",
                  "_type" : "_doc",
                  "_id" : "E3JzF28BjrINWI3xtt80",
                  "_score" : null,
                  "_source" : {
                    "id" : "final-fantasy-ix-ps-2000",
                    "name" : "Final Fantasy IX",
                    "year" : 2000,
                    "platform" : "PS",
                    "genre" : "Role-Playing",
                    "publisher" : "SquareSoft",
                    "global_sales" : 5.3,
                    "critic_score" : 94,
                    "user_score" : 8,
                    "developer" : "SquareSoft",
                    "image_url" : "http://gamesdatabase.org/Media/SYSTEM/Sony_Playstation/Snap/Thumb/Thumb_Final_Fantasy_IX_-_2000_-_Square_Co.,_Ltd..jpg"
                  },
                  "sort" : [
                    8
                  ]
                },
                {
                  "_index" : "best_games",
                  "_type" : "_doc",
                  "_id" : "SHJzF28BjrINWI3xtuA1",
                  "_score" : null,
                  "_source" : {
                    "id" : "final-fantasy-tactics-ps-1997",
                    "name" : "Final Fantasy Tactics",
                    "year" : 1997,
                    "platform" : "PS",
                    "genre" : "Role-Playing",
                    "publisher" : "SquareSoft",
                    "global_sales" : 2.45,
                    "critic_score" : 83,
                    "user_score" : 8,
                    "developer" : "SquareSoft",
                    "image_url" : "https://www.thefinalfantasy.com/gallery/screenshots/ff-tactics/dynamic_previews/ff-tactics-screenshot-1_scale_800_700.jpg"
                  },
                  "sort" : [
                    8
                  ]
                }
              ]
            }
          }
        }
      },

我们可以看出来在每个 publisher 里，在 inner_hits 里同时含有3个 top 3 games。它们分别是按照 user_score 来进行分类的。

也可以为每个合拢的匹配请求多个 inner_hits。 当您想要获得 Collapse 后的匹配的多种表示形式时，此功能很有用。

GET best_games/_search
{
  "query": {
    "match": {
      "name": "Final Fantasy"
    }
  },
  "collapse": {
    "field": "publisher",
    "inner_hits": [
      {
        "name": "top user liked",
        "size": 3,
        "sort": [
          {
            "user_score": "desc"
          }
        ]
      },
      {
        "name": "top most recent games",
        "size": 3,
        "sort": [
          {
            "year": "desc"
          }
        ]
        
      }
    ]
  },
  "sort": [
    {
      "critic_score": {
        "order": "desc"
      }
    }
  ]
}

显示结果为：

    "hits" : [
      {
        "_index" : "best_games",
        "_type" : "_doc",
        "_id" : "E3JzF28BjrINWI3xtt80",
        "_score" : null,
        "_source" : {
          "id" : "final-fantasy-ix-ps-2000",
          "name" : "Final Fantasy IX",
          "year" : 2000,
          "platform" : "PS",
          "genre" : "Role-Playing",
          "publisher" : "SquareSoft",
          "global_sales" : 5.3,
          "critic_score" : 94,
          "user_score" : 8,
          "developer" : "SquareSoft",
          "image_url" : "http://gamesdatabase.org/Media/SYSTEM/Sony_Playstation/Snap/Thumb/Thumb_Final_Fantasy_IX_-_2000_-_Square_Co.,_Ltd..jpg"
        },
        "fields" : {
          "publisher" : [
            "SquareSoft"
          ]
        },
        "sort" : [
          94
        ],
        "inner_hits" : {
          "top user liked" : {
            "hits" : {
              "total" : {
                "value" : 3,
                "relation" : "eq"
              },
              "max_score" : null,
              "hits" : [
                {
                  "_index" : "best_games",
                  "_type" : "_doc",
                  "_id" : "0nJzF28BjrINWI3xtt40",
                  "_score" : null,
                  "_source" : {
                    "id" : "final-fantasy-viii-ps-1999",
                    "name" : "Final Fantasy VIII",
                    "year" : 1999,
                    "platform" : "PS",
                    "genre" : "Role-Playing",
                    "publisher" : "SquareSoft",
                    "global_sales" : 7.86,
                    "critic_score" : 90,
                    "user_score" : 8,
                    "developer" : "SquareSoft",
                    "image_url" : "https://gamingheartscollection.files.wordpress.com/2018/02/final-fantasy-8.png?w=585"
                  },
                  "sort" : [
                    8
                  ]
                },
                {
                  "_index" : "best_games",
                  "_type" : "_doc",
                  "_id" : "E3JzF28BjrINWI3xtt80",
                  "_score" : null,
                  "_source" : {
                    "id" : "final-fantasy-ix-ps-2000",
                    "name" : "Final Fantasy IX",
                    "year" : 2000,
                    "platform" : "PS",
                    "genre" : "Role-Playing",
                    "publisher" : "SquareSoft",
                    "global_sales" : 5.3,
                    "critic_score" : 94,
                    "user_score" : 8,
                    "developer" : "SquareSoft",
                    "image_url" : "http://gamesdatabase.org/Media/SYSTEM/Sony_Playstation/Snap/Thumb/Thumb_Final_Fantasy_IX_-_2000_-_Square_Co.,_Ltd..jpg"
                  },
                  "sort" : [
                    8
                  ]
                },
                {
                  "_index" : "best_games",
                  "_type" : "_doc",
                  "_id" : "SHJzF28BjrINWI3xtuA1",
                  "_score" : null,
                  "_source" : {
                    "id" : "final-fantasy-tactics-ps-1997",
                    "name" : "Final Fantasy Tactics",
                    "year" : 1997,
                    "platform" : "PS",
                    "genre" : "Role-Playing",
                    "publisher" : "SquareSoft",
                    "global_sales" : 2.45,
                    "critic_score" : 83,
                    "user_score" : 8,
                    "developer" : "SquareSoft",
                    "image_url" : "https://www.thefinalfantasy.com/gallery/screenshots/ff-tactics/dynamic_previews/ff-tactics-screenshot-1_scale_800_700.jpg"
                  },
                  "sort" : [
                    8
                  ]
                }
              ]
            }
          },
          "top most recent games" : {
            "hits" : {
              "total" : {
                "value" : 3,
                "relation" : "eq"
              },
              "max_score" : null,
              "hits" : [
                {
                  "_index" : "best_games",
                  "_type" : "_doc",
                  "_id" : "E3JzF28BjrINWI3xtt80",
                  "_score" : null,
                  "_source" : {
                    "id" : "final-fantasy-ix-ps-2000",
                    "name" : "Final Fantasy IX",
                    "year" : 2000,
                    "platform" : "PS",
                    "genre" : "Role-Playing",
                    "publisher" : "SquareSoft",
                    "global_sales" : 5.3,
                    "critic_score" : 94,
                    "user_score" : 8,
                    "developer" : "SquareSoft",
                    "image_url" : "http://gamesdatabase.org/Media/SYSTEM/Sony_Playstation/Snap/Thumb/Thumb_Final_Fantasy_IX_-_2000_-_Square_Co.,_Ltd..jpg"
                  },
                  "sort" : [
                    2000
                  ]
                },
                {
                  "_index" : "best_games",
                  "_type" : "_doc",
                  "_id" : "0nJzF28BjrINWI3xtt40",
                  "_score" : null,
                  "_source" : {
                    "id" : "final-fantasy-viii-ps-1999",
                    "name" : "Final Fantasy VIII",
                    "year" : 1999,
                    "platform" : "PS",
                    "genre" : "Role-Playing",
                    "publisher" : "SquareSoft",
                    "global_sales" : 7.86,
                    "critic_score" : 90,
                    "user_score" : 8,
                    "developer" : "SquareSoft",
                    "image_url" : "https://gamingheartscollection.files.wordpress.com/2018/02/final-fantasy-8.png?w=585"
                  },
                  "sort" : [
                    1999
                  ]
                },
                {
                  "_index" : "best_games",
                  "_type" : "_doc",
                  "_id" : "SHJzF28BjrINWI3xtuA1",
                  "_score" : null,
                  "_source" : {
                    "id" : "final-fantasy-tactics-ps-1997",
                    "name" : "Final Fantasy Tactics",
                    "year" : 1997,
                    "platform" : "PS",
                    "genre" : "Role-Playing",
                    "publisher" : "SquareSoft",
                    "global_sales" : 2.45,
                    "critic_score" : 83,
                    "user_score" : 8,
                    "developer" : "SquareSoft",
                    "image_url" : "https://www.thefinalfantasy.com/gallery/screenshots/ff-tactics/dynamic_previews/ff-tactics-screenshot-1_scale_800_700.jpg"
                  },
                  "sort" : [
                    1997
                  ]
                }
              ]
            }
          }
        }
      },

这样针对每个 publisher，我们也可以得到每个 publisher 在 user 中最受欢迎的三个，同时显示最新的三个游戏。

参考：

【1】Request body search | Elasticsearch Guide [7.16] | Elastic

博客
Elastic 线下 Meetup 将于 2025 年 7 月 27 号下午在深圳举行
07-01 1210
2025ElasticMeetup深圳站将于7月27日在腾讯滨海大厦举行，聚焦AI驱动搜索技术前沿。活动邀请Elastic、腾讯云等专家分享向量搜索、RAG技术演进、百亿级AISearch优化实践等议题，涵盖搜索智能化、多模态检索、日志系统应用等热点。刘晓国、陈曦等资深技术人将深入解析行业趋势，活动还设有茶歇交流及抽奖环节。需提前实名报名并验证入场。
博客
Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
10-28 2万+
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
博客
Elastic：开发者上手指南
02-25 16万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster,n..........................................................
博客
Elastic：培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
01-06 1万+
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............
博客
Elasticsearch 简介
08-08 17万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
博客
Elasticsearch：使用 Significant Terms Aggregation 识别被盗信用卡的常见交易
07-08 266
使用 Significant Terms Aggregation 识别被盗信用卡的常见交易。
博客
揭示独特模式：Elasticsearch 中 significant terms 聚合指南
07-08 864
摘要：Elasticsearch的significantterms聚合功能能够通过统计分析方法发现数据中非显而易见的有价值洞察。与普通terms聚合不同，它会比较子数据集与整体数据集的词项分布，识别出统计上显著异常的关联模式。文章通过手机销售数据分析的具体案例，展示了如何发现不同职业群体对iPhone16的独特偏好，以及如何结合语义搜索识别与"good performance"评价显著相关的机型。这种聚合方法在消费者行为分析、欺诈检测、质量评价等多个领域都有重要应用价值，能够揭示数据背后
博客
使用 collapse 和 cardinality 实现高效分页在 Elasticsearch 中
07-05 853
本文介绍了在Elasticsearch中使用collapse功能对产品变体进行分组时遇到的分页挑战。通过示例展示了如何将collapse与cardinality聚合结合使用，以获取真实的唯一分组数量，从而解决分页问题。文章指出，单独使用collapse时返回的hits.total.value反映的是原始文档数量而非分组后数量，会导致分页显示错误。解决方案是在collapse查询中添加针对相同字段的cardinality聚合，准确计算唯一值数量，实现可靠分页。这种方法特别适用于电商等需要展示产品变体的场景。
博客
APM 最佳实践：从业者指南中的注意事项与禁忌
07-04 648
《高效应用性能管理（APM）实践指南》摘要 应用性能管理（APM）是现代软件系统维护的关键实践，通过持续监控应用程序的前后端性能，确保业务连续性和用户体验。本文系统性地阐述了APM的核心原则、实施策略和最佳实践。 核心要点包括： 现代APM需整合追踪（traces）、指标（metrics）和日志（logs）三类数据，采用自动检测与关键业务手动检测相结合的方案； 有效策略应包含性能监控、错误跟踪、基础设施监控和用户体验指标四个维度； 实施时应遵循端到端可见性、实时监控、以用户为中心等原则，避免过度检测（建议控
博客
Elasticsearch：异常检测入门
07-03 715
本文介绍了在Elastic Stack 9.0.2中使用机器学习进行异常检测的实践方法。通过Kibana自带的示例数据，展示了如何创建三种不同类型的异常检测作业：单指标作业、多指标作业和群体作业。文章详细讲解了数据探索、作业配置、结果分析等关键步骤，并演示了如何使用SingleMetricViewer和AnomalyExplorer工具查看检测结果。此外，还介绍了利用机器学习模型进行未来行为预测的方法。整个过程突出了机器学习在运维场景中的价值，能够自动识别异常事件，减轻人工监控负担，帮助运维人员提前发现潜在
博客
祝贺我们首批通过 Elastic 认证的生成式 AI 销售合作伙伴
07-02 948
摘要：Elastic推出生成式AI合作伙伴认证计划，首批认证的合作伙伴包括GIOS、KPMG等6家欧洲和中东企业。这些合作伙伴已完成严格的ElasticAI培训，具备开发RAG解决方案等能力。Elastic通过向量数据库和AI集成，简化企业AI应用开发流程。认证合作伙伴将帮助客户克服AI试点到规模化应用的挑战，提供专业技术支持和创新方案。Elastic强调合作伙伴在推动AI解决方案落地中的关键作用，同时提醒用户注意第三方AI工具的数据安全风险。（149字）
博客
使用 JavaScript、Mastra 和 Elasticsearch 构建一个具备代理能力的 RAG 助手
07-02 1131
​在这篇文章中，我们将探索如何使用 Mastra 和一个轻量级的 JavaScript Web 应用来构建一个具备代理能力的 RAG 助手，并与它进行交互。通过将这个代理连接到 Elasticsearch，我们为它提供了访问结构化球员数据的能力，并能执行实时统计聚合，从而为你提供基于球员数据的推荐。前往 GitHub 仓库查看详情；README 文件提供了如何克隆并在本地运行该应用的说明。
博客
Elastic 构建 Elastic Cloud Serverless 的历程
07-01 661
摘要：Elastic团队分享了构建Elastic Cloud Serverless无服务器平台的经验。该平台通过云原生架构重构，将Elastic Stack从有状态系统转变为按需扩展的无服务器服务，利用对象存储替代本地磁盘，并采用Kubernetes实现跨云部署。文章详细介绍了架构演进、性能优化、自动扩缩容机制和定价模型设计，强调通过解耦搜索/索引层、减少API调用等技术突破，在AWS/GCP/Azure三大云上实现了高可用性。平台采用细胞式架构确保韧性，并通过统一控制平面管理分布式资源，最终实现了运维简化
博客
Elasticsearch 排序性能提升高达 900 倍
07-01 1062
Elasticsearch 9.0.1和即将发布的9.1版本大幅提升了排序性能，float/half_float排序速度提升83-920倍，integer排序延迟改善41-531倍。优化采用BKD树与distance查询结合的新方法，通过跳过无效数据块显著提高效率。这些改进已应用于Elastic Cloud Serverless，并回溯至8.19版本。性能提升在NYCTaxis和http_logs基准测试中得到验证，将大幅降低Observability、Security等场景的搜索延迟和基础设施成本。Ela
博客
你以为 Elastic 只做 SIEM？再好好想想！
06-28 1001
Elastic重新定义XDR安全防护，通过收购Endgame技术深度整合EDR能力，打造原生统一的安全平台。该方案突破传统EDR的数据处理瓶颈，支持PB级端点、网络、云端数据的实时关联分析，提供跨厂商的无缝防护。平台包含获奖级恶意软件防护、勒索软件防御和行为检测能力，支持Windows/macOS/Linux全平台。创新采用"数据湖"付费模式，仅按实际使用数据计费，包含无限端点授权。通过开源检测规则、AI辅助分析和自动故障排查等功能，实现透明化安全运营。在AV-Comparatives测
博客
使用 Elasticsearch 构建一个用于真实健康数据的 MCP 服务器
06-27 999
摘要：本文介绍了如何使用FastMCP框架和Elasticsearch构建一个MCP（Model Context Protocol）服务器来管理和分析Apple Health健康数据。文章详细讲解了MCP的三个核心组件（Resources、Tools和Prompts）的实现方法，展示了如何将Elasticsearch作为数据存储后端，并通过Claude Desktop实现自然语言交互查询。该解决方案支持动态数据查询、趋势分析和可视化展示，为LLM代理提供了实时健康数据访问能力。文中包含完整的代码实现、测试方
博客
Elastic：AI，开箱即用！
06-26 1173
Elastic宣布其AI功能现已在Elastic Cloud中默认启用，消除了传统AI部署的复杂流程。该解决方案提供了开箱即用的托管LLM，支持安全、可观测性和搜索领域的AI应用，包括威胁检测、根因分析和自然语言查询等功能。Elastic独特的优势在于将AI深度集成到现有工作流中，支持检索增强生成(RAG)技术，并能统一访问各类数据源。同时平台保持开放架构，允许用户连接第三方LLM。该方案显著降低了AI使用门槛，使企业能立即获得AI驱动的安全防护和运维洞察，无需额外配置或签署第三方合同。
博客
Elastic 被《Forrester Wave™：2025 年第二季度安全分析平台》评为领导者
06-26 1008
Elastic入选Forrester 2025年Q2安全分析平台领导者象限。报告指出，Elastic以工程驱动方式解决安全问题，整合SIEM、XDR和云安全于统一平台，提供AI驱动的检测、开放架构和灵活部署。其优势包括：RAG技术加速警报处理、透明AI增强分析、MITRE ATT&CK规则库，以及混合部署支持。客户数据显示，该平台可缩短99%平均修复时间。Elastic Security将多种安全功能整合，支持SaaS/本地部署，所有检测规则开源。近期与AWS达成战略合作，持续强化安全创新。
博客
在 Logstash 中使用 Ruby 脚本
06-25 1413
摘要：本文介绍了Logstash中Ruby filter插件的使用方法，用于实现高级数据转换。Ruby filter允许在Logstash管道中执行自定义Ruby代码，适用于标准过滤器无法处理的复杂场景，如深度嵌套数据处理、高级字符串处理和复杂业务逻辑实现。文章通过基础示例展示了内联Ruby代码和外部脚本的使用方法，并通过高级示例演示了如何操作嵌套数据结构、拆分事件、执行外部命令解析输出以及使用Ruby内置库。Ruby filter为Logstash管道提供了强大的扩展能力，能够满足各种复杂数据处理需求。
博客
开始使用 Elastic AI Assistant for Observability 和阿里 Qwen3
06-25 1011
本文演示了如何结合Qwen3大模型与Elastic AI Assistant进行日志分析。首先通过Elastic DevTools添加了一条代理服务错误日志记录，然后配置AI Assistant连接器。在Observability模块中安装知识库后，用户可通过自然语言查询（如询问代理服务的临时错误原因）与日志数据进行交互分析。文章还提到当前版本（9.0.01）存在特殊配置需求，并预告后续将介绍使用Kibana创建知识库的方法。整个过程展示了AI技术如何帮助开发者更直观地理解和排查系统问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值