Elasticsearch：Elasticsearch 中的父级和兄弟级聚合

已于 2023-02-21 06:45:23 修改
阅读量1k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Elasticsearch Elastic 文章标签： elasticsearch 大数据 全文检索 学习
于 2023-02-01 12:21:10 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/UbuntuTouch/article/details/128827000

从广义上讲，我们可以将聚合分为两种类型：父聚合（parent aggregation）和兄弟聚合（sibling aggregation）。 你可能会发现它们有点令人困惑，所以让我们看看它们是什么以及如何使用它们。

准备数据

我们使用 Kibana 中自带的索引例子来进行展示： 

 

这样我们就在 Elasticsearch 中创建了一个叫做 kibana_sample_data_logs 的索引。

Parent aggregations

父聚合是一组聚合，它们处理来自父聚合的输入以产生新的桶，然后将其添加到现有桶中。 看看下面的代码清单。

我们先使用如下的一个聚合得到每天的文档数：

GET  kibana_sample_data_logs/_search?filter_path=aggregations
{
  "size": 0,
  "aggs": {
    "count_per_day": {
      "date_histogram": {
        "field": "@timestamp",
        "calendar_interval": "day"
      }
    }
  }
}

上面的聚合所生成的结果为：

{
  "aggregations": {
    "count_per_day": {
      "buckets": [
        {
          "key_as_string": "2023-01-22T00:00:00.000Z",
          "key": 1674345600000,
          "doc_count": 249
        },
        {
          "key_as_string": "2023-01-23T00:00:00.000Z",
          "key": 1674432000000,
          "doc_count": 231
        },
        {
          "key_as_string": "2023-01-24T00:00:00.000Z",
          "key": 1674518400000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-01-25T00:00:00.000Z",
          "key": 1674604800000,
          "doc_count": 236
        },
        {
          "key_as_string": "2023-01-26T00:00:00.000Z",
          "key": 1674691200000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-01-27T00:00:00.000Z",
          "key": 1674777600000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-01-28T00:00:00.000Z",
          "key": 1674864000000,
          "doc_count": 229
        },
        {
          "key_as_string": "2023-01-29T00:00:00.000Z",
          "key": 1674950400000,
          "doc_count": 231
        },
        {
          "key_as_string": "2023-01-30T00:00:00.000Z",
          "key": 1675036800000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-01-31T00:00:00.000Z",
          "key": 1675123200000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-01T00:00:00.000Z",
          "key": 1675209600000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-02T00:00:00.000Z",
          "key": 1675296000000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-03T00:00:00.000Z",
          "key": 1675382400000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-04T00:00:00.000Z",
          "key": 1675468800000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-05T00:00:00.000Z",
          "key": 1675555200000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-06T00:00:00.000Z",
          "key": 1675641600000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-07T00:00:00.000Z",
          "key": 1675728000000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-08T00:00:00.000Z",
          "key": 1675814400000,
          "doc_count": 229
        },
        {
          "key_as_string": "2023-02-09T00:00:00.000Z",
          "key": 1675900800000,
          "doc_count": 231
        },
        {
          "key_as_string": "2023-02-10T00:00:00.000Z",
          "key": 1675987200000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-11T00:00:00.000Z",
          "key": 1676073600000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-12T00:00:00.000Z",
          "key": 1676160000000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-13T00:00:00.000Z",
          "key": 1676246400000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-14T00:00:00.000Z",
          "key": 1676332800000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-15T00:00:00.000Z",
          "key": 1676419200000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-16T00:00:00.000Z",
          "key": 1676505600000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-17T00:00:00.000Z",
          "key": 1676592000000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-18T00:00:00.000Z",
          "key": 1676678400000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-19T00:00:00.000Z",
          "key": 1676764800000,
          "doc_count": 229
        },
        {
          "key_as_string": "2023-02-20T00:00:00.000Z",
          "key": 1676851200000,
          "doc_count": 231
        },
        {
          "key_as_string": "2023-02-21T00:00:00.000Z",
          "key": 1676937600000,
          "doc_count": 173
        },
        {
          "key_as_string": "2023-02-22T00:00:00.000Z",
          "key": 1677024000000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-23T00:00:00.000Z",
          "key": 1677110400000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-24T00:00:00.000Z",
          "key": 1677196800000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-25T00:00:00.000Z",
          "key": 1677283200000,
          "doc_count": 229
        },
        {
          "key_as_string": "2023-02-26T00:00:00.000Z",
          "key": 1677369600000,
          "doc_count": 231
        },
        {
          "key_as_string": "2023-02-27T00:00:00.000Z",
          "key": 1677456000000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-02-28T00:00:00.000Z",
          "key": 1677542400000,
          "doc_count": 229
        },
        {
          "key_as_string": "2023-03-01T00:00:00.000Z",
          "key": 1677628800000,
          "doc_count": 231
        },
        {
          "key_as_string": "2023-03-02T00:00:00.000Z",
          "key": 1677715200000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-03T00:00:00.000Z",
          "key": 1677801600000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-04T00:00:00.000Z",
          "key": 1677888000000,
          "doc_count": 329
        },
        {
          "key_as_string": "2023-03-05T00:00:00.000Z",
          "key": 1677974400000,
          "doc_count": 231
        },
        {
          "key_as_string": "2023-03-06T00:00:00.000Z",
          "key": 1678060800000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-07T00:00:00.000Z",
          "key": 1678147200000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-08T00:00:00.000Z",
          "key": 1678233600000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-09T00:00:00.000Z",
          "key": 1678320000000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-10T00:00:00.000Z",
          "key": 1678406400000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-11T00:00:00.000Z",
          "key": 1678492800000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-12T00:00:00.000Z",
          "key": 1678579200000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-13T00:00:00.000Z",
          "key": 1678665600000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-14T00:00:00.000Z",
          "key": 1678752000000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-15T00:00:00.000Z",
          "key": 1678838400000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-16T00:00:00.000Z",
          "key": 1678924800000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-17T00:00:00.000Z",
          "key": 1679011200000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-18T00:00:00.000Z",
          "key": 1679097600000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-19T00:00:00.000Z",
          "key": 1679184000000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-20T00:00:00.000Z",
          "key": 1679270400000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-21T00:00:00.000Z",
          "key": 1679356800000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-22T00:00:00.000Z",
          "key": 1679443200000,
          "doc_count": 230
        },
        {
          "key_as_string": "2023-03-23T00:00:00.000Z",
          "key": 1679529600000,
          "doc_count": 205
        }
      ]
    }
  }
}

如果用图来表达的话就是：

可以看到每天的文档数据。下面的问题是，我们想求出每个桶里的下载数据的总和，那该怎么办呢？

我们可以使用如下的聚合：

GET  kibana_sample_data_logs/_search?filter_path=aggregations
{
  "size": 0,
  "aggs": {
    "count_per_day": {
      "date_histogram": {
        "field": "@timestamp",
        "calendar_interval": "day"
      },
      "aggs": {
        "total_bytes_per_day": {
          "sum": {
            "field": "bytes"
          }
        }
      }
    }
  }
}

在上面，我们根据每天的文档数，把里面的 bytes 字段加起来。这样我们可以看到每天下载的数据量是多少。上面聚合的结果为：

{
  "aggregations": {
    "count_per_day": {
      "buckets": [
        {
          "key_as_string": "2023-01-22T00:00:00.000Z",
          "key": 1674345600000,
          "doc_count": 249,
          "total_bytes_per_day": {
            "value": 1531493
          }
        },
        {
          "key_as_string": "2023-01-23T00:00:00.000Z",
          "key": 1674432000000,
          "doc_count": 231,
          "total_bytes_per_day": {
            "value": 1272610
          }
        },
        {
          "key_as_string": "2023-01-24T00:00:00.000Z",
          "key": 1674518400000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1265206
          }
        },
        {
          "key_as_string": "2023-01-25T00:00:00.000Z",
          "key": 1674604800000,
          "doc_count": 236,
          "total_bytes_per_day": {
            "value": 1408912
          }
        },
        {
          "key_as_string": "2023-01-26T00:00:00.000Z",
          "key": 1674691200000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1308255
          }
        },
        {
          "key_as_string": "2023-01-27T00:00:00.000Z",
          "key": 1674777600000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1259611
          }
        },
        {
          "key_as_string": "2023-01-28T00:00:00.000Z",
          "key": 1674864000000,
          "doc_count": 229,
          "total_bytes_per_day": {
            "value": 1354113
          }
        },
        {
          "key_as_string": "2023-01-29T00:00:00.000Z",
          "key": 1674950400000,
          "doc_count": 231,
          "total_bytes_per_day": {
            "value": 1344454
          }
        },
        {
          "key_as_string": "2023-01-30T00:00:00.000Z",
          "key": 1675036800000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1352342
          }
        },
        {
          "key_as_string": "2023-01-31T00:00:00.000Z",
          "key": 1675123200000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1262058
          }
        },
        {
          "key_as_string": "2023-02-01T00:00:00.000Z",
          "key": 1675209600000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1347502
          }
        },
        {
          "key_as_string": "2023-02-02T00:00:00.000Z",
          "key": 1675296000000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1250818
          }
        },
        {
          "key_as_string": "2023-02-03T00:00:00.000Z",
          "key": 1675382400000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1354851
          }
        },
        {
          "key_as_string": "2023-02-04T00:00:00.000Z",
          "key": 1675468800000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1215747
          }
        },
        {
          "key_as_string": "2023-02-05T00:00:00.000Z",
          "key": 1675555200000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1405353
          }
        },
        {
          "key_as_string": "2023-02-06T00:00:00.000Z",
          "key": 1675641600000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1334883
          }
        },
        {
          "key_as_string": "2023-02-07T00:00:00.000Z",
          "key": 1675728000000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1382164
          }
        },
        {
          "key_as_string": "2023-02-08T00:00:00.000Z",
          "key": 1675814400000,
          "doc_count": 229,
          "total_bytes_per_day": {
            "value": 1326963
          }
        },
        {
          "key_as_string": "2023-02-09T00:00:00.000Z",
          "key": 1675900800000,
          "doc_count": 231,
          "total_bytes_per_day": {
            "value": 1309513
          }
        },
        {
          "key_as_string": "2023-02-10T00:00:00.000Z",
          "key": 1675987200000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1197116
          }
        },
        {
          "key_as_string": "2023-02-11T00:00:00.000Z",
          "key": 1676073600000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1372478
          }
        },
        {
          "key_as_string": "2023-02-12T00:00:00.000Z",
          "key": 1676160000000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1321734
          }
        },
        {
          "key_as_string": "2023-02-13T00:00:00.000Z",
          "key": 1676246400000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1289226
          }
        },
        {
          "key_as_string": "2023-02-14T00:00:00.000Z",
          "key": 1676332800000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1325093
          }
        },
        {
          "key_as_string": "2023-02-15T00:00:00.000Z",
          "key": 1676419200000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1250263
          }
        },
        {
          "key_as_string": "2023-02-16T00:00:00.000Z",
          "key": 1676505600000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1294967
          }
        },
        {
          "key_as_string": "2023-02-17T00:00:00.000Z",
          "key": 1676592000000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1289010
          }
        },
        {
          "key_as_string": "2023-02-18T00:00:00.000Z",
          "key": 1676678400000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1285469
          }
        },
        {
          "key_as_string": "2023-02-19T00:00:00.000Z",
          "key": 1676764800000,
          "doc_count": 229,
          "total_bytes_per_day": {
            "value": 1327017
          }
        },
        {
          "key_as_string": "2023-02-20T00:00:00.000Z",
          "key": 1676851200000,
          "doc_count": 231,
          "total_bytes_per_day": {
            "value": 1368197
          }
        },
        {
          "key_as_string": "2023-02-21T00:00:00.000Z",
          "key": 1676937600000,
          "doc_count": 173,
          "total_bytes_per_day": {
            "value": 1030140
          }
        },
        {
          "key_as_string": "2023-02-22T00:00:00.000Z",
          "key": 1677024000000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1269612
          }
        },
        {
          "key_as_string": "2023-02-23T00:00:00.000Z",
          "key": 1677110400000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1266399
          }
        },
        {
          "key_as_string": "2023-02-24T00:00:00.000Z",
          "key": 1677196800000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1188422
          }
        },
        {
          "key_as_string": "2023-02-25T00:00:00.000Z",
          "key": 1677283200000,
          "doc_count": 229,
          "total_bytes_per_day": {
            "value": 1240567
          }
        },
        {
          "key_as_string": "2023-02-26T00:00:00.000Z",
          "key": 1677369600000,
          "doc_count": 231,
          "total_bytes_per_day": {
            "value": 1350170
          }
        },
        {
          "key_as_string": "2023-02-27T00:00:00.000Z",
          "key": 1677456000000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1327906
          }
        },
        {
          "key_as_string": "2023-02-28T00:00:00.000Z",
          "key": 1677542400000,
          "doc_count": 229,
          "total_bytes_per_day": {
            "value": 1324946
          }
        },
        {
          "key_as_string": "2023-03-01T00:00:00.000Z",
          "key": 1677628800000,
          "doc_count": 231,
          "total_bytes_per_day": {
            "value": 1327983
          }
        },
        {
          "key_as_string": "2023-03-02T00:00:00.000Z",
          "key": 1677715200000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1371387
          }
        },
        {
          "key_as_string": "2023-03-03T00:00:00.000Z",
          "key": 1677801600000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1335187
          }
        },
        {
          "key_as_string": "2023-03-04T00:00:00.000Z",
          "key": 1677888000000,
          "doc_count": 329,
          "total_bytes_per_day": {
            "value": 1558542
          }
        },
        {
          "key_as_string": "2023-03-05T00:00:00.000Z",
          "key": 1677974400000,
          "doc_count": 231,
          "total_bytes_per_day": {
            "value": 1298767
          }
        },
        {
          "key_as_string": "2023-03-06T00:00:00.000Z",
          "key": 1678060800000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1285049
          }
        },
        {
          "key_as_string": "2023-03-07T00:00:00.000Z",
          "key": 1678147200000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1376259
          }
        },
        {
          "key_as_string": "2023-03-08T00:00:00.000Z",
          "key": 1678233600000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1283288
          }
        },
        {
          "key_as_string": "2023-03-09T00:00:00.000Z",
          "key": 1678320000000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1318528
          }
        },
        {
          "key_as_string": "2023-03-10T00:00:00.000Z",
          "key": 1678406400000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1290236
          }
        },
        {
          "key_as_string": "2023-03-11T00:00:00.000Z",
          "key": 1678492800000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1286164
          }
        },
        {
          "key_as_string": "2023-03-12T00:00:00.000Z",
          "key": 1678579200000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1316296
          }
        },
        {
          "key_as_string": "2023-03-13T00:00:00.000Z",
          "key": 1678665600000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1229930
          }
        },
        {
          "key_as_string": "2023-03-14T00:00:00.000Z",
          "key": 1678752000000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1345543
          }
        },
        {
          "key_as_string": "2023-03-15T00:00:00.000Z",
          "key": 1678838400000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1238545
          }
        },
        {
          "key_as_string": "2023-03-16T00:00:00.000Z",
          "key": 1678924800000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1320320
          }
        },
        {
          "key_as_string": "2023-03-17T00:00:00.000Z",
          "key": 1679011200000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1304937
          }
        },
        {
          "key_as_string": "2023-03-18T00:00:00.000Z",
          "key": 1679097600000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1311265
          }
        },
        {
          "key_as_string": "2023-03-19T00:00:00.000Z",
          "key": 1679184000000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1274538
          }
        },
        {
          "key_as_string": "2023-03-20T00:00:00.000Z",
          "key": 1679270400000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1332873
          }
        },
        {
          "key_as_string": "2023-03-21T00:00:00.000Z",
          "key": 1679356800000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1354188
          }
        },
        {
          "key_as_string": "2023-03-22T00:00:00.000Z",
          "key": 1679443200000,
          "doc_count": 230,
          "total_bytes_per_day": {
            "value": 1175987
          }
        },
        {
          "key_as_string": "2023-03-23T00:00:00.000Z",
          "key": 1679529600000,
          "doc_count": 205,
          "total_bytes_per_day": {
            "value": 1184297
          }
        }
      ]
    }
  }
}

从上面的结果中我们可以看出来：除了一个文档总数，我们还看到一个下载 bytes 的总数量。如果我们用可视化的方式来进行表达，那就是：

如果仔细观察（见下图），聚合 total_bytes_per_day 是作为父级 count_per_day 聚合的子项创建的。 它与 date_histogram 处于同一级别。

这种聚合的结果会在现有存储桶内生成一组存储桶。 下图显示了这个结果。 正如你在上图中所见，total_bytes_per_day 聚合生成隐藏在主 date_histogram 存储桶下的新存储桶。

Sibling aggregations

Sibling aggregations, 也即兄弟聚合是那些在兄弟聚合的同一级别上产生新聚合的聚合。 以下清单中的代码创建了一个聚合，其中包含两个处于同一级别的查询（因此，我们称它们为兄弟）。 

GET kibana_sample_data_logs/_search?filter_path=aggregations
{
  "size": 0,
  "aggs": {
    "count_per_day": {
      "date_histogram": {
        "field": "@timestamp",
        "calendar_interval": "day"
      }
    },
    "totoal_bytes_of_download": {
      "sum": {
        "field": "bytes"
      }
    }
  }
}

在上面，count_per_day 和 totoal_bytes_of_download 聚合在同一级别定义。 如果我们在聚合折叠的情况下拍摄查询快照，我们将以图形方式看到它们，如下图

当我们执行兄弟查询时，会产生新的桶集； 然而，与创建桶并将其添加到现有桶的父聚合不同，兄弟聚合、新聚合或新桶是在根聚合级别创建的。 上一个清单中的查询生成下图中的聚合结果，其中包含为每个兄弟聚合新创建的存储桶。 

 希望本篇文章的讲述能让你对 parent aggregation 及 sibiling aggregation 有更多的了解。

更多阅读：Elasticsearch：pipeline aggregation 介绍

博客
Elastic 线下 Meetup 将于 2025 年 7 月 27 号下午在深圳举行
07-01 1215
2025ElasticMeetup深圳站将于7月27日在腾讯滨海大厦举行，聚焦AI驱动搜索技术前沿。活动邀请Elastic、腾讯云等专家分享向量搜索、RAG技术演进、百亿级AISearch优化实践等议题，涵盖搜索智能化、多模态检索、日志系统应用等热点。刘晓国、陈曦等资深技术人将深入解析行业趋势，活动还设有茶歇交流及抽奖环节。需提前实名报名并验证入场。
博客
Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
10-28 2万+
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
博客
Elastic：开发者上手指南
02-25 16万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster,n..........................................................
博客
Elastic：培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
01-06 1万+
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............
博客
Elasticsearch 简介
08-08 17万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
博客
Elasticsearch 字符串包含子字符串：高级查询技巧
07-09 563
本文介绍了Elasticsearch中实现子字符串搜索的多种高级技术。主要内容包括：1）使用query_string、match_phrase和wildcard查询进行子字符串匹配；2）通过自定义分析器和n-gram分词器提升搜索准确性；3）ES|QL提供的LOCATE、MATCH等字符串处理函数；4）区间查询和跨度查询等高级匹配方法。文章对比了不同技术的适用场景，并指出前缀通配符可能影响性能等问题，为开发人员提供了全面的Elasticsearch子字符串搜索解决方案。
博客
Elasticsearch：使用 Significant Terms Aggregation 识别被盗信用卡的常见交易
07-08 422
使用 Significant Terms Aggregation 识别被盗信用卡的常见交易。
博客
揭示独特模式：Elasticsearch 中 significant terms 聚合指南
07-08 934
摘要：Elasticsearch的significantterms聚合功能能够通过统计分析方法发现数据中非显而易见的有价值洞察。与普通terms聚合不同，它会比较子数据集与整体数据集的词项分布，识别出统计上显著异常的关联模式。文章通过手机销售数据分析的具体案例，展示了如何发现不同职业群体对iPhone16的独特偏好，以及如何结合语义搜索识别与"good performance"评价显著相关的机型。这种聚合方法在消费者行为分析、欺诈检测、质量评价等多个领域都有重要应用价值，能够揭示数据背后
博客
使用 collapse 和 cardinality 实现高效分页在 Elasticsearch 中
07-05 861
本文介绍了在Elasticsearch中使用collapse功能对产品变体进行分组时遇到的分页挑战。通过示例展示了如何将collapse与cardinality聚合结合使用，以获取真实的唯一分组数量，从而解决分页问题。文章指出，单独使用collapse时返回的hits.total.value反映的是原始文档数量而非分组后数量，会导致分页显示错误。解决方案是在collapse查询中添加针对相同字段的cardinality聚合，准确计算唯一值数量，实现可靠分页。这种方法特别适用于电商等需要展示产品变体的场景。
博客
APM 最佳实践：从业者指南中的注意事项与禁忌
07-04 652
《高效应用性能管理（APM）实践指南》摘要 应用性能管理（APM）是现代软件系统维护的关键实践，通过持续监控应用程序的前后端性能，确保业务连续性和用户体验。本文系统性地阐述了APM的核心原则、实施策略和最佳实践。 核心要点包括： 现代APM需整合追踪（traces）、指标（metrics）和日志（logs）三类数据，采用自动检测与关键业务手动检测相结合的方案； 有效策略应包含性能监控、错误跟踪、基础设施监控和用户体验指标四个维度； 实施时应遵循端到端可见性、实时监控、以用户为中心等原则，避免过度检测（建议控
博客
Elasticsearch：异常检测入门
07-03 720
本文介绍了在Elastic Stack 9.0.2中使用机器学习进行异常检测的实践方法。通过Kibana自带的示例数据，展示了如何创建三种不同类型的异常检测作业：单指标作业、多指标作业和群体作业。文章详细讲解了数据探索、作业配置、结果分析等关键步骤，并演示了如何使用SingleMetricViewer和AnomalyExplorer工具查看检测结果。此外，还介绍了利用机器学习模型进行未来行为预测的方法。整个过程突出了机器学习在运维场景中的价值，能够自动识别异常事件，减轻人工监控负担，帮助运维人员提前发现潜在
博客
祝贺我们首批通过 Elastic 认证的生成式 AI 销售合作伙伴
07-02 949
摘要：Elastic推出生成式AI合作伙伴认证计划，首批认证的合作伙伴包括GIOS、KPMG等6家欧洲和中东企业。这些合作伙伴已完成严格的ElasticAI培训，具备开发RAG解决方案等能力。Elastic通过向量数据库和AI集成，简化企业AI应用开发流程。认证合作伙伴将帮助客户克服AI试点到规模化应用的挑战，提供专业技术支持和创新方案。Elastic强调合作伙伴在推动AI解决方案落地中的关键作用，同时提醒用户注意第三方AI工具的数据安全风险。（149字）
博客
使用 JavaScript、Mastra 和 Elasticsearch 构建一个具备代理能力的 RAG 助手
07-02 1145
​在这篇文章中，我们将探索如何使用 Mastra 和一个轻量级的 JavaScript Web 应用来构建一个具备代理能力的 RAG 助手，并与它进行交互。通过将这个代理连接到 Elasticsearch，我们为它提供了访问结构化球员数据的能力，并能执行实时统计聚合，从而为你提供基于球员数据的推荐。前往 GitHub 仓库查看详情；README 文件提供了如何克隆并在本地运行该应用的说明。
博客
Elastic 构建 Elastic Cloud Serverless 的历程
07-01 662
摘要：Elastic团队分享了构建Elastic Cloud Serverless无服务器平台的经验。该平台通过云原生架构重构，将Elastic Stack从有状态系统转变为按需扩展的无服务器服务，利用对象存储替代本地磁盘，并采用Kubernetes实现跨云部署。文章详细介绍了架构演进、性能优化、自动扩缩容机制和定价模型设计，强调通过解耦搜索/索引层、减少API调用等技术突破，在AWS/GCP/Azure三大云上实现了高可用性。平台采用细胞式架构确保韧性，并通过统一控制平面管理分布式资源，最终实现了运维简化
博客
Elasticsearch 排序性能提升高达 900 倍
07-01 1085
Elasticsearch 9.0.1和即将发布的9.1版本大幅提升了排序性能，float/half_float排序速度提升83-920倍，integer排序延迟改善41-531倍。优化采用BKD树与distance查询结合的新方法，通过跳过无效数据块显著提高效率。这些改进已应用于Elastic Cloud Serverless，并回溯至8.19版本。性能提升在NYCTaxis和http_logs基准测试中得到验证，将大幅降低Observability、Security等场景的搜索延迟和基础设施成本。Ela
博客
你以为 Elastic 只做 SIEM？再好好想想！
06-28 1005
Elastic重新定义XDR安全防护，通过收购Endgame技术深度整合EDR能力，打造原生统一的安全平台。该方案突破传统EDR的数据处理瓶颈，支持PB级端点、网络、云端数据的实时关联分析，提供跨厂商的无缝防护。平台包含获奖级恶意软件防护、勒索软件防御和行为检测能力，支持Windows/macOS/Linux全平台。创新采用"数据湖"付费模式，仅按实际使用数据计费，包含无限端点授权。通过开源检测规则、AI辅助分析和自动故障排查等功能，实现透明化安全运营。在AV-Comparatives测
博客
使用 Elasticsearch 构建一个用于真实健康数据的 MCP 服务器
06-27 1007
摘要：本文介绍了如何使用FastMCP框架和Elasticsearch构建一个MCP（Model Context Protocol）服务器来管理和分析Apple Health健康数据。文章详细讲解了MCP的三个核心组件（Resources、Tools和Prompts）的实现方法，展示了如何将Elasticsearch作为数据存储后端，并通过Claude Desktop实现自然语言交互查询。该解决方案支持动态数据查询、趋势分析和可视化展示，为LLM代理提供了实时健康数据访问能力。文中包含完整的代码实现、测试方
博客
Elastic：AI，开箱即用！
06-26 1176
Elastic宣布其AI功能现已在Elastic Cloud中默认启用，消除了传统AI部署的复杂流程。该解决方案提供了开箱即用的托管LLM，支持安全、可观测性和搜索领域的AI应用，包括威胁检测、根因分析和自然语言查询等功能。Elastic独特的优势在于将AI深度集成到现有工作流中，支持检索增强生成(RAG)技术，并能统一访问各类数据源。同时平台保持开放架构，允许用户连接第三方LLM。该方案显著降低了AI使用门槛，使企业能立即获得AI驱动的安全防护和运维洞察，无需额外配置或签署第三方合同。
博客
Elastic 被《Forrester Wave™：2025 年第二季度安全分析平台》评为领导者
06-26 1010
Elastic入选Forrester 2025年Q2安全分析平台领导者象限。报告指出，Elastic以工程驱动方式解决安全问题，整合SIEM、XDR和云安全于统一平台，提供AI驱动的检测、开放架构和灵活部署。其优势包括：RAG技术加速警报处理、透明AI增强分析、MITRE ATT&CK规则库，以及混合部署支持。客户数据显示，该平台可缩短99%平均修复时间。Elastic Security将多种安全功能整合，支持SaaS/本地部署，所有检测规则开源。近期与AWS达成战略合作，持续强化安全创新。
博客
在 Logstash 中使用 Ruby 脚本
06-25 1419
摘要：本文介绍了Logstash中Ruby filter插件的使用方法，用于实现高级数据转换。Ruby filter允许在Logstash管道中执行自定义Ruby代码，适用于标准过滤器无法处理的复杂场景，如深度嵌套数据处理、高级字符串处理和复杂业务逻辑实现。文章通过基础示例展示了内联Ruby代码和外部脚本的使用方法，并通过高级示例演示了如何操作嵌套数据结构、拆分事件、执行外部命令解析输出以及使用Ruby内置库。Ruby filter为Logstash管道提供了强大的扩展能力，能够满足各种复杂数据处理需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值