zhanganggang的博客

原创 【20220502】Mysql 为什么使用B+Tree作为索引结构

从如下几个方面理解：1）.常规的数据库存储引擎一般采用B树或B+树来实现索引的存储。B树是一种多路平衡树。如下图：······用这种存储结构来存储大量数据的情况下，它的整体高度比二叉树"矮"很多 。对于数据库，所有的数据必然是存储在磁盘上，而磁盘的IO效率很低，特别是在随机磁盘IO时效率更低，所以树的高度能够决定磁盘IO的次数，磁盘IO次数越少，对于数据库性能越高，因此采用B数作为存储结构。但是在MysqlInnodb存储引擎中，它采用的是一种增强的B树结构即B+树。...

原创 11相关性重塑

原创 第8章 ElasticSearch7高端进阶【分布式搜索引擎进阶学习】 8-6查询语句进阶（2）

原创 爬虫札记

/html/body/div[4]/div/div/div[2]/div[3]/div[2]/html/body/div[4]/div/div/div[2]/div[3]/div[2]/ul/li[1]/a/spandoc_list list-6791341sel.xpath('//ul[@class="doc_list"]/li/a//span/text()').extract()[0]${resp.selector('.doc_list').selector('.odd').attr('

原创 gremlin

g.V().hasLabel('Person').range(2,5).bothE() g.V().hasLabel('Person').range(2,5).outE() g.V().hasLabel('Person').range(2,5).inE()

原创 nlp与平安沟通

ocr 识别金融合同论文 网页（监测数据 历史报表）mysql语音 （会商 -》语音识别）=》（水库 使用调度 什么条件）网页数据（外网公布雨情 ） 时效 重点。知识图谱 智能驾驶智能推荐语音识别 图像识别农业（庄稼标注 受损 虫害 缺失营养 ）环保 水库 雨量 流量（水质）=》环保...

原创 gremlin

g.V().hasLabel('Person').outE('Knows')inE()

原创 mysql索引学习

like 使用全文索引，存储大文本 匹配文字

原创 mysql 主从搭建札记

select @@datadir;show variables like 'basedir%'show global variables;mysql -u root -P 3307 -h 101.200.152.192 -p————————————————版权声明：本文为CSDN博主「迷彩_风情」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。...

原创 Elasticsearch 实战应用系列

Chat专栏专题电子书开始创作Elasticsearch 实战应用系列桃花惜春风CSDN博客专家。曾负责大数据平台日TB级实时高并发数据流架构，曾人工智能创业团队大数据开发组负责人，万方搜索引擎负责人，近几年专注Elasticsearch底层技术，高级Elasticsearch工程师。查看本场Chat本篇文章我们主要讲述一些生产上的简单实战场景。主要涉及一些...

原创 es7 11-1定制化分词之扩展词库

更新

原创 es7 10-10 java搜索接入

低价排序模型只影响召回 不影响排序 使用replace# 低价排序GET shop/_search{ "_source": "*", "script_fields": { "distance": { "script": { "source": "haversin(lat,lon,doc['location'].lat,doc['locati...

原创 es7 10-4 门店搜索4

# 使用function score解决排序模型# tf-idf 打分和function score 做融合GET shop/_search{ "_source": "*", "script_fields": { "distance": { "script": { "source": "haversin(lat,lon,doc['location...

原创 es7【9-4 IK分词器构建】

ik_max_word: 会将文本做最细粒度的拆分，会穷尽各种可能的组合 ik_smart: 会做最粗粒度的拆分 smart 能拆分出来的 max_word一定能拆分出来

原创 es7【8-16自定义score】

GET /movie/_search{ "query": { "function_score": { // 原始查询得到的oldScore "query": { "multi_match": { "query": "steve job", "operator": "or", ...

原创 es7千人前面【8-15过滤与排序】

term查询精确查询， 小写的话能匹配到，改成大写就查不到standard分词器 分割并全部转小写它们之间是and关系must中没有符合条件的 整个bool查询就为空。should和filter一起使用 should控制打分参数 filter控制过滤...

原创 mysql 主从关系杂记

mysqld --install mysqlmaster --defaults-file=“D:\ChromeCoreDownloads\mysql-5.7.28-winx64\my.ini”CREATE USER 'test'@'localhost' IDENTIFIED BY '123456';GRANT privileges ON databasename.tablename ...

原创 es7 父子关系

# 查询父文档，并显示所有子文档：POST my_hobby/_search{ "query": { "has_child": { "type": "dxcontent", "query": { "match": { "dxsx3": "Jack2" } }, "inner_hits...

原创 logtash 增量导入

"format": "8yyyy/MM/dd||yyyy/M/dd||yyyy/MM/d||yyyy/M/d"cat xzsl-cluster.log经度 Longitude 简写Lng 纬度 Latitude 简写Latlongitude and latitude;"lat": 40.715, 维度 "lon": -73.988 经度针对扁平...

原创 es7建立模型及搜索dsl

字段类型(1) text和keywordtext类型用于全文本字段, 文本会被分词. 默认不支持聚合和排序, 只有将fielddata设为true才能支持聚合和排序, 但不推荐使用.keyword类型用于id, 枚举, 或不需要被分词的文本. 适用于filter搜索, 排序和聚合.Elasticsearch默认会为text类型设置一个keyword多字段类型(子字段), 通过key...

原创 es7深入搜索

基于词项和基与全⽂的搜索查询方式，包括：复合查询/全文本查询/term-level查询等什么场景下用 boolen查询，什么场景下用match查询，又是什么场景下用term查询。你可以自己对查询去做一些分类。例如terms查询是用于结构化数据的查询。全文用match查询。而bool属于一种复合查询。可以结合terms查询和match查询。term查询和全文本查询。如果你对内容做...

原创 es7安装杂记

ulimit -Huulimit -Sunetstat -lnp|grep 5601nohup ./bin/kibana --allow-root &./bin/logstash -f ./totalJdbc.conftouch xxx.txt

原创 Spring MVC系列教材 （一）- 教程

Spring MVC系列教材 （一）- 教程必读：基于框架的程序要成功运行，对于JAR包的版本，配置文件的正确性有着苛刻的要求，任何一个地方出错了，都会导致框架程序运行失败。 如果你是第一次学习本框架，务必严格按照教程的指导，完全模仿操作，直到成功看到运行效果。 第一次成功之后，信心，思路都会有较好的铺垫，然后再根据自己的疑惑，在“成功”的代码上做原本想做的改动和调整，这样可以大大节约学习的...

原创 swagger结合ACtion 展示api

package com.keepsoft.devbase.iot.web.config;import cn.hutool.json.JSONArray;import cn.hutool.json.JSONObject;import com.alibaba.fastjson.JSON;import com.fasterxml.classmate.TypeResolver;import ...

原创 docker-compose es7安装杂记

echo 'vm.max_map_count=262144'>/etc/sysctl.conf & sysctl -pdocker-compose down -v & docker-compose updocker compose主要就是用在单台机器上的。多机器的，因该需要docker swam或者是kubernetes。如果需要针对docker容器中的ES安装插件，...

原创 Elasticsearch 权威指南（中文版）

https://es.xiaoleilu.com/index.html

原创 Elasticsearch 史上最全最常用工具清单

Elasticsearch 史上最全最常用工具清单https://www.sohu.com/a/238368297_827544

原创 es7查询总结

PUT nba{ "settings":{ "number_of_shards": 1, "number_of_replicas": 1 }, "mappings":{ "properties":{ "name_cn":{ "type":"text" }, "name_en...

原创 ElasticSearch7高端进阶【分布式搜索引擎进阶学习】查询语句进阶

8-9 查询语句进阶（5）_慕课网 tf idf 算分相关的详细计算多字段查询ElasticSearch评分分析 explian 解释和一些查询理解

原创 es7综合搜索千人千面

GET /shop/_search{ "query": { "function_score": { "functions": [ { "gauss": { "location": { "offset": "0km", "origin": "30.581084...

原创 es7高级语法查询

es字段类型Elasticsearch 7.x 映射（Mapping）中的字段类型ElasticSearch 字段类型介绍Elasticsearch修改字段类型

原创 es7分布式原理

分布式原理 主片 分片 路由当只有一个节点 主分片和从分片都在node1 yellow 启动集群

原创 ES基础语法之基础查询& 搜索原理 倒排索引

PUT /employee/_doc/1{ "name": "Eating an apple a day & keeps the doctor away","age": 30}假如_doc中有1 相当于替换（1；1；<1>)表示在文档1中位置1中出现过1次；（3；2；<1;6>)表示在文档3中位置1和位置6中出现2次...

原创 ElasticSearch常见名词解释

文档元数据一个文档不只有数据。它还包含了 元数据(metadata)—— 关于文档的信息。三个必须的元数据节点是：节点 说明index索引） 文档存储的地方索引时具有相同结构的文档集合。例如，有一个用户信息的索引、订单数据的索引。type 文档代表的对象的类型在索引中，可以定义一个或多个类型，类型是索引的逻辑分区，一般情况下，一种类型被定义为具有一组公共字段的文档。d...

原创 ES基础语法之索引&基础查询

rror [02:12:23.167] [error][reporting] TimeoutError: waiting for target failed: timeout 30000ms exceeded at Function.waitWithTimeout (/opt/es7/kibana-7.5.2-linux-x86_64/node_modules/puppeteer-...

原创 es7 门店搜索杂记

last_run_metadata_pathwhere a.updated_at > :sql_last_value or b.updated_at > :sql_last_valuevim mysql/last_value_metaparams script脚本的入参文档内对应location字段haversin(lat,lon,doc['location'].lat...

原创 es7学习杂记

xpack.ml.enabled: falseThe setting '#/' contains additional properties ["action"] outside of the schema when none are allowedselect a.id,a.name,a.tags,concat(a.latitude,',',a.longitude) as locatio...

原创 docker-compose 安装报错问题记录

./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysispinyin/releases/download/v7.1.0/elasticsearch-analysis-pinyin-7.1.0.zipwww.jhopesoft.comwww.cfcmms.comhttps://www.el...

原创 mysql

--id递增 SELECT a.*, @rownum := @rownum+1 idFROM fxt_bzdy_e a, (select @rownum := -1) bWHERE 1 = 1...

转载 性能优化之 JVM 高级特性

在面试的后期，往往都会问性能优化的问题，譬如你优化过 JVM 吗，有没有遇到过 JVM 排查的场景，如果只能说点基本的见解，那面试官给你的定岗定薪很有可能是初级，为了避免这种尬聊，兄弟，你还是进来深入交流一番吧，而且 JVM 的优化的确能给服务运行带来更低的停顿和更高的吞吐量，优化到位无疑能让代码更稳定的运行，优化不到位，尤其是秒杀和大促的时候，商品没秒杀到，服务倒是被秒杀了，这……就有点不好意思...