Java_KW的博客

es基础和python调用

文章目录一、gRPC 简介概述协议缓冲区二、gRPC 的 Hello World协议缓冲区gRPC 服务端gRPC 客户端启动 gRPC一、gRPC 简介概述gRPC是搭建分布式应用接口和客户端的框架。在 gRPC 中，客户端应用程序可以直接调用不同机器上的服务器应用程序上的方法，就像它是本地对象一样，可以更容易创建分布式应用程序和服务。与许多 RPC 系统一样，gRPC 基于定义服务的思想，指定可以远程调用的方法及其参数和返回类型。在服务端，服务端实现这个接口并运行一个 gRPC 服务器来处理客户端

文章目录pandas中的日期格式一、提取日期的属性二、日期的偏移操作三、日期格式化pandas中的日期格式日期格式的字符串转换为日期格式使用pd.to_datetimedata['Order Date'] = pd.to_datetime(data['Order Date'])一、提取日期的属性提取日期格式中的年、月、日、时、分、秒data['Order Date'].dt.yeardata['Order Date'].dt.monthdata['Order Date'].dt.day

文章目录k-means 聚类算法一、原理二、python实现聚类分析三、sklearn实现聚类分析四、 K-means算法优缺点参考：数据挖掘十大算法（二）：K-means聚类算法原理与实现K-means聚类分析算法原理、改进及实现k-means 聚类算法一、原理K-means聚类算法是一种无监督分类算法，将划分出来的类簇中点的均值当作该类簇的中心点，其可以在不确定划分规则的前提下，通过对数据集合不断迭代的方法对数据集进行划分，自动计算并更新每个类簇的中心点。K-means聚类算法是一种迭

文章目录安居客租房数据爬虫以及数据分析一、安居客租房数据爬虫部分二、安居客租房数据分析一、 读取数据，并简单处理数据1.1 判断是否有重复值1.2 判断是否有缺失值二、简单分析数据2.1 处理数据2.2 查看价格、面积的分布情况价格的分布情况面积的分布情况2.3 区域、层数对价格的影响各个区域的价格分布情况各个层级的价格分布情况三、分析数据间的相关性四、数据标准化五、总结安居客租房数据爬虫以及数据分析最近把安居客租房的数据爬取了一部分，正好想着进行一些简单的数据分析。一、安居客租房数据爬虫部分爬

文章目录判断文件是否存在，以及复制文件pandas 判断某一列的规则pandas 中 series 转换为 dataframepandas读取excel文件的两种方式dataframe 与列表运算获取某月的第一天和最后一天的日期pandas删除重复值*drop_duplicates*判断文件是否存在，以及复制文件import osimport shutil# 判断文件是否存在if not os.path.exists('C:\\Users'): # 复制文件，类似于 cp 命令 s

python操作word文章目录python操作word1、需要安装`python-docx`库2、导入相关包3、操作word3.1 读取word文件3.2 修改段落文字，以及段落样式（风格和大小）3.3 修改表格的中的内容3.4 删除表格或段落3.5 将document对象保存为docx文档4、模板4.1 更新表格函数4.2 更新文本函数1、需要安装python-docx库pip install python-docx2、导入相关包from docx import Documentfrom

杂记pandas实现SQL的in和not inimport pandas as pddf = pd.DataFrame({'id':['3000','4001','4002','3005']})ids = ['4001','4002']# 方式一df[df.id.isin(ids)]df[~df.id.isin(ids)]# 方式二df.query("id in @ids")df.query("id not in @ids")pandas 实现 startswith# 方式

文章目录scrapy框架安装创建一个scrapy项目终端工具命令scrapy框架安装pip install scrapy创建一个scrapy项目scrapy startproject tutorial创建一个tutorial包含以下内容的目录：tutorial/ scrapy.cfg # 项目的配置文件 tutorial/ # python模块，在这里添加你的爬虫项目 __init__.py it

文章目录一、确认爬取目标二、尝试爬取三、使用`pyppeteer`库四、完整代码一、确认爬取目标爬取中国移动采购与招标网https://b2b.10086.cn/b2b/main/listVendorNotice.html?noticeType=2二、尝试爬取首先我使用开发者工具，尝试看一下，数据是怎么请求回来的。然后就发现这个，https://b2b.10086.cn/b2b/main/listVendorNoticeResult.html?ekp1APd1=5TLUwJWxAYS

文章目录pyppeteerpyppeteer和puppeteer的不同点安装简单使用模拟文本输入和点击移除Chrome正受到自动测试软件的控制爬取京东商城pyppeteerpyppeteer 是非官方 Python 版本的 Puppeteer 库，浏览器自动化库，由日本工程师开发。Puppeteer 是 Google 基于 Node.js 开发的工具，调用 Chrome 的 API，通过 JavaScript 代码来操纵 Chrome 完成一些操作，用于网络爬虫、Web 程序自动测试等。pyppet

文章目录selenium库引擎启动器访问地址切换网页，框架定位元素对元素进行操作网页等待、元素等待、元素遮蔽网页转换、Beautifulsoup、lxml网页关闭，引擎退出定位元素的一些注意事项其他数据保存的问题（简略介绍，以后会详细学习）selenium库selenium库是模拟浏览器，动态爬虫的一个库。首次使用需要安装pip install selenium安装之后导入selenium包就可以了。import selenium一般常用的类有：from selenium import

文章目录爬虫步骤正则表达式什么是正则表达式？正则表达式的规则Python的re模块compile函数match函数search函数findall函数finditer函数split函数sub函数匹配中文注意：贪婪模式与非贪婪模式使用正则爬取工作信息xpath什么是XML?XML的节点关系XPath是什么？xpath语法--选取节点xpath语法--谓语xpath语法--选取未知节点xpath语法--选取若干路径XPath的运算符lxml库xpath实例使用xpath爬取工作信息BeautifulSoup4例子

文章目录groupby对象按列取值groupby对象可以按组迭代累计、过滤、转换和应用先导入包import numpy as npimport pandas as pdimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False #用来正常负号groupby对象df1 = pd.DataFram

正则表达式. —> 代表任意非换行\n符之外的任意字符[...] —> 字符集 例如：[A-Za-z0-9]{n} —> 重复前面字符n次。\d —> 匹配0-9 \D 匹配非数字\s —> 匹配空白 \S 匹配非空白\w ---->相当于[A-Za-z0-9_] \W 匹配非w* —>匹配前面字符0次或者无限次 若不确定要匹配的字符有没有，使用*+ —>匹配前面字符1次或者无限次

文章目录创建tk对象创建标签创建按钮创建文本窗口创建tk对象在对象创建时，使用关键字参数fred = Button(self, fg="red", bg="blue")创建对象后，将选项名称视为字典索引fred["fg"] = "red"fred["bg"] = "blue" # bg是“背景”的简写创建对象后，使用config（）方法更新多个属性fred.config(fg="red", bg="blue")按钮有一个command参数，标签没有。即鼠标的点击效果Packer