reset2021的博客

算法数据分布簇数明确性噪声处理计算效率K均值圆形、密度较高需要指定不适合高效层次聚类层次结构或簇数未知可选中等较低DBSCAN任意形状，具有密度差异未指定适合一般通过对各类聚类方法的比较与实际应用案例，当项目面临不同类型的数据挑战时，可以选择合适的算法并优化其性能。

python MySQL 增删改查相关操作

python文档读写操作

通过sqlalchemy工具来实现对mysql进行操作

python sqlite 增删改查操作

上一博客中https://blog.csdn.net/reset2021/article/details/119209553中讲述了怎样通过dlib实现人脸的特征检测，以及特征描述，获取人脸对应的128维向量。这一篇文章主要讲述一下通过sqlite3实现对上述特征向量的保存。1、sqlite3的安装首先查询一下是否已经安装了sqlite3，在python环境下输入如下命令：import sqlite3如果没有安装的话，需要先进行编译，然后重新安装相应的python版本，具体操作可以

window下配置kafka环境

如果你有更多需求（如自定义训练、模型微调等），可以深入研究 Hugging Face 的 `transformers` 库和 PyTorch 的高级功能。你可以使用 `transformers` 库直接加载模型。如果你希望将 DeepSeek 模型部署为一个 API 服务，可以使用 `Flask` 或 `FastAPI`。如果你的机器有 GPU，可以使用 PyTorch 的 GPU 支持来加速推理。如果你的机器有多个 GPU，可以使用 PyTorch 的分布式训练和推理功能。3.2 将模型移动到 GPU。

在进行人脸相关处理中，人脸数据集是关键，这里描述一下怎样爬取人脸数据集1、获取艺人名称① 获取完整url路径在百度中搜索“中国艺人”得到以下界面通过分析，url的完整路径为："https://sp0.baidu.com/8aQDcjqpAAV3otqbppnN2DJv/api.php?resource_id=28266&from_mid=500&format=json&ie=utf-8&oe=utf-8&query=%E4%B8%AD%E

今天先从实操作来讲述采用scrapy来实现对csdn博客的爬取，后续慢慢剖析scrapy爬虫的原理和结构。1）环境搭建首先安装scrapypip install scrapy其他库依据需要自动进行安装2）新建项目scrapy startproject csdn_blog执行完毕后，在该执行目录下，将生成一个名为"csdn_blog"的目录该目录的结构如下所示3) 新建爬虫命令如下：scrapy genspider csdn_spider www.csdn

在上一篇文章中讲述了scrapy爬虫的基本步骤，但是只可爬取strat_url的数据，https://blog.csdn.net/reset2021/article/details/124449231?spm=1001.2014.3001.5502这里继续讲述一下多个url的爬虫流程这次以同花顺行情数据url为讲解对象，主要爬取最新的行情数据。1）新建项目scrapy startproject tonghuashun2) 新建爬虫scrapy genspider quote_da

上一篇文章中简单地讲述用scrapy进行简单爬虫流程https://blog.csdn.net/reset2021/article/details/124449231?spm=1001.2014.3001.5502这里在上篇文章的基础上讲述怎样用scrapy实现爬虫，并且保存到数据库中。1、scrapy框架 scrapy框架如下图所示：其中，包含两个中间件：下载器中间件（Downloader Middleware）和爬虫中间件（Spider Middleware）。使用中...

pem证书转.cer证书：openssl x509 -outform der -in xxx.pem -out xxx.cer。根据hash开头的值作为.pem的文件名注意后缀(.0)：将FiddlerRoot.pem改为269953fb.0。修改代理服务器与端口号（代理服务器为本电脑的ip，端口号为fiddler软件配置的端口号）直接进行 证书安装，会提示 证书不被信任，所以需要安装 openssl对证书进行处理。1）进入 HTTPS 页面，进行相关配置，按照下图的设置进行配置即可。

今天涉及到一个摄像头的项目，但是该项目是提供给第三方的，所以也就不大清楚摄像头的id。这里讲述三种搜索可用摄像头的实现代码1、PyCameraList这个是最简单的from PyCameraList.camera_device import list_video_devices, cameras = list_video_devices()camera_id_list = []for idx in range(0,len(cameras)): camera_id = came

人脸相关项目，人脸数据是基本，也是比较麻烦的，最近在进行人脸数据采集的时候，发现了一个很实用的外文网站。于是针对该网站进行分析。爬取相应的人脸数据。1、首先，获取所有的页面列表通过对网站内容的分析，发现该网站已经实现了按名字首字母的分页。形式如下https://celebs-place.com/photos/people-A.htmlhttps://celebs-place.com/photos/people-B.htmlhttps://celebs-place.com/phot...

对沪深A股的股票行情进行爬取，并保存在mongodb数据库中，最终通过查询数据库中的相关数据计算周行情数据。1、爬取沪深A股目前的所有股票代码def get_stock_list(): code_id_list = [] for page in range(230): Url = 'http://62.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112407939967130801426_1628420280

现在讲述python网络爬虫的资料已经很多啦，由于项目的需求，需要收集人脸相关数据集，于是便考虑用爬虫来补充部分数据集，下面将结合尚街拍（https://www.jiepai.net/）网站的具体爬虫过程来对pythonrequests 具体爬虫过程进行梳理总结。1、首先对网站进行一个简单分析，结合目的本身，由于本需求重点关注的是人脸相关数据，所以选取网站上的明星穿衣子网页作为重点爬取对象（https://www.jiepai.net/dapei/mingxingchuanyi）2...

接上一篇文章，这边文章介绍一下BeautifulSoup爬虫的操作流程。备注：目的还是爬取相关人物目标的图片数据集本文还是以https://www.jiepai.net/网站图片爬取为例。1、首先对网站进行一个简单分析，结合目的本身，由于本需求重点关注的是人脸相关数据，所以选取网站上的明星穿衣子网页作为重点爬取对象（https://www.jiepai.net/dapei/mingxingchuanyi）。因为BeautifulSoup主要是对html文件格式进行的解析，所以还是需要借助re..