学习BigData-CSDN博客

Hadoop生态系统中包含了多个关键组件，如Hive、HDFS、MapReduce等，它们相互配合实现了大规模数据的存储、查询和处理。Hive是建立在Hadoop之上的数据仓库工具，利用类SQL语言（HiveQL）对存储在HDFS中的数据进行查询和分析；而HDFS是Hadoop的分布式文件系统，提供高容错性的数据存储解决方案。Hive利用HDFS作为底层存储系统，通过HiveQL语言来查询和分析HDFS中的数据。Hive将查询转换为MapReduce任务的过程包括解析查询语句、优化执行计划、生成MapRed

2024-03-30 00:19:17 994

原创 yolov8训练自定义数据集——settings.yaml与自定义数据集.yaml指向路径的配置问题

如果你在调用模型预测后找不到预测后的结果存放路径，如果你在训练模型时出现找不到数据集存放位置，都可以来这里寻找答案。

2024-03-29 23:17:22 13537 3

原创 labelme的安装与使用+如何将labelme标注的json格式关键点标签转为yolo格式的标签

yolov8关键点检测数据集官方文档，labelme的安装和使用示例，json格式关键点标签转为yolo格式的代码

2024-03-28 02:23:39 5686 1

原创以Pycharm为例的生成requirements.txt

通常用于Python项目，其中列出了项目依赖的软件包及其版本号。通过在requirements.txt中列出这些依赖项，可以确保其他用户或开发人员能够轻松地安装项目所需的所有软件包及其特定版本，以便项目能够正常运行。一般情况下，可以使用命令快速安装这些依赖项。

2024-03-27 12:44:38 3310

原创 yolov8目标检测数据集制作——labelimg

使用labelimg制作yolo数据集的优点，安装和使用教程。

2024-03-25 18:58:24 1962 2

原创 Could not build wheels for PyQt5-sip, which is required to install pyproject.toml-based projects

ERROR: Failed building wheel for PyQt5-sip

2024-03-25 18:15:43 2337 1

原创 yolov8目标检测数据集制作——make sense

make sense数据标注工具的快捷键，导入导出的支持格式和使用说明。希望刚刚接触这个工作的同志不要再踩坑。

2024-03-23 18:02:41 2129

原创 opencv自定义间隔帧获取视频转存为图片的GUI界面实现

在实现opencv逐帧获取视频转存为图片后我便有了编写程序以图形的形式显示操作页面的想法。本文是基于上篇文章代码的修改通过tkinter以实现简单的GUI图形界面。

2024-03-22 17:37:40 547

原创 Anaconda虚拟环境的介绍与使用

Anaconda虚拟环境的介绍与使用，conda虚拟环境的创建，激活，退出和删除，如何指定虚拟空间创建位置。

2024-03-20 23:53:58 1086

原创 opencv自定义间隔帧获取视频转存为图片

如果视频中的场景单一，那么使用该视频获取的数据集训练出的模型面对其他场景的泛化能力就会受到限制。为了提高数据集的多样性，可以采用多种不同场景的视频，并且在获取数据时采用大间隔捕获的方式。采用大间隔捕获数据的方法可以捕获到的图片同质化降低，从而进一步增加数据集的多样性。由于我要做一个深度学习方向的计算机视觉项目，需要一些数据集来进行训练，我便想尝试捕获视频中的图片用来标注。

2024-03-19 23:56:38 602

原创数据库笔记——分析总结聚集索引、非聚集索引和覆盖索引

然而，事物都是有两面的，索引能让数据库查询数据的速度上升，而使写入数据的速度下降，原因很简单的，因为平衡树这个结构必须一直维持在一个正确的状态，增删改数据都会改变平衡树各节点中的索引数据内容，破坏树结构，因此，在每次数据改变时， DBMS必须去重新梳理树（索引）的结构以确保它的正确，这会带来不小的性能开销，也就是为什么索引会给查询以外的操作带来副作用的原因。当然，有的数据库也使用哈希桶作用索引的数据结构，然而，主流的RDBMS(关系型数据库)都是把平衡树当做数据表默认的索引数据结构的。

2024-02-04 21:51:18 1110

原创 Pycharm连接云算力远程服务器（AutoDL）训练深度学习模型全过程

我试图使用`笔记本联想小新air14的mx350显卡`训练一个图像检测的深度学习模型，但是训练时长大概需要几天时间远超我的预期，所以我便选择租用GPU进行训练，在对多家平台对比后找到了经济实惠的AutoDL，接下来是我租用GPU--配置环境--连接Pycharm--训练模型的全过程，基于本人也是刚入门的新手，如果有不恰当的地方还请大家指教。

2024-01-28 15:47:21 24295 35

原创 Windows配置深度学习环境(从查询合适的torch版本开始)——torch+CUDA+cuDNN

本文详细讲解了windows配置pytorch深度学习环境的全过程

2024-01-22 01:30:25 6820

原创力扣(LeetCode)高频SQL50题(部分) ---- SQL学习笔记

此为本人复盘使用笔记，有不足之处请大家不吝指出。

2024-01-07 16:40:20 1994 1

原创链接提取器CrawlSpider的使用

此文章以我的另一篇关于数据采集与存储的博客为例写了CrawlSpider的部分功能。

2022-12-09 14:55:41 460

原创 xpath的安装与使用

xpath软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论，我会及时更新）

2022-12-09 13:52:56 1952

原创数据采集与存储案例——基于Python爬虫框架Scrapy的网络数据爬取与MySQL数据持久化

pip命令常用的国内源，scrapy爬虫框架的安装，如何分析html爬取结构化数据，如何将爬取到的数据存储在mysql中。

2022-12-09 13:32:47 2738 4

原创 MySQL数据库查询出现中文乱码

使用ETL向MySQL导入数据出现中文乱码

2022-10-20 14:39:42 1328

原创 8.Hadoop的HA(高可用)模式集群搭建

详细说明Hadoop的HA模式搭建的过程，使用hadoop-3.1.3，jdk1.8.0_162

2022-10-17 10:36:48 2064

原创 Hadoop一键启动脚本编写

Hadoop集群的单独启动命令和一键启动脚本编写

2022-10-15 18:16:01 2161 2

原创 10.HBase的HA（高可用的）完全分布式配置

HBase的HA完全分布式搭建

2022-10-14 21:01:12 1359 2

原创 HBase使用时出现 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

hbase使用时出现的错误

2022-10-14 16:53:45 1733

原创 Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

对此问题在配置hive时也有出现，问题主要是虚拟机内HBase，Spark，Hadoop三者的guava版本不一致导致的。Hadoop的guava.jar存放在/share/common/lib目录下，HBase的guava.jar存放在lib文件夹下。在我的虚拟机中Hadoop中的guava版本最高，为guava-27.0-jre.jar版本，所以我们将其复制到对应的HBase和Spark目录。（rm -rf 为删除命令，将guava的名字改为对应的版本号）查看HBase中的guava版本。

2022-10-14 15:00:37 6955 3

原创 Bringing up interface eth0: Device eth0 does not seem to be present, delaying initialization.

解决linux虚拟机复制后转移物理位置后产生的网卡问题

2022-10-09 18:46:53 2631 4

原创 7.Linux虚拟机下ZooKeeper的全分布式安装和常见问题

hadoop-3.1.3jdk-8u162-linux-x64hbase-2.2.2-binzookeeper-3.4.6本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论，我会及时更新）使用hbase启动顺序：zookeeper->hadoop->hbase关闭：hbase->hadoop->zookeeper命令（写过脚本的）：xzk-start.shhadoop.sh starts

2022-09-08 14:11:06 2019