- 博客(22)
- 收藏
- 关注
原创 深入理解 Hadoop 核心组件 Yarn:架构、配置与实战
Yarn采用主从架构,由ResourceManager、NodeManager、Container和ApplicationMaster四大组件协同工作,确保资源的高效分配和任务管理。在配置与搭建实战中,通过关键配置步骤和启动命令,可以快速部署Hadoop集群。
2025-05-19 13:04:18
509
原创 【Hadoop 小剧场】SecondaryNamenode:小秘的工作日常与核心使命
SecondaryNamenode的存在不仅防止了日志爆炸,还提供了轻量级的检查点,支持快速恢复元数据和集群状态监控。
2025-05-19 08:30:00
460
原创 【Linux 运维】三招搞定集群管理!自定义脚本实现一劳永逸
jps-cluster.sh脚本允许在主节点一键查看所有集群节点的Java进程状态,无需逐个登录。xsync.sh脚本通过rsync实现文件或文件夹的高效同步分发,避免手动逐个节点拷贝。xcall.sh脚本支持在所有集群节点上同时执行相同命令,如安装软件或更新配置,减少逐台操作的时间。
2025-05-18 17:05:21
734
原创 开发运维人手一份!常见网络端口分类大全,解锁多场景应用的正确姿势
端口范围从0到65535,分为周知端口(0-1023)、注册端口(1024-49151)和动态/私有端口(49152-65535)
2025-05-18 08:30:00
515
原创 MapReduce 里的「片」和「块」是啥?看这篇就够了!
数据存储的基本物理单元是“块”,默认大小为128MB,这种固定大小的设计提高了数据存储的可靠性和效率。而“片”则是MapReduce计算中的逻辑单元,通常与块大小相近,但不会超过块大小的1.1倍。
2025-05-17 17:53:10
460
原创 MapReduce Shuffle 全解析:从 Map 端到 Reduce 端的核心数据流
Shuffle是MapReduce框架中的核心环节,负责在MapTask和ReduceTask之间进行数据传输和处理。
2025-05-16 13:12:47
1075
原创 《Linux 包管理实战手册:RPM 精准操作与 YUM 自动化部署从入门到精通》
RPM(RedHat Package Manager)是一种轻量级的包管理工具,支持安装、查询、验证和卸载软件包,但需要手动处理依赖关系。文章通过多个实战场景展示了RPM的核心命令,如安装、查询和卸载RPM包。YUM(Yellowdog Updater, Modified)则基于RPM,通过远程仓库自动解决依赖关系,支持批量安装、更新和卸载软件,大幅降低了运维成本。文章还介绍了YUM仓库的配置和常用命令,如安装、查询、更新和卸载软件包。
2025-05-16 07:00:00
237
原创 《3 分钟学会!用这 4 个命令彻底掌控 Linux 文件权限(附实战案例)》
本文详细介绍了文件权限的基础知识,包括权限位和特殊标志的解析,以及如何使用chmod、chown和chgrp命令灵活修改文件权限。
2025-05-15 13:05:21
222
原创 HDFS 深度解析:核心原理与机制详解
HDFS 作为分布式文件系统的经典实现,通过数据分块存储、多副本容灾、机架感知等特性,为大数据存储提供了高效可靠的解决方案。其体系结构中的 NameNode、DataNode 和 Secondary NameNode 各司其职,保障了系统的正常运行。安全模式等机制进一步提升了数据的一致性和集群的稳定性
2025-05-15 08:12:23
977
原创 IDEA 实用插件推荐:5 款提升编码效率的宝藏工具(附安装及使用指南)
BracePairColorizer2,通过颜色区分括号,增强代码可读性;Translation,提供中英文双向翻译,支持代码注释和文档的快速处理;ERNIEBot,AI编程辅助工具,提供代码补全和问题解答;GsonFormat,自动将JSON数据转换为JavaBean类,简化POJO编写;通义灵码,阿里云的AI编码助手,支持自然语言生成代码和单元测试
2025-05-14 12:47:21
1488
原创 《肝爆整理!Linux 管道命令全攻略:12 大核心命令 + 30 + 实战代码,看完直接告别查文档》
本文系统介绍了Linux系统中12个高频管道命令,包括wc、cut、grep、sort、uniq、tee、tr、join、paste、split、xargs和awk。每个命令均详细说明了其功能、常用选项及典型应用场景,并提供了具体的示例和输出结果。
2025-05-14 08:00:00
1173
原创 《手把手教你!3 台虚拟机搭建 Hadoop 全分布环境,附超详细避坑指南,小白也能 100% 成功》
本文介绍了在Linux环境下配置Hadoop全分布模式的步骤。首先,需要准备三台服务器,并确保它们满足运行条件。接着,进行环境准备工作,包括安装JDK、设置host映射、配置免密登录、安装Hadoop、关闭防火墙和修改Linux安全机制等等。
2025-05-13 10:31:19
366
原创 vim常用操作超简单总结
本文介绍了Vim编辑器的多种操作技巧,涵盖了插入模式、移动命令、删除/复制/粘贴、剪贴板操作、替换命令以及文件保存与行号配置。通过具体场景和操作步骤,展示了如何在Vim中高效编辑文本文件。例如,在插入模式下添加和修改内容,使用移动命令快速定位光标,通过删除、复制和粘贴操作编辑文件内容,利用剪贴板进行多内容复制,使用替换命令批量修改文字,以及配置永久行号并另存文件。这些技巧帮助用户提升在Vim中的编辑效率,适用于日常文本处理任务。
2025-05-12 13:18:37
708
原创 (跟练版)6分钟掌握Shell中grep命令
本文介绍了如何使用grep命令处理文本文件a.txt,展示了多种查找和匹配文本的方法。包括普通文本匹配、忽略大小写匹配、反向匹配、匹配整个单词、显示行号、统计匹配行数、只显示匹配字符串以及使用正则表达式匹配特定字符开头的行或包含数字的行。每种方法都提供了命令示例、解释和预期的输出,帮助用户更好地理解和应用grep命令进行文本处理。
2025-05-10 11:41:39
162
原创 Shell中的sed命令(简单详细,一看就会,没一句废话)
sed 是一个强大的流编辑器,用于对文本进行过滤、查找、替换和编辑操作。它可以通过命令行对文件进行逐行处理,支持正则表达式和多种操作选项。常用功能包括:打印特定行(如 -n 和 p 组合)、显示行号(cat -n 或 sed -n '=')、查找匹配内容(如 /login/p)、删除指定行(d)、插入或追加文本(i 和 a)、以及替换字符串(s/old/new/)。sed 还支持正则表达式(-r),如 r+t 表示 r 至少出现一次。通过这些功能,sed 可以高效地处理文本数据,满足多种编辑需求。
2025-05-10 07:00:00
329
原创 学习大数据新手需要掌握的语言,重要的程度由高到低排序
在大数据领域,JavaScript 常用于数据可视化库(如 D3.js、Highcharts 等)的开发,能够将处理后的数据以各种图表、图形等形式展示在网页上,实现数据的直观呈现和交互探索。由于 Spark 的 API 在 Scala 中具有简洁而强大的表达方式,因此 Scala 成为了开发 Spark 应用程序的首选语言之一,可用于构建高效的数据处理流水线和复杂的数据分析模型。例如,通过 Shell 脚本可以实现数据的定期备份、集群节点的监控和管理、任务的定时调度等功能,提高大数据处理的效率和可靠性。
2025-05-08 20:55:00
635
原创 Linux虚拟机中安装JDK
1、创建一个文件夹,用于存放安装包 /opt/modules。2.上传文件(安装包)3.将软件解压到/opt/installs。在文件的最后追加,不要删除别人的任何配置。6.刷新配置文件,让配置文件生效。7.验证配置是否生效。
2025-05-08 20:44:13
421
原创 Linux虚拟机中mysql8.0的安装(rpm)
systemctl start mysqld 这个是启动mysql。systemctl status mysqld 查看mysql的状态。通过以下第一个代码查看mariadb信息,第二个代码为删除。
2025-05-07 20:50:25
1121
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人