- 博客(11)
- 收藏
- 关注
原创 error while loading shared libraries: libtinfo.so.5: cannot open shared object file: No such
环境中没有libtinfo.so.5组件。
2024-09-05 12:37:19
757
原创 Hive之Hiveserver2 metastore环境部署
Hive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将,并提供类SQL查询功能。1)Hive处理的数据存储在HDFS2)Hive分析数据底层的实现是MapReduce3)执行程序运行在Yarn上。
2024-09-05 08:57:08
1705
原创 Hadoop-3.1.3伪分布式部署
以前hadoop 2.X 版本,访问web界面,hdfs端口号是50070,现在3.X版本,端口号是9870(最好自己指定端口号)配置好后,即可直接查看hadoop 版本号。前提:已完成免密登录,jdk配置。分发完后去副节点刷新环境变量。我们只用修改其中的6条。
2024-09-05 08:53:30
894
原创 Hadoop3.1.3部署汇总
1.1 Hadoop 是什么(1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构(2)主要解决海量数据的存储和海量数据的分析计算问题(3)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈1.2 Hadoop 优势(1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。(2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。(3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加
2024-09-05 08:52:10
891
原创 解决VSCode安装Go tools失败的问题
测试环境安装Go后,打开VS Code,按照提示安装了微软官方的GO插件。但在安装go tools时,出现了下面的一大堆错误(日志)。解决方案设置完成后重启VS Code,按照提示安装即可。参考https://l2m2.top/2020/05/26/2020-05-26-fix-golang-tools-failed-on-vscode/
2024-05-09 19:53:06
628
1
原创 Ubuntu基础配置+Docker配置和使用+容器化centos7大数据环境准备
大数据技术与应用赛项平台环境模拟,使用ubuntu,利用docker搭建大数据集群
2023-08-12 20:00:32
2173
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人