【大数据入门核心技术】学习导读列表--建议收藏

置顶 已于 2025-04-28 21:23:58 修改
阅读量1.9k 收藏 7
点赞数 3
分类专栏： 大数据技术入门到21天通关 文章标签： 大数据 kafka zookeeper hadoop big data 1024程序员节
于 2022-12-03 00:43:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forest_long/article/details/128156799
版权
本文档为大数据入门核心技术的学习指南，涵盖大数据基础知识、Zookeeper、Hadoop、Hive、Hbase等重要组件，从基本概念到实战应用，详细讲解各个组件的工作原理和操作方法，适合初学者系统学习。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本专栏内容持续更新中，敬请收藏~~~

本专栏内容持续更新中，敬请收藏~~~

本专栏内容持续更新中，敬请收藏~~~

本专栏内容持续更新中，敬请收藏~~~

一、大数据基础知识

【大数据入门核心技术-基本概念】（一）大数据相关基本概念

【大数据入门核心技术-基本概念】（二）大数据行业生态

【大数据入门核心技术-基本概念】（三）大数据应用领域和行业

二、Zookeeper

【大数据入门核心技术-Zookeeper】（一）Zookeeper基本原理

【大数据入门核心技术-Zookeeper】（二）ZAB协议介绍

【大数据入门核心技术-Zookeeper】（三）Zookeeper的选举机制和流程

【大数据入门核心技术-Zookeeper】（四）Zookeeper的应用场景

【大数据入门核心技术-Zookeeper】（五）ZooKeeper集群搭建

【大数据入门核心技术-Zookeeper】（六）ZooKeeper基本Shell操作

【大数据入门核心技术-Zookeeper】（七）ZooKeeper JavaAPI 操作

【大数据入门核心技术-Zookeeper】（八）ZooKeeper Python API 操作

【大数据入门核心技术-Zookeeper】（九）图形化的客户端工具（ZooInspector）

二、Hadoop

【大数据入门核心技术-Hadoop】（一）Hadoop简介

【大数据入门核心技术-Hadoop】（二）Hadoop基础概念之HDFS

【大数据入门核心技术-Hadoop】（三）Hadoop基础概念之MapReduce

【大数据入门核心技术-Hadoop】（四）Hadoop基础概念之YARN

【大数据入门核心技术-Hadoop】（五）Hadoop3.2.1非高可用集群搭建

【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建

【大数据入门核心技术-Hadoop】（七）Hadoop基本Shell命令行

【大数据入门核心技术-Hadoop】（八）Hadoop基本管理命令行

【大数据入门核心技术-Hadoop】（十）Hadoop数据迁移distcp详解

【大数据入门核心技术-Hadoop】（十一）Hadoop快照Snapshot详解

【大数据入门核心技术-Hadoop】（十二）Hadoop归档Har详解

【大数据入门核心技术-Hadoop】（十三）Hadoop JavaAPI 操作

【大数据入门核心技术-Hadoop】（十四）Hadoop MapReduce代码实战

【大数据入门核心技术-Hadoop】（十五）Hadoop底层数据文件存储

三、Hive

【大数据入门核心技术-Hive】（一）Hive简介

【大数据入门核心技术-Hive】（二）MySQL5.7安装

【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建

【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建

【大数据入门核心技术-Hive】（五）Hive基本Shell命令行

【大数据入门核心技术-Hive】（六）Hive的数据存储格式

【大数据入门核心技术-Hive】（七）HiveSQL数据定义

【大数据入门核心技术-Hive】（八）Hive 时间转换

【大数据入门核心技术-Hive】（九）HiveSQL数据查询

【大数据入门核心技术-Hive】（十）内置函数

【大数据入门核心技术-Hive】（十一）HiveSQL数据分区

【大数据入门核心技术-Hive】（十二）Hive调优

【大数据入门核心技术-Hive】（十三）Hive JavaAPI 操作

【大数据入门核心技术-Hive】（十四）Hive PythonAPI 操作

【大数据入门核心技术-Hive】（十五）Hive的Hcatalog详解

【大数据入门核心技术-Hive】（十六）hive表加载csv格式数据或者json格式数据

【大数据入门核心技术-Hive】（十七）常用hive shell命令汇总

【大数据入门核心技术-Hive】（十八）Hive的ACID事务支持

【大数据入门核心技术-Hive】（十九）Hive的UDF、UDTF、UDAF

【大数据入门核心技术-Hive】（二十）Hive哪些操作会触发MR

【大数据入门核心技术-Hive】（二十一）Hive中double和decimal的区别

【大数据入门核心技术-Hive】（二十一）Hive日志中如何查看完整的sql

四、Hbase

【大数据入门核心技术-Hbase】（一）HBase简介

【大数据入门核心技术-Hbase】（二）HBase数据模型

【大数据入门核心技术-HBase】（三）HBase2.2.2非高可用环境搭建

【大数据入门核心技术-HBase】（四）HBase2.2.2高可用集群搭建

【大数据入门核心技术-HBase】（五）HBase基本Shell操作

【大数据入门核心技术-HBase】（六）HBase JavaAPI 操作

【大数据入门核心技术-HBase】（七）HBase Python API 操作

【大数据入门核心技术-HBase】（八）Phoenix简介

【大数据入门核心技术-HBase】（九）Phoenix的安装部署

【大数据入门核心技术-HBase】（十）Hbase结合Phoenix的使用

【大数据入门核心技术-HBase】（十一）HBase手动清除表相关信息

【大数据入门核心技术-HBase】（十二）Hbase快照Snapshot详解

【大数据入门核心技术-HBase】（十三）Hbase参数调优

【大数据入门核心技术-HBase】（十五）Hbase Replication操作

【大数据入门核心技术-HBase】（十六）Hive和Hbase的整合

五、Sqoop

【大数据入门核心技术-Sqoop】（一）Sqoop简介

【大数据入门核心技术-Sqoop】（二）Sqoop安装

【大数据入门核心技术-Sqoop】（三）Sqoop基本Shell命令行

【大数据入门核心技术-Sqoop】（四）使用Sqoop将MySQL数据导入到HDFS

六、Impala

【大数据入门核心技术-Impala】（一）Impala简介

【大数据入门核心技术-Impala】（二）Impala核心组件和架构

【大数据入门核心技术-Impala】（三）Impala安装

【大数据入门核心技术-Impala】（四）Impala基本Shell命令行

七、Kafka

【大数据入门核心技术-Kafka】（一）Kafka简介

【大数据入门核心技术-Kafka】（二）Kafka非高可用集群部署

【大数据入门核心技术-Kafka】（三）Kafka高可用集群部署

【大数据入门核心技术-Kafka】（四）Kafka常用shell命令

【大数据入门核心技术-Kafka】（五）Kafka JavaAPI 操作

【大数据入门核心技术-Kafka】（六）Kafka Python API 操作

【大数据入门核心技术-Kafka】（七）Kafka扩容broker和数据迁移

八、Flume

【大数据入门核心技术-Flume】（一）Flume简介

【大数据入门核心技术-Flume】（二）Flume安装部署

【大数据入门核心技术-Flume】（三）使用Flume采集数据到HDFS

【大数据入门核心技术-Flume】（四）使用Flume采集数据到Hive

【大数据入门核心技术-Flume】（五）使用Flume采集数据到Hbase

九、Spark

【大数据入门核心技术-Spark】（一）Spark介绍

【大数据入门核心技术-Spark】（二）Spark核心模块

【大数据入门核心技术-Spark】（三）Spark 本地模式安装

【大数据入门核心技术-Spark】（四）Spark Standlone模式安装

【大数据入门核心技术-Spark】（五）Spark On Yarn模式安装

【大数据入门核心技术-Spark】（六）Spark Standlone HA模式安装

【大数据入门核心技术-Spark】（七）执行Spark任务的两种方式:spark-submit和spark-shell

【大数据入门核心技术-Spark】（八）Spark Core的RDD详解

【大数据入门核心技术-Spark】（九）Spark Core的RDD创建

【大数据入门核心技术-Spark】（十）Spark Core的RDD操作

【大数据入门核心技术-Spark】（十一）Spark Core实战实例（一）

【大数据入门核心技术-Spark】（十二）Spark Core实战实例（二）

【大数据入门核心技术-Spark】（十三）Spark Streaming简介

【大数据入门核心技术-Spark】（十四）Spark Streaming数据抽象DStream_spark streaming的数据抽象

【大数据入门核心技术-Spark】（十五）Spark Streaming实战案例-WordCount

【大数据入门核心技术-Spark】（十六）Spark Streaming实战案例2-WordCount

【大数据入门核心技术-Spark】（十七）Spark Streaming整合 Kafka

【大数据入门核心技术-Spark】（十八）Spark SQL介绍

【大数据入门核心技术-Spark】（十九）Spark SQL数据抽象

十、Flink

【大数据入门核心技术-Flink】（一）Flink介绍

【大数据入门核心技术-Flink】（二）Flink安装部署-本地模式

【大数据入门核心技术-Flink】（三）Flink安装部署-独立集群模式

【大数据入门核心技术-Flink】（四）Flink安装部署-Flink On Yarn模式

【大数据入门核心技术-Flink】（五）Flink版本WordCount-Java版本

【大数据入门核心技术-Flink】（六）Flink版本WordCount-Scala版本

【大数据入门核心技术-Flink】（七）Flink读取数据的6种方式（集合、文件、Kafka、MySQL、Socket、自定义数据源）-Java版本

【大数据入门核心技术-Flink】（八）Flink读取数据的6种方式（集合、文件、Kafka、MySQL、Socket、自定义数据源）-Scala版本

十一、Tez

【大数据入门核心技术-Tez】（一）Tez介绍

【大数据入门核心技术-Tez】（二）Tez安装

【大数据入门核心技术-Tez】（三）Tez与Hive整合

【大数据入门核心技术-Tez】（四）Tez与Hdfs整合

十二、Ambari

【大数据入门核心技术-Ambari】（一）Ambari介绍

【大数据入门核心技术-Ambari】（二）Ambari架构原理

【大数据入门核心技术-Ambari】（三）Ambari安装部署

十三、Kylin

【大数据入门核心技术-Kylin】（一）Kylin简介

【大数据入门核心技术-Kylin】（二）Kylin集群安装

【大数据入门核心技术-Kylin】（三）Kylin快速入门之离线任务构建

【大数据入门核心技术-Kylin】（四）Kylin快速入门之Kafka Streaming实时流任务构建

十四、Hue

【大数据入门核心技术-Hue】（一）Hue介绍

【大数据入门核心技术-Hue】（二）Hue安装部署

 十四、DolphinScheduler

【大数据入门核心技术-DolphinScheduler】（一）DolphinScheduler简介

【大数据入门核心技术-DolphinScheduler】（二）DolphinScheduler安装部署

 十五、Doris

【大数据入门核心技术-Doris】（一）Doris简介

【大数据入门核心技术-Doris】（二）Doris安装部署

【大数据入门核心技术-Doris】（三）Doris基本Shell和数据模型

【大数据入门核心技术-Doris】（四）数据存储模型之Unique数据存储模型

【大数据入门核心技术-Doris】（五）分区和分桶

【大数据入门核心技术-Doris】（六）数据导入

【大数据入门核心技术-Doris】（七）Docker安装Doris

十六、Kudu

【大数据入门核心技术-Kudu】（一）Kudu简介

【大数据入门核心技术-Kudu】（二）Kudu安装部署

【大数据入门核心技术-Kudu】（三）Kudu基本Shell命令行

十七、Trino

【大数据入门核心技术-Trino】（一）Trino简介

【大数据入门核心技术-Trino】（二）Trino安装部署

 十八、ClickHouse

【大数据入门核心技术-Clickhouse】（一）Clickhouse介绍

【大数据入门核心技术-Clickhouse】（二）Clickhouse安装部署

十九、Iceberg

【大数据入门核心技术-Iceberg】（一）Iceberg介绍

【大数据入门核心技术-Iceberg】（二）Iceberg与Hive整合

【大数据入门核心技术-Iceberg】（三）Iceberg与Hive基本Shell操作

【大数据入门核心技术-Iceberg】（四）Iceberg与Spark整合

【大数据入门核心技术-Iceberg】（五）Iceberg与Spark基本Shell操作

【大数据入门核心技术-Iceberg】（六）Iceberg与Spark DataFrame操作

【大数据入门核心技术-Iceberg】（七）Iceberg与Flink整合

【大数据入门核心技术-Iceberg】（八）Iceberg与Flink基本Shell操作

【大数据入门核心技术-Iceberg】（ 九）Iceberg与与 Flink DataStream 集成

二十、常见问题处理

【大数据问题处理】HiveSQL自动根据hdfs目录添加和删除分区-CSDN博客

大数据工程师需要学习哪些内容
weixin_51689029的博客
03-21 1850
Hadoop以及其他大数据处理技术很多都是用Java，例如Apache的基于Java的HBase和Accumulo以及 ElasticSearchas，因此学习Hadoop的一个首要条件，就是掌握Java语言编程。• 结合当下热门的云平台（阿里云、UCloud）为大家带来《云原生大数据开发》：基于Hadoop3.3.4、Hive 3.1.3、阿里云和UCloud云平台，采用全新的技术栈体系。目前很多大数据开发团队都在使用Java语言，Java语言凭借完善的技术生态和较强的扩展性，得到了大量开发团队的认可。
如何入门大数据？
weixin_51689029的博客
03-10 964
我们首先了解一下大数据到底是什么~大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。大数据开发工程师主要负责公司大数据平台的开发和维护、相关工具平台的架构设计与产品开发、网络日志大数据分析、实时计算和流式计算以及数据可视化等技术的研发和网络安全业务主题建模等工作。
大数据学习资料
03-25
大数据学习资料里面包含了：_数据挖掘原理.pdf、数据挖掘：概念与技术（原书第3版）.pdf、数据挖掘导论（完整版）.pdf等
大数据学习思路
从一点一滴做起
07-14 1898
学习大数据已经有一段时间了，抽空回顾一下自己学习的一些内容。下图主要为自己学习大数据的一个过程。 阶段一：Java基础 掌握JAVA基本语法、面向对象、集合、IO流、多线程、网络编程 阶段二：MySQL CRUD 阶段三：Linux 常用的操作命令 阶段四：Hadoop生态系统 ...
大数据需要学习的技术
sinat_41900642的博客
09-22 221
java(Java se,javaweb) Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume) 机器学习(R,mahout) Storm(Storm,kafka,redis) Spark(scala,spark,spark core,spark sql,spark streaming,spark mllib,spark graphx) Python(python,
如何学习大数据技术
RodJohnsonDoctor的专栏
12-28 7204
学习大数据技术，首先要明确大数据的概念。 大数据的概念作者认为有如下几点： 1.数据的来源多样性。例如关系数据库+文本+excel等 2.数据量大。TB级别的数据。 3.业务应用领域。实时性高与实时性不高的应用。 学习大数据应该就是要解决上述三个技术问题。 针对第一个问题，就是ETL技术-数据的抽取，清洗，加载。传统数据抽取、清洗、加载是无法做到的。例如一个1TB的数据，需要抽
大数据学习
运维求生之路
08-03 1599
大数据学习笔记
大数据开发是做什么的？怎样入门？
weixin_51689029的博客
11-11 8698
我们现在正处于“互联网+”的时代，将互联网和传统行业融合，往往可以创造出1+1＞2的效果。这种1+1的模式，在编程语言的使用上也通用，比如Python+大数据开发，就可以在数字化经济中发挥巨大作用。 目前，数字经济成为全球经济增长新动能，而我国的数字经济规模在世界上排行第二！从以量级计算的数据中找到背后的巨大价值至关重要，在此背景下，数字人才成为我国经济全面数字化转型的第一资源和核心驱动力！ 而将Python作为工具，大数据开发作为目的的Python+大数据开发人才便是当下企业所需人才之一！
2022新版Python+大数据学习路线图，附视频教程
CZ-001的博客
09-14 1079
互联网的未来也是人工智能的未来，那就少不了Python+大数据的助力，对于想要转行的小伙伴来说，或许这是一个新兴赛道。
【大数据】大数据学习
老莫的博客
03-16 1517
知乎专栏 https://dataquestion.com/   ============================================================ 欢迎关注公众号：程序员面试经验分享(jobbible)
大数据学习笔记.pdf
11-03
目录 第一部分 Spark学习 ....................................................................................................................... 6 第1章 Spark介绍 ................................................................................................................... 7 1.1 Spark简介与发展 ...................................................................................................... 7 1.2 Spark特点 .................................................................................................................. 7 1.3 Spark与Hadoop集成 ................................................................................................ 7 1.4 Spark组件 .................................................................................................................. 8 第2章 Spark弹性分布数据集 ............................................................................................... 9 2.1 弹性分布式数据集 .................................................................................................... 9 2.2 MapReduce数据分享效率低..................................................................................... 9 2.3 MapReduce进行迭代操作 ........................................................................................ 9 2.4 MapReduce进行交互操作 ...................................................................................... 10 2.5 Spark RDD数据分享 ............................................................................................... 10 2.6 Spark RDD 迭代操作 .............................................................................................. 10 2.7 Spark RDD交互操作 ............................................................................................... 10 第3章 Spark安装 ................................................................................................................. 11 第4章 Spark CORE编程 ....................................................................................................... 13 4.1 Spark Shell ........................................................
如何学习大数据技术？
大数据技术杂谈
08-11 964
前段时间做了一个小小的调查，想知道热爱大数据的人们都想了解哪些有关的知识，其中一位热爱者回复说：“他想了解大数据实际的案例应用，和如何正确学习大数据。”今天小编就简单的说一下如何学习大数据技术。 　　我们都知道想要学习做好一件事情，首先你得了解它，学习大数据也不例外，想要学习大数据技术，首先要明确大数据的概念。对于大数据概念小编认为有如下几点： 　　1、数据的来
大数据学习（一）
西木风落
01-21 795
一、大数据关键技术     大数据特点：4V，数据量大、数据类型多、处理速度快、价值密度低。    大数据的关键技术包括：数据采集、 数据存储和管理、 数据的分析和处理、数据的隐私和安全。其中，分布式存储和分布式处理是大数据技术的核心。   大数据计算模式：   批处理计算                            针对大规模数据的批量处理
大数据处理技术如何学习?
大数据领航者
05-02 270
　　首先我们要学习Python语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。 　　Python：Python 的排名从去年开始就借助人工智能持续上升，现在它已经成为了语言排行第一名。 　　从学习难易度来看，作为一个为“优雅”而生的语言，Python语法简捷而清晰，对底层做了很好的封装，是一种很容易上手的高级语言。在一些习惯于底层程序开发的“硬核”程序员眼里，Python...
大数据需要学习哪些技术？
热门推荐
juan189的博客
10-30 4万+
大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。 想要学好大数据需掌握以下技术：   在这里还是要推荐下我自己建的大数据学习交流群:199427210，群里都是学大数据开发的，如...
大数据入门学习
orange2211的专栏
03-26 4271
https://www.cnblogs.com/xing901022/p/6195422.html
大数据学习之路
东语的专栏
11-04 2172
目录   一、发展趋势 二、使用技术 三、高校课程大纲建议 一、发展趋势         大数据开启了一次重大的时代转型，正在改变我们的生活以及理解世界的方式，而更多的改变正在蓄势待发。         据估算，全球数据总量预计2020年达到44个ZB（1ZB=10亿TB=1万亿GB），我国数据量将达到8060个EB，占全球数据总量的18%。大数据已经撼动了世界的方方面面，从商业科技...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forest_long

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值