大数据概论----最全版

《云计算与大数据概论》是一门针对计算机科学与技术专业的必修课程，旨在让学生深入了解云计算与大数据的基础概念、技术发展趋势以及实际应用。课程分为多个章节，涵盖了从基础理论到具体技术平台的广泛内容。 首先...

2021年大数据技术-大数据概论简介.pdf

大数据管理概论 大数据管理是当前科技界和工业界关注的热点，大数据的挖掘和运用预示着新一波生产力增长和科技发展浪潮的到来。本章主要介绍大数据的概念、特征、应用以及大数据管理系统，从数据管理和数据处理的...

数据库系统概论（第五版）的12章-16章的内容之一，原版教材配套讲义中并没有这些内容，是本人为教学需要自己制作的，另外，还有WORD版，也请大家关注，按需下载使用，祝大家使用愉快！

01⼤数据概述 ⼤数据概述 1.为什么产⽣⼤数据技术？ 　　从采⽤数据库作为数据管理的主要⽅式开始，⼈类社会的数据产⽣⽅式⼤致经历了 3 个阶段，⽽正是数据产⽣⽅式的巨⼤变化才最终导 致⼤数据的产⽣。 1）运营式系统阶段。 数据库的出现使得数据管理的复杂度⼤⼤降低，在实际使⽤中，数据库⼤多为运营系统所采⽤，作为运营系统的数据管理⼦系统，如超市的 销售记录系统、银⾏的交易记录系统、医院病⼈的医疗记录等。 ⼈类社会数据量的第⼀次⼤的飞跃正是在运营式系统开始⼴泛使⽤数据库时开始的。这个阶段的最主要特点是，数据的产⽣往往伴随着⼀定 的运营活动；⽽且数据是记录在数据库中的，例如，商店每售出⼀件产品就会在数据库中产⽣⼀条相应的销售记录。这种数据的产⽣⽅式是 被动的。 2）⽤户原创内容阶段。 互联⽹的诞⽣促使⼈类社会数据量出现第⼆次⼤的飞跃，但是真正的数据爆发产⽣于 Web 2.0 时代，⽽ Web 2.0 的最重要标志就是⽤户原 创内容。这类数据近⼏年⼀直呈现爆炸性的增长。 主要有以下两个⽅⾯的原因。 1.是以博客、微博和微信为代表的新型社交⽹络的岀现和快速发展，使得⽤户产⽣数据的意愿更加强烈。 2.是以智能⼿机、平板电脑为代表的新型移动设备的出现，这些易携带、全天候接⼊⽹络的移动设备使得⼈们在⽹上发表⾃⼰意见的途径更 为便捷。这个阶段的数据产⽣⽅式是主动的。 3）感知式系统阶段。 ⼈类社会数据量第三次⼤的飞跃最终导致了⼤数据的产⽣，今天我们正处于这个阶段。这次飞跃的根本原因在于感知式系统的⼴泛使⽤。 随着技术的发展，⼈们已经有能⼒制造极其微⼩的带有处理功能的传感器，并开始将这些设备⼴泛地布置于社会的各个⾓落，通过这些设备 来对整个社会的运转进⾏监控。这些设备会源源不断地产⽣新数据，这种数据的产⽣⽅式是⾃动的。 2.为什么要学习⼤数据技术？ 　　⾸先，学习⼤数据的原因就是⼤数据分析的采⽤率很⾼，现在很多公司都开始使⽤⼤数据这⼀技术，正如公司开始转向社交媒体品牌⼴ 告和客户参与⼀样，他们也开始转向数据分析。今天⼏乎不可能找到没有社交媒体的品牌。就数据分析适应⽽⾔也是如此。在不久的将来， 每个公司都将需要数据分析专家。这使得它成为⼀个明智的职业⽣涯，实际上有⼀个未来的业务。因此，现在⼤数据的⼯作⼈员⼗分吃⾹。 　　其次，数据分析正在快于预期，曾经有⼀项调查显⽰，数据分析的速度要⽐预计的快得多。调查发现数据分析技术将在未来3年内寻找 技术。因此，在未来⼗年中，数据分析⼯作可以说是⼀个铁饭碗。 　　⽽数据分析⾏业也能够代表完美的⾃由职业机会。相信在不久的将来，极⼤部分的劳动⼒不会被束缚在⼀个雇主⾝上。⼈们正在稳步寻 找各种各样的收⼊来源和⽅法，通过这些渠道找到完美的⼯作与⽣活平衡。数据分析，这是⼀个研究数字、趋势和数据的⼀般问题 ，为我们 提供了⼀个完美的机会，成为世界上⼀些最⼤的公司的⾼薪⾃由职业者或顾问。在很⼤的信息技术基础上，这种⼯作可以在任何时候从世界 任何地⽅完成。因此我们就会变得⼗分⾃由。 　　当然，⼤数据还能够帮助我们开发新的收⼊来源。我们可以分析并将好的数据信息⽤于良好⽤途，您可以轻松识别新的和未开发的创收 流。这是通过增加收⼊来丰富您的⽣活的最佳⽅式之⼀。⽽且⼤数据⾏业中，薪资⽔平还是很⾼的，这让很多⼈⼼之向往。 3.⽤图表和简单的⽂字简要描述⼤数据的发展前景和就业趋势，并谈谈你的看法。 ⼤数据发展前景 (1)技术开源免费 主流的⼤数据技术都是开源的，⼤数据开发者可以免费获得。免费的技术和活跃的社区使版本迭代更快。例如Hadoop、Spark、Flink、 HBase、Kafka⼤数据核⼼技术等。 (2)⼈才短缺 ⽬前，根据⼈才市场的相关统计，虽然很多⼤数据岗位的⼈才需求很⼤，但⼤数据⾏业的从业⼈数不⾜5万⼈。 可以预测未来3-5年，⼤数据⼈才缺⼝将继续扩⼤⾄200W以上。因此，⼤数据就业前景将极为⼴阔。 (3)⾏业⾼薪 ⼤数据的薪酬⾼于⼀般的开发⼯程师。⽽且，如果学好⼤数据技术，将有更多的机会进⼊⼤⼚。例如阿⾥巴巴、腾讯等⼀线互联⽹公司仍然 需要⼤量⼤数据⼈才。 3. ⼤数据就业⽅向 ⼤数据的就业范围⼴，可以选择岗位很多。如：⼤数据发展⼯程师，操作⼯程师、⼤数据架构师、⼯程师、BI⼯程师、数据挖掘⼯程师、 ETL开发⼯程师、Spark开发⼯程师等等。 虽然⼤数据的就业前景很好，但掌握⼤数据开发技术也是前提。否则，不管这个⾏业发展得多好，有多少⼯作机会，都和你没有关系。 4.⼤数据可能带来什么样的问题？如何应对这些隐患？ ⼤数据在落地应⽤的过程中，潜在的问题涉及到数据泄露问题，⽽数据泄露不仅可能会侵犯个⼈的隐私，甚⾄会泄露企业的核⼼技术，所以 如果⼤数据不能解决数据泄露问题，⼤数据技术未来的发展将会受到很⼤的制约，⽽⼤数据作为⼈