人人都是量化师的专栏

1.什么是数据数据是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未加工的原始材料。数据经过加工之后就成为信息。2.大数据的定义麦肯锡给出的大数据定义是：大数据是指大小超过常规的数据库工具获取、存储、管理和分析能力的数据集。但它同时强调，并不是说一定要超过特定的TB值的数据才能是大数据。亚马逊的大数据科学家John Rauser给出了一个简单的定义：大数据是任...

大数据学习路线java(Java se,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Storm,kafka,redis)Spark(scala,spark,spark core,s...

近年来大数据越来越火爆，非常多的人转行做大数据或者开始学习大数据。现在我们看来大数据尤为重要，马云也说过现在是DT时代，也就是数据时代。“未来最大的能源不是石油，而是数据”。目前人工智能也是空前火热，而人工智能也是基于大数据的，所以现在看来，大数据的前景会非常好。在这里简单地介绍一下我们学习大数据的几点原因。1.国家对大数据的支持从国家层面到地方政府，出台了一系列促进大数据发展的纲要政策，...

ES官网文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html中文社区：https://elasticsearch.cn/《深入理解Elasticsearch》读书笔记：https://cloud.tencent.com/developer/article/1066388x-pack配置ss...

1.问题描述对kafka扩容增加brokers节点后，在Kakfa Maneger中已经看到新增的brokers节点已加入kafka集群，但是新增的brokers里并没有看到有topic存在。2.原因在扩容之前就已经存在的topic并不会自动地分配分区到新节点上，除非扩容后新建的topic。这种情况只能手动将topic分区重新分配到brokers节点上(包括新增的brokers节...

本文目录►简介►设计概念►Hadoop的组件►HDFS►YARN►YARN应用►监控YARN应用程序►处理Hadoop上的数据►来自Hadoop生态系统的其他工具简介Apache Hadoop是目前最流行的软件框架，可使用简单的高级编程模型实现大型数据集的分布式存储和处理。我们将介绍Hadoop最重要的概念，描述其架构，...

今天通过Hadoop来运行第一个程序，来统计一篇文章中不同英文单词的个数。1.创建一个 t1.txt 文件夹，并将你要统计的文章粘贴进去。（这里是将txt文件创建在E盘中，跟Hadoop文件同处于一个盘）2.在命令提示符下 Hadoop-2.7.3\sbin 中输入 start-all.cmd 开启Hadoop服务3.准备输入、输出文件夹，在HDFS文件系统中创建。Ha...

2008年美国每个月最低气温分析1.点击https://pan.baidu.com/s/1c1MPnSs下载2008.txt文件（这里是将2008.txt文件放在E盘中，跟Hadoop文件同处于一个盘）2.在命令提示符下 Hadoop-2.7.3\sbin 中输入 start-all.cmd 开启Hadoop服务3.准备输入、输出文件夹，在HDFS文件系统中创建。Hadoop中所有...

Hadoop是大数据的核心武器，下面来介绍在Windows环境下Hadoop的安装和配置1.下载Hadoophttp://www.apache.org/dyn/closer.cgi/hadoop/common2.解压hadoop-2.7.3.tar.gz 点右键“解压到hadoop-2.7.3”文件夹路径 xxx/xxxx/hadoop-2.7.3复制hadoo...

1.不能用windows自带编辑器打开任何配置文件，建议用Sublime。2.X-pack邮件报警不能用564端口，es不支持，建议用25或587端口。3.安装所有应用是时，用到的压缩包应该是未经过解压安装的。4.要在非root下启动es5.es/nodes/0 node.lock和 _state 文件记录es集群当前状态，要替换es节点时应删除6.删除.security-6这个inde...