Jochen_M-CSDN博客

原创将本地项目推送到Github

初始化本地项目cd projectgit config --global user.name "Jochen-M"git config --global user.email "Jochen_M@163.com"git initgit add .git commit -m "init"提交到Github首先在Github上新建仓库：成功后可以按照红框内的提示连接本地版本库：...

2018-12-03 15:41:13 301

原创机器学习中的偏差和方差

机器学习中误差的来源主要有两个方面：Bias（偏差）和 Variance（方差）。只有找到误差的来源，才能为下一步的模型优化提供方向。1. Bias 和 Variance这里以估计随机变量 X 的均值和方差为例，进行分析。假设，对于随机变量 X：X 的均值是

2018-11-26 18:34:30 1390

原创 DNS 查找超时

一、问题：EAI_AGAIN近日在开发过程中，屡次遇到如下问题：getaddrinfo EAI_AGAIN查找发现这是一个DNS相关的问题：EAI_AGAIN is a DNS lookup timed out error, means it is a network connectivity error or proxy related error.即 DNS 查找超时，意味着网络...

2018-11-17 17:20:22 5937

原创 Storm集群搭建小结

一、环境五台Ubuntu 16.04；关闭防火墙，配置hosts文件；安装java并配置环境变量；下载zookeeper-3.4.10.tar.gz、apache-storm-0.9.1.tar.gz;二、安装zookeeper解压zookeeper-3.4.10.tar.gz到/home/hadoop/目录建立zookeeper的data目录mkdir /home/hadoo...

2018-11-15 09:00:40 817

原创 Hadoop-2.8.0实践——搭建Hadoop集群

在本地测试hadoop成功后，我们在多台主机上搭建hadoop集群，用于处理大规模数据…一、准备工作1.1 系统环境三台 Ubuntu 16.04 64位笔记本（一台作为Master节点，另外两台作为Slave节点）1.2 创建用户创建用户，并为其添加root权限：sudo adduser hadoopsudo vim /etc/sudoers# 修改内容如下：root ALL...

2018-11-15 09:00:33 4918

原创 Hadoop-2.8.0实践——单机模式和伪分布模式

一、安装1.1 环境系统：Ubuntu 16.04 LTS软件：Java 1.7及以上ssh 和 sshd安装ssh:$ sudo apt-get install ssh$ sudo apt-get install rsync1.2 下载 Hadoop 2.8.0下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/h...

2018-11-15 09:00:24 5851

原创 Hadoop大数据平台架构与实践

一、什么是Apache Hadoop？1.1 定义和特性可靠的、可扩展的、分布式计算开源软件。Apache Hadoop软件库是一个框架，允许使用简单的编程模型，在计算机集群分布式地处理大型数据集。它可以从单个服务器扩展到数千台机器，每个机器都提供本地计算和存储。每一台计算机都容易出现故障，库本身的目的是检测和处理应用层的故障，因此在一组计算机上提供高可用性服务，而不是依靠硬件来提供高...

2018-11-14 21:32:45 6092

原创 MongoDB 数据实时导入 Elasticsearch

一、背景项目中需要实现对数据的全文检索功能，数据主要存储在了 MongoDB 中。MongoDB 本身是自带文本检索功能的，但是不支持中文，而且当数据量增大时，MongoDB 的检索效率会大大降低。由于最近在学习 Elasticsearch，而 Elasticsearch 的特性又十分适合全文检索，于是就选择了它。那么如何在对 MongoDB 进行增删改查时，实时地将 MongoDB 的数据...

2018-11-14 21:15:47 1477

原创 MongoDB 数据定时备份

数据的安全性至关重要，由于一些不可预测的故障，如突然断电、断网等，数据可能会丢失。这就要求我们定时备份数据。这里记录如何用 crontab 定时任务，每天定时备份 MongoDB 的数据到另一台服务器。shell 脚本mongodb_bak.sh:#!/bin/shDUMP=/home/jochen/mongodb/bin/mongodump # mongodum...

2018-11-14 21:05:35 2826 1

原创利用 apache2 在多个服务器上部署多个项目实践

一、背景应项目需求，要在两个远程服务器上利用 apache2 部署多个项目（前后端分离）：Server (Nodejs/Koa2)site1.com (Angular2)site2.com、site3.com(site2.com:8080) (Angular2)Android APP、Apple APP (ionic3)现将部署过程及遇到的问题记录下来。二、服务器配置说明项目一...

2018-11-14 20:58:08 2859

原创 Apache2 SSL加密

关于HTTPS和HTTP超文本传输协议HTTP超文本传输协议HTTP协议被用于在Web浏览器和网站服务器之间传递信息。HTTP协议以明文方式发送内容，不提供任何方式的数据加密，如果攻击者截取了Web浏览器和网站服务器之间的传输报文，就可以直接读懂其中的信息，因此HTTP协议不适合传输一些敏感信息，比如信用卡号、密码等。安全套接字层超文本传输协议HTTPS为了解决HTTP协议的这一缺陷，需要...

2018-11-14 20:40:30 705

原创 Ubuntu环境下利用Apache2部署多个站点

关于Apache2Ubuntu环境下安装Apache2sudo apt-get install apache2安装完成后，所有配置文件都在/etc/apache2/目录下。基本原理apache2在启动的时候自动读取/etc/apache2/apache2.conf文件的配置信息，不同的配置项按功能分布在不同的文件中，然后被Include包含到apache2.conf这个主配置文件中，方...

2018-11-14 20:37:07 9550 3

原创 Java注解

概念Java提供了一种原程序中的元素关联任何信息和任何元数据的途径和方法。注解的分类按照运行机制分*源码注解：*注解只在源码中存在，编译成.class文件就不存在了。*编译时注解：*注解在源码和.class文件中都存在。（ JDK自带注解）*运行时注解：*在运行阶段还起作用，甚至会影响运行逻辑。（@Autowired）按照来源分JDK自带注解@Override 覆盖父类的方...

2018-11-14 20:27:08 201

原创 Java反射

Class类的使用在面向对象的世界里，万事万物皆对象。(java中，静态的成员，普通数据类型不是对象。)类也是对象，是java.lang.Class类的对象。这个对象的三种表示方法：// 第一种，任何一个类都有一个隐含的静态成员变量classClass c1 = Foo.class;// 第二种，已知该类的对象Class c2 = foo1.getClass();// 第三种 ...

2018-11-14 20:25:24 178

Jochen的博客