大JAVA解决方案

Flume 抓取日志文件存入MySQL中原创 2016年06月16日 23:39:114755[java] view plain copy代码如下：  [java] view plain copy/**  * Licensed to the Apache Software Foundation (ASF) under one  * or more contributor license agree...

2017年07月21日 15:42:48阅读数：910  日志平台运行一段时间，发现日志有部分丢失，通过检查日志，发现有两个问题导致数据丢失，一个是遇到空行后，日志停止收集，还有就是kafka监控offsets时变小，通过分析代码，找到如下方法：空行问题：  在系统稳定运行一段时间之后，发现了一个致命性的bug就是在遇到空行时，无法自动跳过，导致识别为文件结束，再次读取还是空行，跳入了死循环解决办...

2016年09月29日 21:04:43阅读数：1662主因        在上篇博客中，我们已经做到了非常不错的多文件检索，但是，还有一个问题，就是针对不同的项目，需要多个配置文件，这样，对运维，是个非常繁琐的问题，针对这个问题，本版对flume扩展了文件组（以|切分父文件）。        cat监控，是个久经考验的监控报警平台，因此决定兼容cat的协议，对source进一步扩展。      ...

原Flume开发中常用组件source,channel,sink等配置2018年01月11日 22:27:23阅读数：1123       实际开发中Flume中常用的source源，sink，channel，intercepertor等介绍，而实际上关于agent代理中设置选项有很多，具体要到官网去查看。组件使用介绍     source数据源Avro监听由Avro sink 或Flume SD...

Flume HDFS Sink使用及源码分析HDFS Sink介绍Flume导入数据HDFS，目前只支持创建序列化（sequence）文件和文本（text）文件。还支持这两个文件的压缩。文件可以根据运行的时间，数据的大小和时间的数量来进行周期性的滚动（关闭当前文件产生新的文件）。也可以根据数据属性分区，例如根据时间戳或机器分区。HDFS目录路径可以包含格式化的转义字符，生成目录路径可以通过...

#example.conf: A single-node Flume configuration#Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1#Describe/configure the sourcea1.sources.r1.type = org.apache.flum...

#example.conf: A single-node Flume configuration#Name the components on this agenta1.sources = r1a1.sinks = k1 k2a1.channels = c1 c2a1.source.r1.selector.type = replicating#Describe/configure ...

# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = org.apache.f...

Flume(NG)架构设计要点及配置实践Yanjun 架构师 2016-04-03架构师（JiaGouX）我们都是架构师！ Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架...

Flume - 快速入门zsdnr0人评论129人阅读2017-05-25 14:47:53关于Flume，官方定义如下:Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of ...

[root@consumer42 apache-flume-1.8.0-bin]# cat duokdmultiplexing.conf#example.conf: A single-node Flume configuration#Name the components on this agenta1.sources = r1a1.sinks = k1 k2a1.channels =...

2016年04月25日 16:51:27阅读数：5171        大家在上篇博客中，可以看到，对flume本身的优化，我们可以说是一个较大的进步，但是，后期梳理时，发现，数据的处理经过了很多没有必要的步骤，我们的处理有些多余，但是精简哪里，又成为了一个问题，本篇博客带领大家一起看看，精简的关键位置及效果。还是老样子，大家会议上篇博客的架构：        不难看出，有一个性能点就是从主端口下...

2016年04月25日 17:09:14阅读数：4703        在上篇博客中，我们虽然进行了较大的改动，但是，没有料到的是，flume的file性能瓶颈会如此快的到来，由于我们使用了一个filechannel作为负载均衡的通道，导致性能瓶颈很快到来，为了应对这样的瓶颈，我们对结构进行了第三次升级，替换了负载均衡的前端，换为性能更好的haproxy作为分发端，大家一起来看看是如何优化的。  ...

置顶2017年07月21日 16:10:53阅读数：2694在系统平稳运行一年的基础上，为提供更好的服务，现针对java，kafka，flume，zk,统一进行版本升级，请各位小伙伴跟着走起来，不要掉队啊！名称老版本号新版本号jdk1.7.0_251.8.0kafka2.10-0.8.0.12.10-0.10.2.1flume1.6.01.7.0zookeeper3.4.63.4.8jdk,zoo...

Flume笔记二之source,channel,sink原创 2016年11月20日 20:10:20标签：flume /source /channel /sink690Sourcerpc远程过程调用协议，客户机与服务机的调用模式需要对数据进行序列化。         1：客户机将参数序列化并以二进制形式通过网络传输到服务器。         2：服务器接收到后进行反序列化再调用方法获取返回值。 ...

Flume笔记三之Inteceptor,selector,processor原创 2016年11月20日 20:18:28标签：flume /Inteceptor /selector /processor287Inteceptor    在flume中可以针对source定义拦截器，通过拦截器可以加入指定的信息然后在event的headers中就可以看到我们指定的信息。    拦截器种类：    ...

Flume笔记一之简介部署原创 2016年11月06日 20:12:47214简介         Flume是一种分布式，高可靠的数据收集工具，它可以从各种类型的数据源采集汇总数据到各种类型的目的地。flume本身并不产生数据它只是数据的搬运工。相比sqoop从数据库到hdfs的数据导入导出，flume可以监控端口，监听某一个文件的变化，也可以从数据库中获取数据并上传到hdfs中。       ...

linux tail命令的使用方法详解本文介绍Linux下tail命令的使用方法。linux tail命令用途是依照要求将指定的文件的最后部分输出到标准设备，通常是终端，通俗讲来，就是把某个档案文件的最后几行显示到终端上，假设该档案有更新，tail会自己主动刷新，确保你看到最新的档案内容。一、tail命令语法tail [ -f ] [ -c Number | -n Number | -m Numb...

Flume 抓取日志文件存入MySQL中原创 2016年06月16日 23:39:115451[java] view plain copy代码如下：  [java] view plain copy/**  * Licensed to the Apache Software Foundation (ASF) under one  * or more contributor license agree...

Kafka的Topic操作原创 2017年04月19日 19:57:431877Kafka shell topic操作     创建Topic          hadoop         kafka]# bin/kafka-topics.sh --create --topic hadoop --zookeeper master:2181,slave01:2181,slave02:2181 --...

用flume 导入数据到mysql转载 2018年01月17日 15:25:3442转：http://blog.csdn.net/poisions/article/details/51695372代码如下：  [java] view plain copy/**  * Licensed to the Apache Software Foundation (ASF) under one  * or m...

storm实时消费kafka数据原创 2017年06月05日 16:30:15标签：storm /kafka-java4635程序环境，在kafka创建名称为data的topic,开启消费者模式，准备输入数据。程序的pom.xml文件 <dependencies> <dependency> <groupId>org.apache.storm&...

Flume+Kafka+Storm+Redis实时分析系统基本架构原创 2016年07月24日 01:24:08标签：storm /大数据 /实时计算架构 /kafka /redis29715今天作者要在这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型。当然这个架构模型只是实时分析技术的一 个简单的入门级架构，实际生产环境中的大数据实时分析技术还涉及...

2016年04月25日 16:33:22阅读数：6715       通过一年多时间的使用，统一日志系统，已经接入公司前台，在20个节点，几十万用户，数百亿交易额的大压力下，仅仅使用了一个普通的服务器，承受住了严峻的考验，在公司今年更宏大的目标，也是为了给大数据组提供更加全面信息的需求下，公司所有项目，要接入ULOG系统，主要包含管理后台，wap，app等，流量一下达到一个峰值，flume的瓶颈凸...

置顶2017年07月31日 10:24:51阅读数：834offsets初始化在上篇博客中《flume高并发优化——（14）解决空行停止收集数据问题，及offsets变小问题 》我们遗留了一个小问题，就是offsets变小的问题，迟迟未解决，经过研究flume代码发现，flume中，是自己管理offsets关系的，每个kafkachannel的代码中保留了一份topic-offsets的关系，源码...

package com.springboot.MongoDB.flume;import java.nio.charset.Charset;import java.text.SimpleDateFormat;import java.util.ArrayList;import java.util.Date;import java.util.HashMap;import java.util...