- 博客(10)
- 收藏
- 关注
RSS订阅原创 算法之插入排序（java实现）
插入排序类似于我们平时打牌，我们首先拿起来第一张牌，之后拿起第二张牌并跟第一张牌比较，如果大于第一张牌，就放在第二，否则放在第一，之后依次找到他们的位置。假设现在有一个数组A,我们首先取出来第一个元素作为我们手里的第一张牌B{a},此时我们手里的牌是已经经排好序的，此时拿出来数组A中的第二个元素，放到子数组B{a},并跟A做比较排序，此时，子数组B依然是排好序的，依次类推B{a…r}子数组不论在任何时候都是一个排好序的数组，并且每次都是增加的。public class InsertionSort {
2021-01-06 10:09:58
153
原创 redis的缓存雪崩
出现问题的原因当大量的并发打入到redis服务所在的服务器后,redis所在的服务器无法承载大量的并发,导致服务器宕机,导致大量并发穿透redis直接进入关系型数据库,间接导致关系型数据库出现宕机.redis服务一般不会宕机,因为很稳定,但是redis服务所在的服务器可能承载不了那么高的并发解决方案redis的主从复制:实现读写分离操作,给单台的redis减少压力 redis的哨兵模式:在主从复制的基础上开启一个哨兵服务,监听负责写操作的redis服务,如果该服务器出现问题,就由哨兵选出一
2020-06-10 15:40:16
192
原创 redis的缓存击穿
出现问题的原因由于业务系统无法精准的计算出热点数据,故redis中没有存储热点数据,导致业务系统无法在redis中找到热点数据,然后直接去数据库中查找,,这个过程就是redis的缓存击穿解决方案修改业务系统计算热点数据的方案,让其能够精准的计算出热点数据...
2020-06-10 15:33:21
179
原创 redis持久化
1.什么是reids的持久化redis的持久化就是讲redis在内存中的数据存写入到磁盘的过程.2.为什么要进行持久化redis是一款基于内存的noSql数据库,即其所有的数据都存放在内存当中,当redis服务停掉之后,redis中的数据就会丢失,,所以需要对内存中的数据进行持久化操作,将其写入到磁盘,redis下次启动的时候,就会从磁盘中将数据加载到内存中.在使用redis的时候,只会使用内存中的数据,磁盘中的数据仅仅是为了持久化,redis的数据量的大小基于内存大小3.redis持久
2020-06-10 15:28:50
154
原创 flume组件之hdfs sink
简介flume的三大组件 source\channel\sink对应着采集位置类型\缓存类型\下沉地类型本文主要讲解sink中的hdfs sink的常见属性以及常见问题常用属性type:指定sink的类型,那肯定是hdfshdfs.path:指定采集文件到hdfs后的路径hdfs.filePrefix:指定在hdfs上生成文件后的前缀名hdfs.fileSuffix:指定在hdfs上生成文件后的后缀名hdfs.round:是否打开时间上的舍弃(就是在固定的时间内产生一个文件夹
2020-05-25 16:48:59
687
原创 flume--tailDir Source组件
简介假如当下有个需求要采集服务器的/root/logs/test1/a.log文件中的内容以及/root/logs/test2文件夹中的所有的*.log*文件的内容,该如何实现(同时采集文件以及文件夹的内容)在flume1.6以及之前,我们在配置文件中只要设置两个source即可,一个spooldir source和一个exec source,在flume1.6之后,考虑到这种情况,flume的开发人员新增了一种全新的组件tailDir Source.该组件的作用就是可以只指定一个sourc
2020-05-25 16:03:26
325
原创 sqoop的--fields-terminated-by参数
关于sqoop的导入时候,默认导入后的文件的分割符为' , '如果想要指定分割符需要使用--fields-terminated-by "\t",代表以"\t"作为导入后文件的分隔符
2020-05-05 23:01:19
5437
原创 sqoop增量导入--lastmodified模式
在sqoop增量导入--append模式中,我们介绍了sqoop的增量导入的常用参数以及append增量导入模式,本文章将讲述sqoop的辣条modified增量导入模式,多常用参数不了解的请参考sqoop--append增量导入模式.sqoop增量导入--lastmodified模式我们有一张表user数据如下:id name age time_mod 1 ...
2020-05-05 22:58:27
1228
1
原创 sqoop增量导入--append模式
sqoop的增量导入有两种模式:append模式和lastmodified模式在实际的工作中,我们大部分的情况下使用的都是增量导入,不需要每次都需要将表中的所有的数据导入到hdfs或者hive中,这样会造成数据的重复.增量导入常用的参数:--check-column:用指定字段去检查是否符合增量导入的条件 --incremental:指定增量导入的模式,可选append | la...
2020-05-05 22:35:34
2831
1
原创 sqoop全量导入操作
1.sqoop简介sqoop是一款对数据导入和导出的软件导入:是将RDBMS关系型数据库中的数据导入到hadoop集群中(hbase\hive\hdfs....)导出:是将hdfs集群环境中的数据导出到RDBMS关系型数据库中2.全量导入2.1RDBMS--->hdfs导入/{%sqoophome}/bin/sqoop import --connect jdbc:...
2020-05-04 22:56:36
801
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人