- 博客(101)
- 收藏
- 关注
RSS订阅转载 Java并发之FairSync和NonfairSync
Java并发中的fairSync和NonfairSync主要区别为：如果当前线程不是锁的占有者,则NonfairSync并不判断是否有等待队列,直接使用compareAndSwap去进行锁的占用;如果当前线程不是锁的占有者,则FairSync则会判断当前是否有等待队列,如果有则将自己加到等待队列尾;对应的源码如下：FairSync （注意FairSync和NonFa...
2018-02-08 19:55:00
301
转载 如何在 Linux 中将文件编码转换为 UTF-8
一个文件：vim 文件名.txt输入 :e ++enc=gbk 强制用gbk打开输入 :w ++enc=utf8 转换到utf8保存。多个文件：for i in *.txt; do iconv -f gb2312 -t utf-8 $i.txt > ${i}.utf8.txt; done转载于:https://www.cnblogs.com/kisf/p/8337217.htm...
2018-01-23 18:11:00
870
转载 nginx location正则写法
nginx location正则写法一个示例：location = / { # 精确匹配 / ，主机名后面不能带任何字符串 [ configuration A ] }location / { # 因为所有的地址都以 / 开头，所以这条规则将匹配到所有请求 # 但是正则和最长字符串会优先匹配 [ configuration B ] ...
2018-01-23 10:37:00
216
转载 elasticsearch分词器ik
1. 下载和es配套的版本git clone https://github.com/medcl/elasticsearch-analysis-ik2. 编译cd elasticsearch-analysis-ik/mvn clean package 3. 将release下的zip包拷贝至es/plugins目录下解压，并命名为ik...
2018-01-22 19:23:00
162
转载 mongodb权限管理
1. 在没有开启认证之前创建管理员use admin//把原来的用户全删掉db.system.users.remove({}) db.createUser({user: "root",pwd: "root",roles: [ { role: "userAdminAnyDatabase", db: "admin"} ]}) 2. 配置文件vi...
2018-01-15 16:45:00
98
转载 kafka调试遇到的问题
在三台机器上以不同的端口部署了三个kafka和zookeeper实例，对应三套环境。如：zk1:2181zk2:2182zk3:2183kafka1:9092kafka2:9093kafka3:9094中午打开dev环境准备调个东西发现，producer能发出消息，但consumer收不到消息。各种排查：1. kafka版本匹配。2. 命令行用...
2018-01-09 19:21:00
147
转载 mysql 安装
1. 下载wegthttps://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.20-linux-glibc2.12-x86_64.tar.gz2. 解压3. 建用户groupadd mysqluseradd -g mysql mysql4. 安装cp -r mysql-5.7.20-linux-g...
2017-12-26 19:11:00
109
转载 jenkins 安装 + maven + git部署
1. 安装JDK2. 安装maven3. 安装git4. 安装tomcattar zxvf apache-tomcat-8.5.14.tar.gz找到tomcat-->config-->tomcat-users.xml打开后在<tomcat-users></tomcat-users>之间增加如下用户信息：<...
2017-12-18 21:26:00
100
转载 FTP服务搭建
1. 安装yum -y install vsftpd2. 启动service vsftpd start/restart/stop3. 修改配置vim /etc/vsftpd/vsftpd.conf## 限制用户访问其他目录chroot_local_user=YESchroot_list_enable=NOchroot_list_file=/e...
2017-12-16 20:17:00
84
转载 根据终端类型返回不同的访问内容
location / { #默认PC端访问内容 root /usr/local/website/web; #如果是手机移动端访问内容 if ( $http_user_agent ~ "(MIDP)|(WAP)|(UP.Browser)|(Smartphone)|(Obigo)|(Mobile)|(AU.Browser)|(wxd.Mms)|(WxdB.Brow...
2017-12-04 10:20:00
223
转载 上传jar包至nexus
上传命令：mvn deploy:deploy-file-DgroupId=com.xxx-DartifactId=xxx-pdf-Dversion=16.10.0-Dpackaging=jar-Dfile=/Users/xxx/work/xxx/xxx/xxx/libs/xxx.pdf-16.11.0.jar -Durl=http:...
2017-11-23 15:22:00
75
转载 mysql日期和JDBC查询出来的结果相差8小时
数据库时间：2017-11-08 16:30:00查询出来：2017-11-09 00:30:00问题：数据库时区，和JDBC连接时区设置问题。set global time_zone = '+8:00'; show variables like "%time_zone%"; JDBC连接serverT...
2017-11-10 18:49:00
195
转载 confluence wiki 安装
1. 下载wget https://www.atlassian.com/software/confluence/downloads/binary/atlassian-confluence-5.6.6-x64.bin 2. 运行chmod +x atlassian-confluence-5.6.6-x64.bin./atlassian-confluen...
2017-11-02 12:56:00
237
转载 hbase优缺点
Hbase的优缺点1 列的可以动态增加，并且列为空就不存储数据,节省存储空间.2 Hbase自动切分数据，使得数据存储自动具有水平scalability.3 Hbase可以提供高并发读写操作的支持Hbase的缺点：1 不能支持条件查询，只支持按照Row key来查询.2 暂时不能支持Master server的故障切换,当Master宕机后,整个存储系统就会挂掉....
2017-10-29 00:49:00
989
转载 maven nexus私服搭建
1. 下载wget http://download.sonatype.com/nexus/oss/nexus-2.12.0-01-bundle.tar.gz2. 解压tar zxvfnexus-2.12.0-01-bundle.tar.gz解压后两个目录nexus-2.12.0-01 //应用路径sonatype-work //开发包存放路径3...
2017-10-24 11:08:00
177
转载 presto-cli通过hive查询hdfs
1. 启动hive metastore2. 启动hive thrift接口参考：http://www.cnblogs.com/kisf/p/7497261.html3. 下载presto serverwget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.186/presto-s...
2017-10-20 10:43:00
552
转载 monit拉起服务
check process hive_metastore matching "HiveMetaStore" start program = "/usr/bin/nohup /xxx/soft/apache-hive-2.3.0-bin/bin/hive --service metastore > /xxx/soft/apache-hiv...
2017-10-18 18:09:00
194
转载 MAC nginx代理设置
问题：10.154.156.83:10081私服不存在了。但是不能改。用nginx代理至maven.xx.cn增加换回地址：sudo ifconfig lo0 add 10.154.156.83 netmask 255.255.255.0 up nginx配置：server { listen 10081;...
2017-10-13 18:35:00
340
转载 kafka-manager安装
1. 下载编译好的kafka-manager-1.3.3.7.zip （自行编译在这下载：https://github.com/yahoo/kafka-manager/releases）链接: https://pan.baidu.com/s/1bBthYe 密码: 2gey2. 解压3. 配置zk安装：http://www.cnblogs.com/kisf/p/735...
2017-10-13 13:04:00
132
转载 flume从log4j收集日志输出到kafka
1. flume安装(1)下载：wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.1.tar.gz(2)解压：tar zxvf flume-ng-1.6.0-cdh5.7.1.tar.gz(3)环境变量：export FLUME_HOME=/xxx/soft/apache-flume-1...
2017-10-13 10:27:00
334
转载 flume ng简介
https://yq.aliyun.com/articles/50487?spm=5176.100239.blogcont43566.18.uawbnY转载于:https://www.cnblogs.com/kisf/p/7657482.html
2017-10-12 18:13:00
74
转载 hadoop hdfs设置quota
quota分为两种：1. 目录下的文件数限制2. 目录下的空间大小//设置文件数hdfs dfsadmin -setQuota 1000000 /user/jenkin//设置空间大小hdfs dfsadmin -setSpaceQuota 100g /user/jenkin//查看quotahadoop fs -count -q /user...
2017-10-11 18:18:00
818
转载 Mongodb安装
1. 下载官网下载地址刷不出来： https://www.mongodb.com/download-center打开网页源码能找到下载地址：https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.5.13.tgz2. 解压安装tar zxvf mongodb-linux-x86_64-3.5.13.tgz...
2017-10-11 17:11:00
123
转载 Apache httpd服务部署
1. yum安装yum install httpdyum install httpd-develyum install httpd-manual2. 配置vim /etc/httpd/conf/httpd.conf配置说明：ServerRoot”/etc/httpd” 默认配置文件的存放目录Timeout 120 客户端访问超时时间120秒Liste...
2017-09-26 15:26:00
97
转载 MAC VNC SSH roo用户开通
第一步：ssh: user@xxx.xxx.xxx第二步：开启VNC开启VNC共享桌面：sudo /System/Library/CoreServices/RemoteManagement/ARDAgent.app/Contents/Resources/kickstart -activate -configure -access -on -clientopts -...
2017-09-26 12:06:00
110
转载 spark + yarn调试问题java.nio.channels.ClosedChannelException
spark客户端提交任务至yarn，后台抛错，FinalStatus:UNDEFINED../spark-submit --class org.apache.spark.examples.SparkPi --conf spark.eventLog.dir=hdfs://jenkintest/tmp/spark01 --master yarn --deploy-mode cl...
2017-09-25 18:34:00
480
转载 hadoop cgroup+container配置
配置container-executor.cfgvim etc/hadoop/container-executor.cfgyarn.nodemanager.linux-container-executor.group=yarnbanned.users=rootmin.user.id=1000allowed.system.users=yarn注意：...
2017-09-22 15:12:00
885
转载 hadoop https配置
在 hadoop1生成ca并拷贝至hadoop2,hadoop2。 （密码随便设置，大于6位即可。如adminadmin）cd /etc/httpsopenssl req -new -x509 -keyout hdfs_ca_key -out hdfs_ca_cert -days 9999 -subj '/C=CN/ST=beijing/L=chaoyang/O=lec...
2017-09-22 10:26:00
1102
转载 spark client + yarn计算
前提：完成hadoop + kerberos安全环境搭建。安装配置spark client：1.wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz2. 配置指定hadoop路径vim conf/spark-env.shHADOOP_CONF_DIR=/xx...
2017-09-18 19:15:00
87
转载 presto + slider 提交计算至yarn
10.112.28.240 prestocli10.183.225.158 perstoserhive-site.xmluseUnicode=true&characterEncoding=UTF-8&autoReconnect=truekinit -k -t /etc/presto/presto.keytab prestohado...
2017-09-15 10:21:00
427
转载 hive + hadoop 环境搭建
机器规划：主机ip进程hadoop110.183.225.158hive serverhadoop210.183.225.166hive client前置条建：kerberos部署：http://www.cnblogs.com/kisf/p/7473193.htmlHadoop HA +...
2017-09-09 09:54:00
321
转载 hadoop+kerberos常用运维命令
kerberos相关：kadmin.local //以超管身份进入kadminkadmin //进入kadmin模式，需输入密码kdb5_util create -r JENKIN.COM -s //创建数据库service krb5kdc start //启动kdc服务service kadmin start //启动k...
2017-09-08 13:41:00
503
转载 datanode扩容步骤
新扩容机器规划：hostnameip进程slave310.183.225.167datanode,nodemange1. 修改/etc/hosts增加新扩容机器的hostname10.183.225.167 slave32. 将/etc/hosts同步到其他服务器scp /etc/hosts...
2017-09-08 00:03:00
295
转载 hadoop HA+kerberos HA集群搭建
IP、主机名规划hadoop集群规划：hostnameIPhadoop备注hadoop1110.185.225.158NameNode,ResourceManager,DFSZKFailoverController,JournalNodehadoop2110.185.225.166NameNode,Reso...
2017-09-05 10:44:00
709
转载 hadoop HA + kerberos HA集群搭建问题和测试总结
1. 常见问题 （1）hostname设置问题。vi /etc/sysconfig/network （2）集群/etc/hosts没有统一。 （3）yarn slave需要单独启动。./sbin/yarn-daemon.sh start resourcemanager （4）namenode格式化需要逐个先启动journalnode。 （5）kerber...
2017-09-04 17:00:00
365
转载 kerberos master-slave搭建
1. 安装kerberosserveryum install krb5-server krb5-libs krb5-auth-dialog clientyum install krb5-workstation krb5-libs krb5-auth-dialog 2. hosts10.112.29.9 kerberos.jen...
2017-09-04 13:27:00
396
转载 hadoop yarn HA集群搭建
可先完成hadoop namenode HA的搭建：http://www.cnblogs.com/kisf/p/7458519.html搭建yarnde HA只需要在namenode HA配置基础上修改yarn-site.xml。1. 修改yarn-site.xml (yarn另一台机器上一定要将yarn.resourcemanager.ha.id改成rm1)&l...
2017-08-31 19:59:00
267
转载 hadoop namenode HA集群搭建
hadoop集群搭建(namenode是单点的) http://www.cnblogs.com/kisf/p/7456290.htmlHA集群需要zk, zk搭建：http://www.cnblogs.com/kisf/p/7357184.html zk可视化管理工具：http://www.cnblogs.com/kisf/p/7365690.html...
2017-08-31 15:31:00
208
转载 大数据原理学习
一、Hadoop NameNode 高可用 (High Availability) 实现解析https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/转载于:https://www.cnblogs.com/kisf/p/7456960.html
2017-08-31 10:24:00
71
转载 hadoop集群搭建
前置条件：JDK安装，JAVA_HOME配置。1. 下载wgethttps://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz2. 解压配置hadoop homevim /etc/profileexport HADOOP_HOME=/xxx...
2017-08-31 01:26:00
78
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人