
Hadoop
文章平均质量分 87
胸口碎大石_
喜欢技术 热爱折腾. 目前专注于大型分布式系统架构设计cache等方案 欢迎技术交流
展开
-
Zookeeper(六)数据模型
Zookeeper数据模型:Zookeeper的结构类似标准的文件系统,但这个文件系统中没有文件和目录,而是统一使用节点(node)的概念,称为znode。Znode作为保存数据的容器(限制在1mb以内),也构成了一个层次化的命名空间。 znode zookeeper目录中的每一个节点对应着一个znode,每个znode维护着一个属性结构原创 2013-03-30 15:32:32 · 6133 阅读 · 1 评论 -
Zookeeper(五)JAVA API
org.apache.zookeeper.ZooKeeper类 主要方法列表方法名称描述String create(final String path, byte data[], List acl, CreateMode createMode)创建一个znode节点,参数: 路径、 znode内容,ACL(访问控制列表)、 znode原创 2013-03-11 21:21:38 · 31835 阅读 · 0 评论 -
Zookeeper(四)简单操作
1. 连接到zookeeper服务[java2000_wl@localhost zookeeper-3]$ bin/zkCli.sh -server 127.0.0.1:21812. 使用ls命令查看当前zookeeper中包含的内容[zk: 127.0.0.1:2181(CONNECTED) 1] ls /[zookeeper]原创 2013-03-09 23:33:07 · 12224 阅读 · 0 评论 -
Zookeeper(二)四字命令
通过这些四字命令可以获取服务的当前状态,配置等相关信息。用户在客户端可通过telnet或nc向zookeeper发出命令。命令描述cons列出连接到服务器的所有客户端详细信息(连接,会话)。包括“接收/发送”的包数量,会话id,操作延迟等。 /127.0.0.1:37185[0](queued=0,recved=1,sent=0)原创 2013-03-06 23:08:56 · 6530 阅读 · 0 评论 -
Zookeeper(一)伪分布式安装
一:环境centosjdk1.6zookeeper-3.4.3 下载二:配置将解压出来的zookeeper 复制三份,这里分别叫做 zookeeper-1,zookeeper-2和zookeeper-3。1. zookeeper-1 配置:创建data目录:/home/java2000_wl/hadoop/zookeeper-1/data创原创 2013-03-03 16:15:07 · 11291 阅读 · 1 评论 -
Hbase- 二级索引
二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性,RDBMS早已支持,NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index, ITHbase, Facebook方案和官方Coprocessor的介绍。理论目标在HBa转载 2012-08-05 17:10:28 · 2143 阅读 · 1 评论 -
Hadoop基本操作命令
原文地址:http://www.cnblogs.com/gpcuster/archive/2010/06/04/1751538.html在这篇文章中,我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。 假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。 启动与关闭 启动Hadoop 1. 进入HADOOP_HOM转载 2012-05-21 17:30:32 · 1334 阅读 · 0 评论 -
Hadoop1.0 Eclipse Plugin-作业提交
1.环境 Jdk:1.6.0_10-rc2 Hadoop:hadoop-1.0.0.tar.gz Eclipse 版本:3.4.0 Hadoop Eclipse 插件 :hadoop-eclipse-plugin-1.0.0.jar 下载地址 操作系统:Windows7 32位 旗舰版 2.Eclipse插件配置原创 2012-05-24 13:01:23 · 3669 阅读 · 0 评论 -
Hadoop错误汇总(更新中)
1.ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /var/lib/hadoop-0.20/cache/hdfs/dfs/data: namenodenamespaceID = 240012870; datanode namespa原创 2012-05-24 13:40:27 · 22862 阅读 · 1 评论 -
Hadoop1.0单点安装-Windows
一:CygWin安装 cygwin1.7.15 下载地址 安装省略、(记得安装ssh) 安装完成后 将usr\sbin 目录 加入到path环境变量中二:ssh配置 $ ssh-host-config *** Query: Should privilege separation b原创 2012-05-21 17:25:13 · 3968 阅读 · 0 评论 -
Hbase伪分布式安装-Windows
一:环境windows XP sp3Hadoop1.0(Hadoop安装篇)Hbase0.92.1JDK1.6以上Cygwin二:Hbase配置.配置hadoop/conf目录下 2个文件 hbase-env.sh, hbase-site.xml①.hbase-env.sh a.配置jdk安装目录(记得去掉前面的注释) exp原创 2012-07-29 23:50:00 · 3867 阅读 · 1 评论 -
Zookeeper(八)分布式队列
1. element 方法 获取对列头部第一个元素 查找队列znode 下所有的子节点名称 使用TreeMap给顺序编号排序 返回第一个znode对应的值 public byte[] element() throws NoSuchElementException, KeeperException, InterruptedException { Tre原创 2013-05-11 13:11:21 · 6079 阅读 · 0 评论