nosql
关注
分享
扫一扫
iteye_10680
这个作者很懒，什么都没留下…
展开
-
hadoop1.2.1+hbase集群详解
最近我由于工作原因，我要搭建一套hadoop+hbase集群的测试环境。 目前有三台服务器，我计划就在这三台服务器中搭建一套环境，多余的话不说，大家往下看吧。 一、搭建前的准备工作 我有三台服务器，分别是192.168.1.97，192.168.1.98，192.168.1.99。 那我如何来命名呢，97对应的是master，98...原创 2014-03-10 18:54:18 · 118 阅读 · 0 评论 -
[FastDFS] FastDFS 配置文件详解(修订版1) 【转】
本帖最后由 happy_fish100 于 2012-11-04 20:26 编辑首先是 tracker.conf# is this config file disabled# false for enabled# true for disableddisabled=false# 这个配置文件是否不生效,呵呵(改成是否生效是不是会让人感觉好点呢?) false 为生效(否则不生效) true反...原创 2013-10-29 20:23:18 · 127 阅读 · 0 评论 -
hadoop 命令手册
hadoop 命令手册 概述 所有的hadoop命令均由 bin/hadoop脚 本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 用法：hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] Hadoop有 一个选项解析框架用于解析一般的选项和运行类。 命令选 项 ...原创 2013-10-08 15:11:21 · 164 阅读 · 0 评论 -
Hadoop hdfs Shell命令 HDFS操作命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个...原创 2013-10-08 12:45:54 · 157 阅读 · 0 评论 -
hbase性能测试对比分析
数据库读写性能分析 1、 单机类比集群测试 测试环境： 由3台服务器组成的hadoop集群组成分散式文件系统 由一台单独的机器单机类比Hbase集群 由一台机器单机测试Mysql 测试规模：50万条记录以上，单线程、多线程测试 测试结果： HBase Mysql 单线程 插入 100 条记录 155 ...原创 2013-09-30 13:10:05 · 1193 阅读 · 0 评论 -
如何安装FastDFS
目前FastDFS支持类Unix系统 ，在Linux和FreeBSD下测试过，本文使用的是Ubuntu10.4，建议安装之前先简单了解一下FastDFS的原理 ，这对后继的配置部分会有很好的理解。 一、准备工作-安装libevent FastDFS 内部绑定了 libevent 作为 http 服务器 ，在V2.X版本必须安装 libevent ，本文安装的是V2.2版本，因此必须安...原创 2012-11-14 10:31:25 · 251 阅读 · 0 评论 -
五种基本memcached 命令
五种基本memcached 命令（执行最简单的操作）： set: 用于向缓存添加新的键值对。如果键已经存在，则之前的值将被替换。 add :仅当缓存中不存在键时，add 命令才会向缓存中添加一个键值对。如果缓存中已经存在键，则之前的值将仍然保持相同，并且您将获得响应NOT_STORED 。 replace:仅当键已经存在时，replace 命令才会替换缓存中的键。如果缓存中...原创 2012-11-14 10:27:44 · 109 阅读 · 0 评论 -
利用JAVA操作Redis
import org.junit.After; import org.junit.Before; import org.junit.Test; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients.jedis.JedisPoolConfig; impo...原创 2012-05-14 11:30:01 · 302 阅读 · 0 评论 -
NOSQL的总结感想
NoSQL主要用于解决以下几种问题 少量数据存储，高速读写访问。此类产品通过数据全部in-momery 的方式来保证高速访问，同时提供数据落地的功能，实际这正是Redis最主要的适用场景。 海量数据存储，分布式系统支持，数据一致性保证，方便的集群节点添加/删除。 这方面最具代表性的是dynamo和bigtable 2篇论文所阐述的思路。前者是一个完全无中心的设计，节点之间通过gossip方...原创 2012-05-14 09:21:39 · 615 阅读 · 0 评论 -
Redis配置文件说明
配置文件参数说明: 1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程 daemonize no 2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定 pidfile /var/run/redis.pid 3. 指定Redis监听端口，默认端...原创 2012-03-28 14:24:35 · 147 阅读 · 0 评论 -
利用JAVA操作MongoDB
[code="java"] package com.hoo.test; import java.net.UnknownHostException; import com.mongodb.DB; import com.mongodb.DBCollection; import com.mongodb.DBCursor; import com.mongodb.Mongo; impo...原创 2012-03-28 13:34:12 · 189 阅读 · 0 评论 -
如何在MongoDB中建立新数据库和集合
一、创建Mongodb数据库 由于Mongodb不是关系型数据库文件，实际上，它并不存在传统关系型数据库中的所谓“数据库”的概念，但不用担心，当你第一次新增数据时，mongodb就会以collection集合的形式进行保存和新建，而不需要你手工去新建立。下面是例子： 1)列出当前的数据库 MongoDB shell version: 1.8.1 connecting ...原创 2012-03-28 11:15:14 · 845 阅读 · 1 评论 -
Redis 认识的几个误区
Redis几个认识误区 前几天微博发生了一起大的系统故障，很多技术的朋友都比较关心，其中的原因不会超出James Hamilton在On Designing and Deploying Internet-Scale Service(1)概括的那几个范围，James第一条经验“Design for failure”是所有互联网架构成功的一个关键。互联网系统的工程理论其实非常简单，James pap...原创 2012-03-27 09:47:29 · 101 阅读 · 0 评论 -
Redis使用总结
1、常用内存优化手段与参数 通过我们上面的一些实现上的分析可以看出redis实际上的内存管理成本非常高，即占用了过多的内存，作者对这点也非常清楚，所以提供了一系列的参数和手段来控制和节省内存，我们分别来讨论下。 首先最重要的一点是不要开启Redis的VM选项，即虚拟内存功能，这个本来是作为Redis存储超出物理内存数据的一种数据在内存与磁盘换入换出的一个持久化策略，但是其内存管理成本也非常的高，...原创 2012-03-27 09:45:30 · 130 阅读 · 0 评论 -
8种Nosql数据库系统对比
1. CouchDB •所用语言： Erlang •特点：DB一致性，易于使用 •使用许可： Apache •协议： HTTP/REST •双向数据复制， •持续进行或临时处理， •处理时带冲突检查， •因此，采用的是master-master复制（见编注2） •MVCC - 写操作不阻塞读操作 •可保存文件之前的版本 •Crash-only（可靠的）设计 •需要不时地进行...原创 2012-02-28 16:11:41 · 147 阅读 · 0 评论