
ceph存储测试
文章平均质量分 79
武晓兵
软件质量、项目管理、产品售前;云计算、大数据、人工智能。
展开
-
sysbench 安装、使用和测试
http://www.cnblogs.com/zhoujinyi/archive/2013/04/19/3029134.htmlsysbench 安装、使用和测试摘要: sysbench是一个开源的、模块化的、跨平台的多线程性能测试工具,可以用来进行CPU、内存、磁盘I/O、线程、数据库的性能测试。目前支持的数据库有MySQL、Oracle和PostgreSQL。当前功能允许测...转载 2018-11-09 12:13:00 · 551 阅读 · 0 评论 -
cache tier 分级缓存
一图描述 cache tier:Ceph 缓存层将冷热数据分离,以快速存储设备作为缓存层,低速廉价存储设备作为存储层提升 IO 性能 使用两个 pool,作为存储层和缓存层,缓存层覆盖在存储层上,也会叫 base pool 和 cache pool客户端访问操作数据时,先读写缓存层,如果在存储层则提升到缓存层ceph objecter 决定数据向哪个层存储,tier ag...转载 2019-01-07 13:46:01 · 1632 阅读 · 0 评论 -
ceph中的radosgw相关总结
https://blog.csdn.net/zrs19800702/article/details/53101213http://blog.csdn.net/lzw06061139/article/details/51445311https://my.oschina.net/linuxhunter/blog/654080rgw 概述Ceph 通过radosgw提供RES...转载 2019-03-27 16:46:51 · 773 阅读 · 0 评论 -
玩转 Ceph 的正确姿势
https://www.cnblogs.com/me115/p/6366374.html玩转 Ceph 的正确姿势玩转 Ceph 的正确姿势本文先介绍 Ceph, 然后会聊到一些正确使用 Ceph 的姿势;在集群规模小的时候,Ceph 怎么玩都没问题;但集群大了(到PB级别),这些准则可是保证集群健康运行的不二法门;Ceph 最初的目标是做一个分布式文件系统,直到现在这个目标也不能算...转载 2019-03-28 11:22:29 · 189 阅读 · 0 评论 -
Ceph理解
https://www.jianshu.com/p/bb39a2fabfa0原因:2017年4月14日 星期五 学习记录。说明:整理ceph资料。我的博客 : http://minichao.me前言2006年Sage Weil发表了Ceph论文,启动一个伟大的开源项目ceph。 本文参考文献过多,包含github开源项目,UnitedStack项目等不一一引述。 本书主要引述于t...转载 2019-03-28 11:24:10 · 554 阅读 · 0 评论 -
Ceph基础运维命令大全
https://www.jianshu.com/p/a104d156f120?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendationCeph基础运维命令大全集群管理每次用命令启动、重启、停止Ceph守护进程(或整个集群)时,必须指定至少一...转载 2019-03-28 11:25:45 · 889 阅读 · 0 评论 -
大话Ceph--CRUSH那点事儿
https://mp.weixin.qq.com/s/Q6aWSIuOJOaC9m1ZTOR_Zg?大话Ceph--CRUSH那点事儿引言那么问题来了,把一份数据存到一群Server中分几步?Ceph的答案是:两步。 计算PG 计算OSD 计算PG首先,要明确Ceph的一个规定:在Ceph中,一切皆对象。不论是视频,文本,照片等一切格式的数据,Cep...转载 2019-03-29 11:31:11 · 256 阅读 · 0 评论 -
大话Ceph--RBD那点事儿
大话Ceph--RBD那点事儿引言这篇文章主要介绍了RBD在Ceph底层的存储方式,解释了RBD的实际占用容量和RBD大小的关系,用几个文件的例子演示了文件在RBD(更恰当的是xfs)中的存储位置,最后组装了一个RBD,给出了一些FAQ。RBD是什么RBD : Ceph’s RADOS Block Devices , Ceph block devices are thin-...转载 2019-03-29 11:32:43 · 531 阅读 · 0 评论 -
分布式存储ceph 对象存储配置zone同步
http://storage.it168.com/a2018/0705/3213/000003213125.shtml 一、架构: Ceph天生带两地三中心概念,我们要去的双活就是两个数据中心,Ceph两数据中心可以在一个集群也可以在不同的集群中。 二,概念: zone:包含多个RGW实例的一个逻辑概念。zone不能跨集群。同一个zone的数据保存在同一组pool中。...转载 2019-05-16 10:10:34 · 2197 阅读 · 0 评论 -
通过iscsi协议使用ceph rbd
http://www.cnblogs.com/chris-cp/p/6272722.html转自:http://blog.csdn.net/wytdahu/article/details/46545235ceph很早就已经支持通过iscsi协议来使用rbd,这篇博文对此做下演示,并且使用OSD Server作为iscsi target端。一、OSD Server side1、安装...转载 2019-05-16 12:17:31 · 631 阅读 · 0 评论 -
初试 Centos7 上 Ceph 存储集群搭建
https://blog.csdn.net/aixiaoyang168/article/details/78788703目录 Ceph 介绍 环境、软件准备 Ceph 预检 Ceph 存储集群搭建1、Ceph 介绍 Ceph 是一个开源的分布式存储系统,包括对象存储、块设备、文件系统。它具有高可靠性、安装方便、管理简便、能够轻松管理海量数据...转载 2019-05-16 19:21:03 · 474 阅读 · 0 评论 -
对象存储、块存储、文件系统存储概念与区别
对象存储、块存储、文件系统存储概念与区别https://www.cnblogs.com/zxiner/p/7141861.html一、概念及区别针对不同的应用场景,选择的分布式存储方案也会不同,因此有了对象存储、块存储、文件系统存储。这三者的主要区别在于它们的存储接口:1. 对象存储: 也就是通常意义的键值存储,其接口就是简单的GET,PUT,DEL和其他扩展,如七牛、又拍...转载 2019-05-22 14:27:58 · 9108 阅读 · 0 评论 -
块存储、文件存储、对象存储这三者和分布式文件存储系统的本质区别
块存储、文件存储、对象存储这三者和分布式文件存储系统的本质区别块存储和文件存储是我们比较熟悉的两种主流的存储类型,而对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-based Storage Device)简称OSD。 首先,我们介绍这两种传统的存储类型。通常来讲,所有磁盘阵列都是基于Blo...转载 2019-05-17 16:53:34 · 663 阅读 · 0 评论 -
fio 存储测试工具
https://fio.readthedocs.io/en/latest/fio_doc.html原创 2019-07-16 14:49:34 · 289 阅读 · 0 评论 -
ceph版本号
https://www.cnblogs.com/luxiaodai/p/10005700.html概述第一个 Ceph 版本是 0.1 ,要回溯到 2008 年 1 月。多年来,版本号方案一直没变,直到 2015 年 4 月 0.94.1 ( Hammer 的第一个修正版)发布后,为了避免 0.99 (以及 0.100 或 1.00 ?),我们制定了新策略。 x.0.z - 开发版(...转载 2019-09-10 16:26:03 · 1725 阅读 · 0 评论 -
大数据时代下,需要什么样的冷存储?
摘要: 智能互联网时代,数据正在以几何级的数量爆炸增长,如何存储并管理这些海量数据,是很多企业面临的一个难题。如果采用传统通用型服务器存储策略,这意味着要建设庞大的数据中心系统,导致存储成本极速攀升。 对于那些云服务提供商而言,大量不断增长的数据例如图片等都属于不经常访问,但却又无法删除的,即使客户很久不会访问这些信息,但依然不能随意删除,并且不允许停机归档,也无法实现洪峰数据控制。 智能互...转载 2018-12-29 09:59:05 · 1008 阅读 · 0 评论 -
百度对象存储BOS(Baidu Object Storage)进行冷存储数据备份
https://blog.csdn.net/lavorange/article/details/50639849百度对象存储BOS(Baidu Object Storage)进行冷存储数据备份2016年02月06日 13:18:24 忆之独秀 阅读数:2123版权声明:Copy Right 2012 - 2018@ 忆之独秀 https://blog.csdn.net/lavorang...转载 2018-12-29 09:58:11 · 2438 阅读 · 1 评论 -
fio工具中的iodepth参数与numjobs参数-对测试结果的影响
fio工具中的iodepth参数与numjobs参数-对测试结果的影响http://www.178pt.com/204.htmlfio工具中的iodepth参数与numjobs参数-对测试结果的影响测试环境3台服务器:ceph配置内外网分离,外网使用万兆线,内网使用千兆线,osd共21个。1台客户端:安装fio工具、内核客户端,使用万兆线。测试目的针对fio工具中的io...转载 2018-11-08 19:57:02 · 4707 阅读 · 1 评论 -
CNCF 首个云原生存储项目 ROOK
https://studygolang.com/p/rookCNCF 首个云原生存储项目 ROOK CNCF 首个云原生存储项目 ROOK 这是一个分享于 2018-01-31 12:30:00 的项目,其中的信息可能已经有所发展或是发生改变。Rook将文件、数据块和对象存储系统引入到Kubernetes集群,与其他正在使用存储的应用程序和服务一起无缝运行。通过这种方式,云原生...转载 2018-11-22 14:05:10 · 272 阅读 · 0 评论 -
ceph--磁盘和rbd、rados性能测试工具和方法
https://www.cnblogs.com/Alysa-lrr/archive/2016/11/03/6027194.htmlceph--磁盘和rbd、rados性能测试工具和方法我在物理机上创建了5台虚拟机,搭建了一个ceph集群,结构如图:具体的安装步骤参考文档:http://docs.ceph.org.cn/start/ ...转载 2018-11-23 15:43:19 · 1437 阅读 · 0 评论 -
块存储、文件存储、对象存储意义及差异
hukey Linux宝库 今天 块存储 典型设备:磁盘阵列、硬盘 块存储主要是将裸磁盘空间整个映射给主机使用的。例如:磁盘阵列里面有5块硬盘,然后可以通过划逻辑盘、做Raid、或者LVM等方式逻辑划分出N个逻辑的硬盘。 但是逻辑盘和物理盘是两个完全不同的概念。假设每个硬盘100G,共有5个硬盘,划分为逻辑盘也为5个,每个100G,但是这5个逻辑盘和原...转载 2018-11-26 10:03:42 · 263 阅读 · 0 评论 -
ceph 版本号命名规则
http://www.cnblogs.com/luxiaodai/p/10005700.html概述第一个 Ceph 版本是 0.1 ,要回溯到 2008 年 1 月。多年来,版本号方案一直没变,直到 2015 年 4 月 0.94.1 ( Hammer 的第一个修正版)发布后,为了避免 0.99 (以及 0.100 或 1.00 ?),我们制定了新策略。 x.0.z - 开发版(给...转载 2018-11-30 10:06:22 · 2355 阅读 · 0 评论 -
ceph---luminous版的安装
https://www.cnblogs.com/gzxbkk/p/7755729.html前言ceph luminous版本新增加了很多有意思的功能,这个也是一个长期支持版本,所以这些新功能的特性还是很值得期待的,从底层的存储改造,消息方式的改变,以及一些之前未实现的功能的完成,都让ceph变得更强,这里面有很多核心模块来自中国的开发者,在这里准备用一系列的文章对这些新功能进行一个简单的介...转载 2018-11-30 10:15:25 · 346 阅读 · 0 评论 -
CEPH集群操作入门--配置
https://www.cnblogs.com/luxiaodai/p/10006036.htCEPH集群操作入门--配置lCEPH集群操作入门--配置阅读目录(Content)概述 配置 存储设备 概述 准备硬盘 OSD后端 配置Ceph 概述 选项名称 配置来源 配置 元变量 配置文件 监控配置数据库 ...转载 2018-11-30 10:35:42 · 1825 阅读 · 0 评论 -
ceph常用指令
https://wenku.baidu.com/view/d9021e17b4daa58da0114a5c.html?sxts=1543289278177https://www.cnblogs.com/boshen-hzb/p/6782303.html ceph常用指令一、集群1、启动一个ceph 进程启动mon进程service ceph start mon.nod...转载 2018-11-27 11:47:42 · 2214 阅读 · 0 评论 -
Ceph 基础知识和基础架构认识
Ceph 基础知识和基础架构认识1 Ceph基础介绍Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统,根据场景划分可以将Ceph分为三大块,分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里,比较常用到的是Ceph的块设备存储,比如在OpenStack项目里,Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储,比...转载 2018-12-12 17:16:20 · 299 阅读 · 0 评论 -
DAS、SAN、NAS三种存储方式的概念及应用
DAS、SAN、NAS三种存储方式的概念及应用 DAS(Direct-attached Storage) 直连存储直连式存储与服务器主机之间的连接通常采用SCSI连接,SCSI通道是IO瓶颈;服务器主机SCSI ID资源有限,能够建立的SCSI通道连接有限。无论直连式存储还是服务器主机的扩展,从一台服务器扩展为多台服务器组成的群集(Cluster),或存储阵列容量的扩展,都会造成业务...转载 2018-12-03 16:23:10 · 370 阅读 · 0 评论 -
块储存、对象存储、文件存储的区别和联系
块储存、对象存储、文件存储的区别和联系块储存、对象存储、文件存储的区别和联系通常来讲,磁盘阵列都是基于Block块的存储,而所有的NAS产品都是文件级存储。1. 块存储:DAS SANa) DAS(Direct Attach Storage): 是直接连接于主机服务器的一种存储方式,每台服务器有独立的存储设备,每台主机服务器的存储设备无法互通,需要跨主机存取资料室,必须经过相对...转载 2018-12-03 16:24:32 · 397 阅读 · 0 评论 -
存储相关的两个网站
http://www.stor.com.cn (存储网)http://www.chinastor.com/ (中国存储)原创 2018-12-03 16:44:41 · 245 阅读 · 0 评论 -
三种存储类型比较-文件、块、对象存储
三种存储类型比较-文件、块、对象存储 块存储和文件存储是我们比较熟悉的两种主流的存储类型,而对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-based Storage Device)简称OSD。 首先,我们介绍这两种传统的存储类型。通常来讲,所有磁盘阵列都是基于Block块的模式(DAS),...转载 2018-12-03 17:39:49 · 1563 阅读 · 0 评论 -
ceph 中 pg和pgp的关系
pg和pgp的关系:pg是用来存放object的,pgp相当于是pg存放osd的一种排列组合,我举个例子,比如有3个osd,osd.1、osd.2和osd.3,副本数是2,如果pgp的数目为1,那么pg存放的osd组合就只有一种,可能是[osd.1,osd.2],那么所有的pg主从副本分别存放到osd.1和osd.2,如果pgp设为2,那么其osd组合可以两种,可能是[osd.1,osd.2]...转载 2018-12-17 10:51:27 · 2098 阅读 · 0 评论 -
ceph 中pg和pgp的区别
PG是指定存储池存储对象的目录有多少个,PGP是存储池PG的OSD分布组合个数 PG的增加会引起PG内的数据进行分裂,分裂到相同的OSD上新生成的PG当中 PGP的增加会引起部分PG的分布进行变化,但是不会引起PG内对象的变动...转载 2018-12-12 10:15:27 · 905 阅读 · 0 评论 -
Ceph与HDFS存储方案的对比优势
Ceph与HDFS存储方案的对比优势标题转载 2019-09-20 17:48:00 · 1979 阅读 · 2 评论