最近这两年,不止一次遇到有朋友寻找分布式存储/Server SAN的测试报告。在这其中,由于Ceph是当下开源项目中应用最广泛的,关注Ceph性能测试的朋友也相对多一些。

尽管我手头收集有各种来源的公开技术资料,但平时缺乏整理,特别是在我不够熟悉的领域。最近也是帮朋友点忙,终于抽了点时间静下心来,从几百份文档中找出12份资料(以中文为主)。顺便分享出来,算是借花献佛吧,希望对更多的读者有帮助。
附件可下载

下面我想给这12份资料做个分类,并分别写点简单的点评。

1、测试方法:块/对象/文件、专用和通用工具

《rados bench二三事》,作者:李宏杰/荆文军,来自苏研

上图引用自袁冬博士的ppt,当年在UnitedStack,现在应该在金山云。

RADOS就是Ceph底层的分布式“对象”数据结构,有的朋友说RADOS Bench不如直接在上层跑通用的测试工具,因为Ceph的3种数据访问协议都是在RADOS基础之上。比如块访问是用librbd或者krbd;对象存储经过rgw网关;CephFS文件系统也会增加MDS元数据节点。

RADOS Bench相当于只是测试了Ceph底层性能,但换一个思路也有其价值所在——由于Ceph是开源的,我了解到有朋友的公司只使用RADOS底层,而上层的数据服务则是自己设计(针对行业应用优化)。这就像用ZFS开源文件系统的人也不少,但是厉害一点的公司,可能只是在自家存储产品中用到一部分ZFS底层的技术。

《COSBench测Ceph对象存储:那些网上找不到的细节》,作者:李宏杰/童德奎,来自苏研

COSBench是专门用来测试对象存储的工具,由Intel开发,因为Amazon S3是通用的业内标准,所以Ceph等提供S3接口的对象存储都可以跑。

这里再次感谢苏研朋友撰写的分享,在甲方工作会有些不同,这倒不是说乙方缺乏技术高手,但以我自身的体会来说,乙方通常会更辛苦一些。再加上国内本来就没有一个良好的回馈社区的大环境,这不是个人能解决的问题。

《Ceph分布式存储-块存储BlueStore性能测试》,作者:李航(Lucien\_168)

这一篇中不只有radosbench、rbdbench-write、fio +libaio三种块存储测试方法,还有测试结果的比较(详见原文)。

《杉岩两语》:Vdbench在分布式存储性能测试中的使用方法,作者:杨子冠

VDBench是用java编写的,应用广泛的通用存储测试工具,自然也能用来测Ceph。VDBench我也使用过,确实挺强大的。

《CephFS架构解读与测试分析(下)》,作者:杨冠军

针对文件存储测试,介绍了fstest、dd、fio、iozone、filebench,还特别讲解了稳定性测试和异常测试的方法,这篇内容还是很丰富的。

2、来自硬件厂商的参考架构和优化测试

对于我这个外行来说,对BlueStore和FileStore这两种Ceph存储引擎的了解有限。在今天这已经不是一个新话题了,据我了解新的BlueStore应该已经占了主流上风,但也不能说哪一种技术就是十全十美的。

《Micron NVMe SSD 性能比较:CephBlueStore VS FileStore》,翻译:新钛云服

这篇原始内容来自SSD厂商,使用的测试工具是FIO。

《micron\_9300\_and\_red\_hat\_ceph\_reference\_architecture》,Micron文档

之所以列出这篇英文资料,是因为其中关于Ceph(BlueStore)的配置参数和测试结果列出的很全面,使用的测试工具也是FIO。

《Ceph BlueStore Performance – with Intel 3D NAND and IntelOptane Technologies

《Optimizing Ceph Performance by Leveraging Intel® Optane™and 3D NANDTLC SSDs

作者:yuan.zhou@intel.com、yuan.zhang@intel.com

这2份来自Intel的ppt自然少不了谈到SSD和CPU,当然其中也有讲调优。从2016年的NAND闪存SSD,到2017年引入Optane P4800X,大家可以看出有多大变化。当然不是每一个场合都需要用到3D XPoint Memory的性能。

扩展阅读:《_Intel Optane P4800X评测(1):好钢如何用在刀刃上?_》

《_SPDK实战、QoS延时验证:Intel Optane P4800X评测(5)_》

《Dell EMC DSS 7000 Performance & Sizing Guide for RedHat CephStorage 2

《Dell PowerEdge R730xd Performance and Sizing Guide forRed Hat CephStorage

围绕上面这2份资料,我在三年前撰写过《_Ceph性能测试:纠删码 vs. 三副本?_》和《Ceph__性能测试续 – _附:选型建议、上一篇答疑_》。其中使用的测试工具是radosbench,如今Erasure Code应该基本上用于Ceph对象存储,另外这个测试没有反映出数据修复时产生的影响。

3、ARM vs. x86

《ARM-x86服务器的ceph性能对比》,作者:黄小曼,中移

测试工具:前端Cosbench、后端Radosbench。

今天就班门弄斧到这里吧,受限于个人水平,我分享的资料有些老了。这些资料的版权都属于原作者,请大家注意。谢谢!

本文转载自企业存储技术微信公众号,原文链接点这里。
注:本文只代表作者个人观点,与任何组织机构无关,如有错误和不足之处欢迎在留言中批评指正。 进一步交流技术可以加我的微信/QQ:490834312。
尊重知识,转载时请保留全文,并包括本行及如下二维码。感谢您的阅读和支持!《企业存储技术》微信公众号:HL_Storage,也欢迎关注企业存储技术极术专栏,定期更新。

文件名 大小 下载次数 操作
【批量下载】03_Ceph Bluestore Performance by_Yuan Zhou等.zip 12.22MB 2 下载

发表评论

邮箱地址不会被公开。 必填项已用*标注