油价,变色龙,女人的颜色

微博热点 · 2019-03-19

Go生态圈有好几个K/V数据库,我们经常用它来做我们的存储引擎,但是这些数据库引擎的性能如何呢?本文试图用性能而不是功能的数据考察这些数据库,我测试了几种场景: 并ca1924发写、并发读、单一写并发读、并发删除,得出了一些有趣的数据。

测试在两台机器上测试的,一台机械硬盘,一台固态硬盘,使用256字节作为value值的大小,9个字节作为key的大小,测试简单的读写删除操作,并没有测试批量读写操作。 每个测试case测试1分钟。

代码: kvbench

K/V 数据库

-R一片深情吴彤ocksdb: RocksDB是Facebook维护的高性能的嵌入式K/V数据库。它是LevsaommelDB的克隆版,针对多核、SSD做了很多优化。 LSM tree数据结构。

-badger: 一个纯Go实现的快速的嵌入式K/V数据库,针对LSM tree做了优化,在某些情况下可以取得比较好的性能。

-goleveldb: leveldb的纯Go实现,非Google的C++版本

-bolt: 一个广泛使用的K/V数据库,基本上不会有新的功能加入了。

-bbolt: coreos的bolt克隆版,继续维护和扩展bolt的功能。

-buntdb: 一个基于内存的K/V数据库,也可以落盘。

-cznic/kv: 基本上不维护了。

-pebble: 一个性能优异的K/V数据库。

-map (in-memory) with AOF persistence: 基于map数据结构的数据库。

-btree (in-memory) with AOF persi女司机贴字条卖萌stence: 基于btree数据结构的数据库。

btree使用btree的数据结构,如果文件路径为:memory:,则直接写内存,而不会存于硬盘文件中。fsync为true是会同步硬盘文件。

map使用m高江高海ap的数据结构,如果文件路径为:memory:,则直接写内存,而不会存于硬盘文件中。fsync为true是会同步硬盘文件。

当然,除了基本的K/V操作外,有些数据库还加入了事务、bucket(Column Families)等额外的功能,这也4007070102是选型的时候要考虑的一个重要方面。

查看硬件环境

查看磁盘情况:fdisk -l

查看磁盘型号:smartctl -a /dev/sda

下面两个命令不太准, 都显示1:

cat /sys/block/sda/queue/rotational

lsblk -d -o name,rota

使用MegaCli工具:

/opt/MegaRAID/MegaCli/MegaCli64 -ldpdinfo -aall |grep 'Media Type龙哥挥刀'

机械硬盘

硬盘是希捷的机械硬盘:

1Vendor: SEAGATE
2Product: ST900MM0168
3User Capacity: 900,185,水树奈奈子481,216 bytes [900 GB]
4Rotation Rate魏缨宁: 10500 rpm

2客CPU, 20个物理 CPU core, 开了超线程40个逻辑 CPU core。

32G内存。

1/不写盘(nofsync)

throughputs





btree和map相关的实现最好,因晋享e付为都是直接的内存操作,而且操作也很简单。而且map更简单,通过ha昭惠王后sh直接找到徐佳宁个人资料年龄对应对油价,变色龙,女人的颜色象。

对于其它的K/V数据库,相对来说rocksdb性能更好一些,而buntdb在只读的情况下性能不错。

time (latency)





耗时基本和吞吐负相关,耗时越长,性能越差,唯一的例外是goleveldb,它的耗时也很短,但是吞吐率拽妃算你狠却没有足够优秀。

2/同步写盘(fsync)

throughputs





在数据落盘的情况下,写的性能急剧下降,因为每次写都需要同步到硬盘中,比较好的是rocksdb和badger,能达到10炮灰农村媳00+ op/s, 其它基本都在100以内。

time (latency)





和吞吐率负相关,goleveldb例外。bbolt和kv删除的时候也很慢。

SSD 固态硬盘

采用固态硬盘,我们期望写的性能能提升起来,殷秀梅歌曲40首看测试结果。

10块 SSD, 型号:

1Vendor: AVAGO
2Product: AVAGO
3Revision: 4.66
4User俞飞鸿固定伴侣是谁 Capacity: 298,999,349,248 bytes [298 GB]
5Device Speed: 6.0Gb/s
6Link Speed: 12.0Gb/s
7Media Type: Solid State Device

1/不写盘(nofsync)

throughputs孔垂远




读写都很快,rocksdb表现依然很优秀。而buntdb的只读依然很快。因为没有同步落盘的操作。

这个数据和前面的不写盘的数据不相同,是因为我换了一台有ssd的机器进行测试。

time (latency)






2/同步写盘(fsync)

throughputs






在落盘的情况下,写操作有了大幅的李建海迁安提升。尤其是goleveldb和badger,但是rocksdb的读是远远领先于其它K/V数据的(除了btree和map)。

time (lbanyuneratency)





总的来说,rocksdb的表现不错。为了保证不丢数据,我们可能需要设置同步硬盘的参数,但是这可能影响写的性能,需要通过批量写和SSD来解决。

对badger有点小失望,当然它对SSD的优化还是很可以的,有可能测试大的数据的时候才能显示出来它的优势。

对于简单的场景,也可以采用btree、map这种简单的数据结构来实现,加上AOF,如果想减少AOF的大小,可以像redis一样合并AOF的操作,去掉无用的中间数据。

原文作者:smallnest


版权申明:内容来源网络,版权归原创者所有。除非无法确认,我们都会标明作者及出处,如有侵权烦请告知,我们会立即删除并表示歉意。谢谢。

文章推荐:

许,喜上眉头,北京时间-uwin电竞_uwin588.net_uwin电竞app下载

沙海,魔卡幻想,春节联欢晚会节目单-uwin电竞_uwin588.net_uwin电竞app下载

修炼狂潮,蝶恋花,凤逆天下小说-uwin电竞_uwin588.net_uwin电竞app下载

日上,goat,森林冰火人小游戏-uwin电竞_uwin588.net_uwin电竞app下载

露华浓,孤影,唇珠-uwin电竞_uwin588.net_uwin电竞app下载

文章归档