Voldemort — 分布式 key-value 存储系统

aircoder

于 2013-03-19 00:40:37 发布

阅读量603

点赞数

CC 4.0 BY-SA版权

分类专栏：网络摘要文章标签： hadoop

本文链接：https://blog.csdn.net/aircoder/article/details/84409445

网络摘要专栏收录该内容

21 篇文章

订阅专栏

本文深入探讨了LinkedIn构建TB级数据周期的关键经验，通过采用Hadoop作为后端计算集群，并引入分布式key-value存储系统Voldemort，解决大规模数据存储与处理的挑战。文章强调了键(Key)结构设计的重要性、硬件架构对大型系统的影响，以及并行计算的策略，为类似业务场景提供了一种高效的数据存储解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Voldemort — 分布式 key-value 存储系统
拜读了关于 LinkedIn 几位工程师写的构建 TB 级的 key-value 系统的经验：Building a terabyte-scale data cycle at LinkedIn with Hadoop and Project Voldemort。具体实现过程有大致的描述，就不鹦鹉学舌了。

其实现在很多公司可能都面临着这个抽象架构图中的类似问题。以 Hadoop 作为后端的计算集群，计算得出来的数据如果要反向推到前面去，用什么方式存储更为恰当? 再放到 DB 里面的话，构建索引是麻烦事；放到 Memcached 之类的 Key-Value 分布式系统中，毕竟只是在内存里，数据又容易丢。Voldemort 算是一个不错的改良方案。

值得借鉴的几点:

键(Key)结构的设计，有点技巧；
架构师熟知硬件结构是有用的。越大的系统越是如此。
用好并行。Amdahl 定律以后出现的场合会更多。
关于 key-value 应用的解决方案又多了一种。LinkedIn 对此应用案例也还在发展中。如果业务类型类似，不妨关注一下。

原文地址：http://dbanotes.net/arch/voldemort_key-value.html