华为云企业级redis揭秘第一期:高斯redis与存算分离-4008云顶国际网站

高斯redis官方博客 发表于 2021/02/25 11:47:25 2021/02/25
【摘要】 云数据库gaussdb(for redis)作为华为云旗下企业级redis,致力于为客户提供稳定可靠、超高并发,且能够极速弹性扩容的kv存储服务。


gaussdb(for redis)(下文简称高斯redis)是华为云数据库团队自主研发的兼容redis协议的云原生数据库,该数据库采用计算存储分离架构,突破开源redis的内存限制,可轻松扩展至pb级存储。

本文将从存储架构、四大特性、竞争力、应用场景等方面进行介绍。

1. 存储架构

高斯redis基于计算存储分离架构,计算层实现热数据缓存,存储层实现全量数据的落盘,中间通过rdma高速网络互连,通过算法预测用户的访问规律,实现数据的自动冷热交换,最终达到极致的性能提升。

2. 四大特性

该架构基于华为内部强大且广泛使用的自研分布式存储系统dfv,实现了一套share everything的云原生架构,充分发挥了云原生的弹性伸缩、资源共享的优势,使得高斯redis具备强一致、秒扩容、低成本、超可用的四大特点,完美避开了开源redis的主从堆积、主从不一致、fork抖动、内存利用率只有50%、大key阻塞、gossip集群管理等问题。

  • 强一致

数据复制是存储的事情,因此专业的事情交给专业的团队来做。通过分布式存储dfv,高斯redis轻松实现了3副本强一致,并可轻松支持6副本,为业界首创。

在强一致架构下,用户再也不用担心开源redis的主从堆积,带来的丢数据、不一致、oom等极端问题,更不用担心业务出错,比如计数器、限流器、访问统计、hash字段等不一致。

  • 秒扩容

数据规模膨胀之后,扩容是个高危且困难的操作。高斯redis基于云原生架构,将扩容分成计算层和存储层。计算层扩容,无需任何数据搬迁,只需修改路由映射,即可秒级完成。存储层是个共建的超级数据湖,其容量巨大,而且扩容是切成细腻度的64mb数据分区,对上层数据库业务几乎无感。

因此高斯redis可以轻松支撑业务的大规模膨胀,并且真正做到计算/存储分层的按需扩容和购买。

  • 低成本

高斯redis相对于开源redis,在存储介质上使用了磁盘替代内存。一方面,由于采用存算分离架构,计算资源少了一半,即没有从节点;另一方面,存储资源按需购买,无任何浪费,并且采用了逻辑/物理压缩。最终,每gb综合成本不到开源redis的十分之一。

  • 超可用

开源redis或友商redis不管单分片还是集群,其数据复制都采用主从架构,导致n个节点的集群,如果同时挂掉一对主从(即2个节点),整个集群就不可用。而高斯redis采用存算分离之后,每个计算节点都可以看到并共享所有数据,因此n个节点,最多可以容忍挂掉n-1个节点,真正做到比高可用还高的可用性。

3. 竞争力分析

——详细对比请见

4. 场景推荐

高斯redis不仅性能逼近缓存,而且其存储能力(扩展性、高性能、易用性)超越数据库。因此除了缓存场景可以选择高斯redis以外,上至pb级别大规模数据存储都可以选择高斯redis。场景参考如下:

5. 选择建议


    本文作者:华为云数据库gaussdb(for redis)团队

    杭州/西安/深圳简历投递:yuwenlong4@huawei.com

    gaussdb(for redis)产品4008云顶国际网站主页:

    更多技术文章,关注gaussdb(for redis)官方博客:

    https://bbs.huaweicloud.com/community/usersnew/id_1614151726110813

    【4008云顶国际集团的版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
    • 点赞
    • 收藏
    • 关注作者

    评论(0

    0/1000
    抱歉,系统识别当前为高风险访问,暂不支持该操作

    全部回复

    上滑加载中

    设置昵称

    在此一键设置昵称,即可参与社区互动!

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。