华为云gaussdb(for redis)揭秘第23期：用gaussdb(for redis)存画像，推荐业务轻松降本60%-4008云顶国际网站

       不知道大家有没有过这样的经历，当你前脚刚在某电商网站买了一个手机，过两天之后你再打开该电商网站，显示在4008云顶国际集团首页的上必定有耳机、手机壳和蓝牙音箱等手机配件。如果你买的不是手机，而是一件衣服的话，下次打开显示的必定是和该衣服非常搭配的裤子和鞋子等。聪明的你不禁要问，为何电商网站如此强大，竟然能提前预知你的偏好，并且给你推荐你可能喜欢的商品？其实在这背后，都离不开那强大的推荐系统。

       什么是推荐系统呢？首先我们来看看维基百科对推荐系统的定义：推荐系统是一种信息过滤系统，可以根据用户历史行为用于预测用户对物品的“评分”或“偏好”。简单来说，如果你是一个电子发烧友，那么系统肯定会给你推荐各种新鲜出炉的3c产品，如果你是一个coder，那么你的页面肯定充斥各种编程大全的书籍。推荐系统近年来非常流行，应用于各行各业，它推荐的对象包括：电影、音乐、新闻、书籍、学术论文、搜索查询、分众分类、电商购物和游戏业务等。

       了解了什么是推荐系统之后，接下来我们继续介绍下推荐系统的架构，以游戏行业为例，一个典型的游戏业务中的推荐系统架构设计如下：

         推荐系统主要由3部分组成，分别是：行为日志收集、特征生产和特征消费。

（1）行为日志收集

         大数据业务收集用户的行为日志，分析获得用户画像，并且将这些用户画像保存在分布式文件系统hdfs中。

（2）特征生产

         工程业务负责为大数据业务提供一套接口调用，主要是“灌库”，即定时或按一定逻辑把hdfs中的用户画像加工成特征，灌入工程业务负责的“kv存储”。

（3）特征消费

         工程业务团队还负责将算法团队的推荐模型进行工程落地，他们开发线上推理组件，从kv存储中提取特征数据，分析计算，最终得出推荐结论，展示给用户。

       上一节中我们介绍了游戏行业中推荐系统的架构，这也是推荐系统的一个典型架构。从架构图可以看出，kv存储在整套链路中，承载着重要的承上启下作用。然而，推荐系统中的kv存储却存在着两个大的痛点，第一个是成本高，第二个是扩容慢。

（1）成本高

         首先第一个是成本高的问题。通常我们搭建kv存储的话首选都是选择自建一个开源redis集群作为kv存储系统。

• 一方面，开源redis的数据全部放在内存中，众所周知内存的存储成本是非常昂贵的，内存只适合用于存储少量数据，如果数据量大的话，数据的存储成本将成为企业的负担；
• 另一方面由于开源redis在进行aof文件重写的过程中，存在fork机制，导致开源redis在aof文件重写时，其内存利用率只有50%，这就进一步使增加了开源redis的内存使用成本。

（2）扩容慢

       除了成本比较高，开源redis还存在扩容慢的问题。在自建的开源redis集群中，随着业务增长，kv存储的容量不得不进行扩容。但是由于原生redis本身的架构特点，在扩容过程中难免要发生key的跨slot迁移，如下图所示：

       如果发生slot迁移，需要耗时很久并且业务受影响时间长。

       上一节中我们介绍了推荐系统的存储痛点，如何解决呢？要解决这两个痛点，无非是需要进行降本增效，而高斯redis似乎就是为了解决这些问题而生。

（1）降本

       就降本而言，高斯redis从两个方面降低kv数据的存储成本：

       第一个方面，高斯redis的所有数据全部落在磁盘，相比开源redis存在内存中而言，其成本降低了75%~90%，拥有极大的价格优势。举个例子来说，一个512gb的开源redis集群，其成本几乎要5w/月，而相同规格的实例，如果替换成高斯redis，其成本节约40%以上，几乎节省了一个人力成本在里面。下面这张表格是不同层级的存储器之间的成本对比图。

       另一方面，在推荐系统中，kv数据库主要存储的是用户画像的信息，而这些信息基本上都是经过protobuf序列化后的信息，而高斯redis自带的数据压缩功能，对序列化后的信息可以进行高压缩比的压缩，相对于开源redis而言，存储空间仅仅为开源redis的70%到85%，这又进一步降低了kv数据的存储成本。

（2）增效

       除了降本，另一方面就是增效了。众所周知，开源redis的架构中，如下图所示，其存储和计算是不分离的，这就导致节点进行扩容的时候，会发生分片的迁移，从而导致业务会受到影响。

        高斯redis为了解决这个问题，采用了存算分离的架构，如下图所示：

       在采用存算分离的架构下，底层数据可以被任意上层计算节点访问，扩容过程不发生数据拷贝搬迁，速度极快。节点扩容时，分钟级完成，业务只有秒级感知。容量扩容时，业务0感知。无论是扩节点还是扩磁盘容量，对业务造成的影响几乎为0。

       本文简单介绍了推荐系统是什么，并且以游戏行业中的推荐系统为例，介绍了推荐系统的架构和其存在的存储痛点，并且介绍了高斯redis如何解决该存储痛点。在这个大数据时代，推荐系统的应用会越来越多，作为推荐系统的数据存储，高斯redis解决了开源redis所存在的缺点，为推荐系统提供了有力的技术支撑。

• 本文作者：

华为云数据库gaussdb(for redis)团队

• 杭州/西安/深圳简历投递：

yuwenlong4@huawei.com

• 更多产品信息，欢迎访问官方博客：

bbs.huaweicloud.com/blogs/248875