什么是BigKey？

提示

**题眼：**开销、预防、解决

在缓存系统（如 Redis）中，大 KEY 是指占用内存空间较大的键。这个 “大” 是相对缓存系统的性能和资源限制而言的。通常，如果一个键对应的 value 存储的数据量过大，比如一个包含大量元素的集合（如哈希表、列表、集合等）或者一个很长的字符串，就被认为是大 KEY。

BigKey的危害，主要集中在两个方面。第一是会增大整个服务器资源的开销，包括内存，带宽和IO等。第二是阻塞其他正常操作。

大 key 会占用大量的缓存内存空间。比如在 Redis 中，一个包含海量元素的集合类型大 key（如一个有着数百万个元素的列表或集合）或者一个很长的字符串大 key，可能会消耗掉大量的内存。这可能导致缓存服务器的内存资源迅速耗尽。进而影响内存淘汰机制，例如，一个大 key 占用了大量内存，使得其他很多小 key 被频繁淘汰，而这些小 key 可能是热点数据，从而降低了缓存的命中率。

对于缓存系统而言，操作大 key 通常比操作小 key 要慢。例如，在 Redis 中读取一个包含大量元素的哈希表大 key，需要遍历更多的数据结构元素，这会增加读取时间。同样，写入一个大 key 可能涉及到更多的内存分配和数据移动操作，导致写入性能下降。一些对大 key 的复杂操作（如对一个超大集合进行排序）可能会占用大量的 CPU 和内存资源，使得其他客户端的请求（包括对小 key 的操作）被阻塞，无法及时得到响应，降低了整个系统的并发处理能力。

处理BigKey主要通过两个方面来入手，一个是及时发现BigKey，一个是根据具体场景拆分BigKey。发现大Key这个问题比较简单，可以用Redis的命令来查询，比如MEMORY USAGE，redis - cli --bigkeys等命令。拆分大Key的话，主要看业务场景和存储结构。对于非字符串的结构，可以简单的将一个大的集合拆分成多个较小的集合。对于字符串类型的话，可以根据业务情况，拆成小字符串。

重要

参考答案：

BigKey主要是指有一个值占用的内存空间特别大，危害整个服务的稳定。它的危害主要是两个方面，一个是挤占了太多的服务器资源，存储还有IO的开销很大，另外在传输过程中，也很吃带宽，而且对于内存淘汰机制也有一定影响。另一个是Redis本身的机制，因为Redis是个单进程单线程模型，它追求速度，如果读写一个大key，因为耗时肯定比平常要久一些，大概率会阻塞后续的命令执行，导致超时的现象。解决BigKey问题的话，主要是做拆分，根据业务情况和使用的结构来拆，对于非字符串的结构，可以简单的将一个大的集合拆分成多个较小的集合。对于字符串类型的话，可以根据业务情况，拆成小字符串。

然后有一个麻烦事儿是，很多时候都不知道Redis里有大Key，都是出了问题了，才去排查。我们公司的话，会有一个定时脚本，一方面是监控现在内存的使用情况，另一方面会在业务流量不大的时候执行下redis - cli --bigkeys命令，看下现在是否有大Key。因为这个命令可能会阻塞其他的命令，所以一般都在没人的时候才会去执行。

这个监控其实还是有问题，就是时效性很低。我们在实际开发中也有这方面的要求，开发过程中就要避免出现大Key的现象，对于存在这类的问题的业务，一开始就要做好拆分，防范于未然。最近DBA那边分享，说是阿里云的RDS服务，有这个功能可以配置，然后出现大key的时候会发告警，不过我还接触过。