一致性哈希算法原理解析

  • Post author:
  • Post category:其他


声明:

本次文章内容以本人公司技术分享的PPT为基础。

若需要PPT内容,欢迎联系。


前言

在进行一致性哈希介绍前,先思考2个问题:

  1. 什么是Hash

  2. 一致性Hash和Hash的关系是什么

对于第一个问题Hash的定义

Hash也成散列,基本原理就是把任意长度的输入,通过hash算法变成固定长度的输出。

对于第二个问题,下面我们进行详细介绍。


引出问题

在了解一致性哈希算法之前,最好先了解一下缓存中的一个应用场景,了解了这个应用场景之后,再来理解一致性哈希算法,就容易多了,也更能体现出一致性哈希算法的优点,那么,我们先来描述一下这个经典的分布式缓存的应用场景。


场景描述

对于3万张图片的处理,第一种随机存储,可以满足我们的要求吗?可以。但是如果这样做,当我们需要访问某个缓存项时,则需要遍历3台缓存服务器,从3万个缓存项中找到我们需要访问的缓存,遍历的过程效率太低,时间太长,当我们找到需要访问的缓存项时,时长可能是不能被接受的,也就失去了缓存的意义。

那么就是第二种方式,进行Hash取模算法。


似乎,Hash取模算法可以满足我们的使用场景了,但是,上面还是会出现一些缺陷的,试想一下,如果3台缓存服务器已经不能满足我们的缓存需求,需要对服务器进行扩容,假设,我们增加了一台缓存服务器,那么缓存服务器数量由3台变为4台。此时,如果仍然使用上述方法对同一张图片进行缓存,那么这张图片所在的服务器编号必定与原来3台服务器时所在的服务器编号不同,因为除数由3变为了4,被除数不变的情况下,余数肯定不同,这种情况带来的结果就是当服务器数量变动时,所有缓存的位置都要发生改变,换句话说,当服务器数量发生改变时,所有缓存在一定时间内是失效的,当应用无法从缓存中获取数据时,则会向后端服务器请求数据。数据库减少时,场景同理。

正式上述所述问题,由于大量缓存在同一时间失效,造成了缓存的雪崩,此时前端缓存已经无法起到承担部分压力的作用,后端服务器将会承受巨大的压力,整个系统很有可能被压垮,所以,我们应该想办法不让这种情况发生,但是由于上述HASH算法本身的缘故,使用取模法进行缓存时,这种情况是无法避免的,为了解决这些问题,一致性哈希算法诞生了。

我们来回顾一下Hash算法会出现的问题。

问题1:当缓存服务器数量发生变化时,会引起缓存的雪崩,可能会引起整体系统压力过大而崩溃(大量缓存同一时间失效)。

问题2:当缓存服务器数量发生变化时,几乎所有缓存的位置都会发生改变,怎样才能尽量减少受影响的缓存呢?

其实,上面两个问题是一个问题,那么,一致性哈希算法能够解决上述问题吗?

我们现在就来了解一下一致性哈希算法


一致性哈希算法的基本概念

一致性哈希算法的优点

经过上述描述,大家应该已经明白了一致性哈希算法的原理了,但是话说回来,一致性哈希算法能够解决之前出现的问题吗,我们说过,如果简单的对服务器数量进行取模,那么当服务器数量发生变化时,会产生缓存的雪崩,从而很有可能导致系统崩溃,那么使用一致性哈希算法,能够避免这个问题吗?我们来模拟一遍,即可得到答案。

如上优点所述,这就是一致性哈希算法的优点,如果使用之前的hash算法,服务器数量发生改变时,所有服务器的所有缓存在同一时间失效了,而使用一致性哈希算法时,服务器的数量如果发生改变,并不是所有缓存都会失效,而是只有部分缓存会失效,前端的缓存仍然能分担整个系统的压力,而不至于所有压力都在同一时间集中到后端服务器上。


hash环的偏斜

上述内容,我们理想化的将3台服务器均匀映射到hash环上了,但是,我们想象的与实际情况往往不一样。很有可能大部分集中缓存到某一台服务器上,我们称这种现象为数据倾斜:


虚拟节点

所谓虚拟节点就是凭空的让服务器节点多起来,既然没有多余的真正的物理服务器节点,我们就只能将现有的物理节点通过虚拟的方法复制出来,这些由实际节点虚拟复制而来的节点被称为”虚拟节点”。加入虚拟节点以后的hash环如下。

以上为一致性哈希算法的原理。

以上为全部内容。

欢迎关注10W+的微信公众号:

技术难点欢迎咨询,如有需要加我微信:1106915848。

星光不问赶路人,时光不负有心人



版权声明:本文为qq_37477317原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。