一致性hash算法与手写简易版一致性hash算法一致性hash算法与手写简易版一

一致性hash算法：一致性Hash算法是在Hash算法的基础上实现的，用于解决互联网中热点Hotspot问题，将来自网络上的流量动态的划分到不同的服务器处理。使用一致性Hash算法将流量均匀分发到不同服务器的做法是：
1、求出不同服务器的哈希值，然后映射到一个范围为0 — 2^32-1的数值空间的圆环中，即将首(0)和尾(2^32-1)相接的圆环，如下图。
【一致性hash算法与手写简易版一致性hash算法】
文章图片

数据倾斜问题：
在服务节点太少时，容易因为节点分部不均匀而造成数据倾斜（被缓存的对象大部分集中缓存在某一台服务器上）

为了解决数据倾斜问题，引入了虚拟节点机制
即对每一个服务节点计算多个哈希，每个计算结果位置都放置一个此服务节点，称为虚拟节点。具体做法可以在服务器IP或主机名的后面增加编号来实现。

文章图片

下面是手写hash算法的实现不带虚拟节点的

//1.初始化：把服务器节点ip的哈希值对应到哈希环上 //定义服务器ip String[] tomcatServers = new String[]{"123.111.0.0","123.101.3.1","111.20.35.2","123.98.26.3"}; SortedMap hashServerMap = new TreeMap(); for (String tomcatServer : tomcatServers) { //求出每个IP的hash值，对应到hash环上，存储hash值与IP的对应关系 int serverHash = Math.abs(tomcatServer.hashCode()); //存储hash值与IP的对应关系 hashServerMap.put(serverHash,tomcatServer); } //2.针对客户端ip求出哈希值 //定义客户端IP String[] clients = new String[]{"10.78.12.3","113.25.63.1","126.12.3.8"}; for (String client : clients) { int clientHash = Math.abs(client.hashCode()); //3.针对客户端，找到能够处理当前客户端请求的服务器（哈希环上顺时针最近） //根据客户端IP的hash值去找出哪个服务器节点能够处理 SortedMap integerStringSortedMap = hashServerMap.tailMap(clientHash); if (integerStringSortedMap.isEmpty()){ //取hash环上顺时针的第一台服务器 Integer firstKey = hashServerMap.firstKey(); System.out.println("======>>客户端："+client+ "被路由到服务器："+hashServerMap.get(firstKey)); } else { Integer firstKey = integerStringSortedMap.firstKey(); System.out.println("======>>客户端："+client+ "被路由到服务器："+hashServerMap.get(firstKey)); } }

带虚拟节点

//1.初始化：把服务器节点ip的哈希值对应到哈希环上 //定义服务器ip String[] tomcatServers = new String[]{"123.111.0.0","123.101.3.1","111.20.35.2","123.98.26.3"}; SortedMap hashServerMap = new TreeMap(); //定义针对每个真实服务器虚拟出来几个节点 int virtaulCount = 3; for (String tomcatServer : tomcatServers) { //求出每个IP的hash值，对应到hash环上，存储hash值与IP的对应关系 int serverHash = Math.abs(tomcatServer.hashCode()); //存储hash值与IP的对应关系 hashServerMap.put(serverHash,tomcatServer); for (int i = 0; i < virtaulCount; i++) { int virtualHash = Math.abs((tomcatServer+"#"+ i).hashCode()); //存储hash值与IP的对应关系 hashServerMap.put(virtualHash,"---由虚拟节点"+i+"映射过来的请求"+tomcatServer); } } //2.针对客户端ip求出哈希值 //定义客户端IP String[] clients = new String[]{"10.78.12.3","113.25.63.1","126.12.3.8"}; for (String client : clients) { int clientHash = Math.abs(client.hashCode()); //3.针对客户端，找到能够处理当前客户端请求的服务器（哈希环上顺时针最近） //根据客户端IP的hash值去找出哪个服务器节点能够处理 SortedMap integerStringSortedMap = hashServerMap.tailMap(clientHash); if (integerStringSortedMap.isEmpty()){ //取hash环上顺时针的第一台服务器 Integer firstKey = hashServerMap.firstKey(); System.out.println("======>>客户端："+client+ "被路由到服务器："+hashServerMap.get(firstKey)); } else { Integer firstKey = integerStringSortedMap.firstKey(); System.out.println("======>>客户端："+client+ "被路由到服务器："+hashServerMap.get(firstKey)); } }