HashMap 解析

本贴最后更新于 1659 天前,其中的信息可能已经沧海桑田

java 语言中包含一系列的集合,其中 HashMap 是一个重要的集合实现,应用也是相当的广泛。本文主要是在 jdk8 源码的基础上,对 HashMap 进行简单的介绍。

本文基于 JDK8 进行分析,JDK8 对 HashMap 进行了优化,主要是使用了红黑树结构,在数据大量冲突时有了一定的性能提升,后续也会涉及到该部分。

散列(Hash)

HashMap 是基于散列来实现的,首先对散列、即 Hash 进行下简单介绍。

维基百科的定义:散列(英语:Hashing)是电脑科学中一种对数据的处理方法,通过某种特定的函数/算法(称为散列函数/算法)将要检索的项与用来检索的索引(称为散列,或者散列值)关联起来,生成一种便于搜索的数据结构(称为散列表)。

依据上述定义,可以知道散列可以通过特定的算法将对象与一个便于搜索的索引关联,大大增加搜索的效率。在一般应用中,主要是把任意长度的输入通过散列算法变换成固定长度的输出,该输出就是散列值。试想一个哈希函数产生定长度的输出,假设是 10 以内的非负数,那么对于 1-11 这 11 个数,必然会产生一组重复的输出。所以评价一个散列函数的好坏,主要是参照大量输入产生相同输出(即冲突)的概率。

在 Java 中,获取一个对象的 Hash 值,是通过调用该对象的 hashcode 函数进行的,返回值是 int 类型。在 Object 类中,该函数是通过调用本地方法来实现的。

散列的存储

因为散列的输出的是固定长度,那么假设输出是一个非负整数。最简单的实现方式是创建一个数组来存储数据,直接将数据的散列输出作为数组的下标,这样就可以实现索引和数据的对应,同时查找和插入的效率非常高。

理想很丰满,现实很骨感。正如上面所说,如果两个数据产生相同的输出,即产生冲突,该怎么办?下面介绍两种方法解决冲突。

第一种是再散列。如果一个输入产生的散列值已经存在,可以使用其他的散列算法再次进行散列,获得新的散列值。这种方法对散列函数的要求很高,同时存在数据量过大造成数组没有足够的空间来保存的问题。和这种方法类似,在产生冲突时,我们可以将散列值加一后移,直到找到一个未使用的空间为止,但是同样存在上述问题。

第二种是链接法。如下图所示,每个对象都存有一个指向相同类实例的引用,当两个对象产生相同的散列值时,只需要在对应数组位置进行对象遍历,链接到对应位置的对象上即可。假设 Object5 在插入时,得到的散列值为 0,那么先找到 Object1,往下遍历到 Object4,然后链接到 Object4 之后即可。Java 中 HashMap 的实现时基于这种结构的。

链接法

HashMap

首先,先了解下 Java 中 HashMap 的继承关系。下图是通过 IDEA 获取到的继承关系,其中蓝色箭头表示 extends,绿色箭头表示 implements。HashMap 实现 Map 接口,保存 key-value 结构的键值对。关于相关接口的详情,请自行查看源码。

HashMap 继承关系

本文中,主要介绍 HashMap 的主要结构和几个重要的方法,其他的详情感兴趣的可以自行查看源码。再次说明,本文基于 JDK8 介绍,如果低于该版本可能存在不同。

重要字段介绍

静态常量

首先,简单介绍下一些静态常量,这部分字段对于 HashMap 的结构有重要影响。

    // HashMap默认的容量16,注意HashMap的容量必须是2的次方。
    static final int DEFAULT_INITIAL_CAPACITY = 1 << 4;

    //HashMap的最大容量,2^30
    static final int MAXIMUM_CAPACITY = 1 << 30;

    //默认的负载因子
    static final float DEFAULT_LOAD_FACTOR = 0.75f;

   //转换为红黑树的值
    static final int TREEIFY_THRESHOLD = 8;

初次看到上面的介绍,可能有些糊涂,下面详细介绍。

我们知道 Java 获取的 Hash 值为 int 类型,HashMap 采用链接法保存数据。假设 HashMap 中保存数据的数组为 table,那么在不指定初始容量的时候,HashMap 使用 DEFAULT_INITIAL_CAPACITY(16)作为初始容量,即 table 的长度为 16。由于要求 HashMap 的容量必须为 2 的次方的 int 型数据,所以最大的容量 MAXIMUM_CAPACITY 为(1<<30) = 2^30。

那为什么 HashMap 的容量(即 table 的长度)必须为 2 的次方呢?这里涉及到哈希值到数组索引的转换。在链接法中,由于对象的哈希值是一个整数,假如为 20,那对于默认容量的 HashMap 对象来说,table 的索引最大为 15,那么 20 应该保存到哪里呢?一种简单的方法就是让哈希值对 16 求余,如 20 % 16 = 4,这样保证余数必然小于 16,就可以对应到数组的一个索引中了。又因为在计算机中求余操作的计算较复杂,对性能有一定的影响,如果能够找到一种位运算的方法来替换求余,那么就可以提高性能。

现在考虑 HashMap 的容量是 2 的次方的原因。对于一个 int 数据,2 的次方对应的二进制是 32 位、只有一个 1 的数据。如 16,对应的二进制为 00000000 00000000 00000000 00010000,那么对于 16 - 1,对应的二进制为 00000000 00000000 00000000 00001111,对于任意整数与(16 - 1)求与,那么结果一定是一个小于 16 的非负整数,那么就可以对应到容量是 16 的 table 数组中了。与运算是位运算,运行效率非常高。在 HashMap 使用这种方法进行哈希值与数组索引的转换,所以要求容量必须是 2 的次方。

我们知道,HashMap 使用对象的哈希值,如果大量的对象产生相同的哈希值,那么会导致 table 数组的大量位置为 null,而个别位置存有很长的链表,这样会造成对象搜索退化。为了平衡查找时间与存储空间的关系,HashMap 引入负载因子。当 HashMap 中存储的对象数量超过 容量 * 负载因子,那么就需要对 HashMap 的 table 进行扩容,这样可以有效减少长链表的产生。而默认的负载因子 DEFAULT_LOAD_FACTOR 为 0.75。

虽然负载因子可以平衡时间和空间,但是只能减少而不能避免长链表的产生。一旦出现长链表,HashMap 的性能还是会出现明显的退化。为了减少这种问题,JDK8 引入和红黑树(具体数据结构会在以后的文章提及,有兴趣的可以自己查找相关资料)。红黑树是一种优化的二叉查找树,可以有效的提高查找的效率。当 HashMap 中 table 某个位置的链表长度超过 TREEIFY_THRESHOLD,HashMap 会将链表转换成红黑树,提高查询的速度。

对象字段

HashMap 的对象字段的意义基本在前面已经介绍。

    // 数组table
    transient Node<K,V>[] table;

    // 对象的Set集合
    transient Set<Map.Entry<K,V>> entrySet;

    // 当前数量
    transient int size;

    // 结构性修改次数,该处修改指table或者entrySet这类的结构发生变化
    transient int modCount;

    // 发生扩容的阈值,在table未初始化时为容量,初始化后为 容量 * 负载因子
    int threshold;

    // 负载因子,每个HashMap可以通过构造函数自己指定,默认为0.75
    final float loadFactor;

方法

HashMap 继承自 AbstractMap,方法众多,本部分只介绍几个重要的方法,其他方法请自行查看源码。

    // HashMap中存储对象的节点,hash为key经过下面方法hash求出的哈希值
    static class Node<K,V> implements Map.Entry<K,V> {
        final int hash;
        final K key;
        V value;
        // 链表中的下个节点引用
        Node<K,V> next;

        Node(int hash, K key, V value, Node<K,V> next) {
            this.hash = hash;
            this.key = key;
            this.value = value;
            this.next = next;
        }

        public final K getKey()        { return key; }
        public final V getValue()      { return value; }
        public final String toString() { return key + "=" + value; }

        public final int hashCode() {
            return Objects.hashCode(key) ^ Objects.hashCode(value);
        }

        public final V setValue(V newValue) {
            V oldValue = value;
            value = newValue;
            return oldValue;
        }

        public final boolean equals(Object o) {
            if (o == this)
                return true;
            if (o instanceof Map.Entry) {
                Map.Entry<?,?> e = (Map.Entry<?,?>)o;
                if (Objects.equals(key, e.getKey()) &&
                    Objects.equals(value, e.getValue()))
                    return true;
            }
            return false;
        }
    }
   // 获取指定key的哈希值。如上面介绍,如果使用对象自带方法hashCode获取哈希值,  
   //在计算table索引时哈希值只能使用到低位,HashMap使用该方法扩散高位
    static final int hash(Object key) {
        int h;
        return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
    }
    //get方法,使用方法getNode获取节点
    public V get(Object key) {
        Node<K,V> e;
        return (e = getNode(hash(key), key)) == null ? null : e.value;
    }

    // 此方法用于获取指定hash和key对应的对象,不存在则方法null
    // 注意HashMacp中判断是否存在的条件:== 和 equals
    final Node<K,V> getNode(int hash, Object key) {
        Node<K,V>[] tab; Node<K,V> first, e; int n; K k;
        // tab[(n - 1) & hash] 就是使用上面介绍的方法进行与运算来获取table的索引
        if ((tab = table) != null && (n = tab.length) > 0 &&
            (first = tab[(n - 1) & hash]) != null) {
            // 第一个节点保存在table中,相当于头节点,后面节点可能是链表,也可能是红黑树,所以此节点单独判断
            if (first.hash == hash &&
                ((k = first.key) == key || (key != null && key.equals(k))))
                return first;
            if ((e = first.next) != null) {
                // 红黑树处理
                if (first instanceof TreeNode)
                    return ((TreeNode<K,V>)first).getTreeNode(hash, key);
                // 链表处理
                do {
                    if (e.hash == hash &&
                        ((k = e.key) == key || (key != null && key.equals(k))))
                        return e;
                } while ((e = e.next) != null);
            }
        }
        return null;
    }
  //put方法,使用方法putVal添加节点
    public V put(K key, V value) {
        return putVal(hash(key), key, value, false, true);
    }

    // 将指定的key和value添加到map中,hash为map处理后的哈希值,其他参数不用关注
    final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
                   boolean evict) {
        Node<K,V>[] tab; Node<K,V> p; int n, i;
        // table还未初始化,即HashMap只创建,还未添加元素。此处可以看出,HashMap对table的初始化放到put时才进行
        if ((tab = table) == null || (n = tab.length) == 0)
            // 调用resize方法初始化,该方法也用于扩容
            n = (tab = resize()).length;
        // tab[(n - 1) & hash] 就是使用上面介绍的方法进行与运算来获取table的索引
        if ((p = tab[i = (n - 1) & hash]) == null)
            tab[i] = newNode(hash, key, value, null);
        else {
            Node<K,V> e; K k;
            // 注意HashMacp中判断是否存在的条件:== 和 equals,和get方法相同
            if (p.hash == hash &&
                ((k = p.key) == key || (key != null && key.equals(k))))
                e = p;
            // 红黑树处理
            else if (p instanceof TreeNode)
                e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
            // 链表处理
            else {
                for (int binCount = 0; ; ++binCount) {
                    if ((e = p.next) == null) {
                        p.next = newNode(hash, key, value, null);
                        // 如果链表长度超过8,转为红黑树
                        if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
                            treeifyBin(tab, hash);
                        break;
                    }
                    if (e.hash == hash &&
                        ((k = e.key) == key || (key != null && key.equals(k))))
                        break;
                    p = e;
                }
            }
            // 如果指定key存在,则替换
            if (e != null)
                V oldValue = e.value;
                if (!onlyIfAbsent || oldValue == null)
                    e.value = value;
                afterNodeAccess(e);
                return oldValue;
            }
        }
        // put方法修改了结构,修改值增加
        ++modCount;
        // 判断对象数量是否超过阈值,超过扩容
        if (++size > threshold)
            resize();
        afterNodeInsertion(evict);
        return null;
    }
    // 扩容方法
    final Node<K,V>[] resize() {
        Node<K,V>[] oldTab = table;
        int oldCap = (oldTab == null) ? 0 : oldTab.length;
        int oldThr = threshold;
        int newCap, newThr = 0;
        if (oldCap > 0) {
            // 容量已达最大
            if (oldCap >= MAXIMUM_CAPACITY) {
                threshold = Integer.MAX_VALUE;
                return oldTab;
            }
            // 容量未达最大,扩大两倍,使用移位
            else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
                     oldCap >= DEFAULT_INITIAL_CAPACITY)
                newThr = oldThr << 1;
        }
        // map声明时使用threshold暂存容量,如果table还未初始化,此时再初始化
        else if (oldThr > 0)
            newCap = oldThr;
        // 未指定容量,使用默认值
        else {
            newCap = DEFAULT_INITIAL_CAPACITY;
            newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
        }
        // 阈值为0
        if (newThr == 0) {
            float ft = (float)newCap * loadFactor;
            newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
                      (int)ft : Integer.MAX_VALUE);
        }
        // 保存新的阈值
        threshold = newThr;
        // 创建新的table
        @SuppressWarnings({"rawtypes","unchecked"})
            Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
        table = newTab;
        // 将就数据移到新的table中,这也是在HashMap声明时提供容量的意义,自动扩容消耗大量的资源
        if (oldTab != null) {
            for (int j = 0; j < oldCap; ++j) {
                Node<K,V> e;
                // 消除旧table的引用
                if ((e = oldTab[j]) != null) {
                    oldTab[j] = null;
                    if (e.next == null)
                        newTab[e.hash & (newCap - 1)] = e;
                    // 红黑树移动
                    else if (e instanceof TreeNode)
                        ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
                    // 链表移动
                    else {
                        Node<K,V> loHead = null, loTail = null;
                        Node<K,V> hiHead = null, hiTail = null;
                        Node<K,V> next;
                        do {
                            next = e.next;
                            // 见下面解释
                            if ((e.hash & oldCap) == 0) {
                                if (loTail == null)
                                    loHead = e;
                                else
                                    loTail.next = e;
                                loTail = e;
                            }
                            // 见下面解释
                            else {
                                if (hiTail == null)
                                    hiHead = e;
                                else
                                    hiTail.next = e;
                                hiTail = e;
                            }
                        } while ((e = next) != null);
                        if (loTail != null) {
                            loTail.next = null;
                            newTab[j] = loHead;
                        }
                        if (hiTail != null) {
                            hiTail.next = null;
                            newTab[j + oldCap] = hiHead;
                        }
                    }
                }
            }
        }
        return newTab;
    }

上面的 resize 方法中,有判断语句 e.hash & oldCap,现在介绍下这种判断的原因。

假设之前的容量是 16,key 的 hash 是 17,扩容后的容量为 32,则有:

16 的二进制:00000000 00000000 00000000 00010000
17 的二进制:00000000 00000000 00000000 00010001
32 的二进制:00000000 00000000 00000000 00100000

对于任何 hash 小于 16 的 key,上述语句都为 0,同时对于新的 table 求索引和旧的 table 相同,所以可以直接放到和之前相同的索引位置。
对于 hash 不小于 16 的 key,上述语句都不为 0,同时对于新的 table 求索引是旧的 table 索引往后移动旧容量数,所以可以直接放到之前索引后移 oldCap 位置。

  • collection
    3 引用
  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言,是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3190 引用 • 8214 回帖 • 1 关注
2 操作
AlanSune 在 2020-06-07 20:39:53 更新了该帖
AlanSune 在 2020-06-07 20:37:13 更新了该帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...