Java 基础:HashMap 假死锁问题的测试、分析和总结

本贴最后更新于 2309 天前,其中的信息可能已经渤澥桑田

前言

  前两天在公司的内部博客看到一个同事分享的线上服务挂掉 CPU100% 的文章,让我联想到 HashMap 在不恰当使用情况下的死循环问题,这里做个整理和总结,也顺便复习下 HashMap。

直接上测试代码

由于机器配置和性能不同,测试出效果的线程数和 put 数量也各不相同

|

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

|

public class HashMapInfiniteLoopTest {

/**

* 基于JDK1.7测试HashMap在多线程环境下假死锁的情况

* JDK1.8的HashMap实现跟1.7比较已经有很大的变化,已不存在这样的问题

* (其实这本来不是JDK的一个问题,HashMap本就不是线程安全的,多线程环境下共享一定要用线程安全的Map容器)

*/

public static void main(String[] args) {

String jdkVer = System.getProperty(``"java.version"``); ``//JDK版本

String jdkMod = System.getProperty(``"sun.arch.data.model"``); ``//32位还是64位

System.out.println(jdkVer +``"#"``+ jdkMod);

final Map map = ``new HashMap<>();

// final Map map = new ConcurrentHashMap<>();

for``(``int i=``0``; i<``30``; i++) {

new Thread(``new Runnable() {

@Override

public void run() {

System.out.println(Thread.currentThread().getName());

for``(``int j=``0``; j<``1000``; j++) {

map.put(``""``+j+``"_"``+System.currentTimeMillis(), ``""``+j+``"_"``+System.currentTimeMillis());

}

}

}, ``"myThread_"``+i).start();

}

}

}

|

  通过 jconsole 查看 Java 进程情况:

  最后只能强制结束进程

分析

  HashMap 使用 hash 表来作为其底层存储的数据结构(数组下标实现快速索引,链表实现元素碰撞处理),并且支持动态扩容,主要通过 resize 方法实现,也是从这个方法开始出问题的。(这里有两个面试官喜欢问的点:1.table 的默认长度以及扩容前后大小?2.为什么要求 table 的长度必须是 2 的 N 次方?)

  因为整个 HashMap 都不是线程安全的,所以 JDK 也未对 resize 方法做同步,如果错误的在多线程环境下共享访问了 HashMap 就有可能引起我前面提到的假死锁问题。动态扩容的时候需要把旧的链表迁移到新的 hash 表中,如果是在多线程环境下,可能会形成循环链表,在再次 put 遍历每个链表检查是否存在相同 key 时,死循环就出现了(如果是 get 也会有同样的情况)。

下面是我整理转载自 https://coolshell.cn/articles/9606.html 的部分内容(写得太好了):

|

1

2

3

4

5

6

7

8

9

10

11

12

|

void resize(``int newCapacity)

{

Entry[] oldTable = table;

int oldCapacity = oldTable.length;

......

//创建一个新的Hash Table

Entry[] newTable = new Entry[newCapacity];

//将Old Hash Table上的数据迁移到New Hash Table上

transfer(newTable);

table = newTable;

threshold = (``int``)(newCapacity * loadFactor);

}

|

迁移的源代码,注意高亮处:

|

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

|

void transfer(Entry[] newTable)

{

Entry[] src = table;

int newCapacity = newTable.length;

//下面这段代码的意思是:

// 从OldTable里摘一个元素出来,然后放到NewTable中

for (``int j = 0``; j < src.length; j++) {

Entry e = src[j];

if (e != null``) {

src[j] = null``;

do {

Entry next = e.next;

int i = indexFor(e.hash, newCapacity);

e.next = newTable[i];

newTable[i] = e;

e = next;

} while (e != null``);

}

}

}

|

  • 假设我们的 hash 算法就是简单的用 key mod 一下表的大小(也就是数组的长度)。

  • 最上面的是 old hash 表,其中的 Hash 表的 size=2, 所以 key = 3, 7, 5,在 mod 2 以后都冲突在 table[1]这里了。

  • 接下来的三个步骤是 Hash 表 resize 成 4,然后所有的 重新 rehash 的过程

并发下的 Rehash

1)假设我们有两个线程。我用红色和浅蓝色标注了一下。

我们再回头看一下我们的 transfer 代码中的这个细节:

|

1

2

3

4

5

6

7

|

do {

Entry next = e.next; // <--假设线程一执行到这里就被调度挂起了

int i = indexFor(e.hash, newCapacity);

e.next = newTable[i];

newTable[i] = e;

e = next;

} while (e != null``);

|

而我们的线程二执行完成了。于是我们有下面的这个样子。

注意,因为 Thread1 的 e 指向了 key(3),而 next 指向了 key(7),其在线程二 rehash 后,指向了线程二重组后的链表。我们可以看到链表的顺序被反转后。

2)线程一被调度回来执行。

  • 先是执行 newTalbe[i] = e;
  • 然后是 e = next,导致了 e 指向了 key(7),
  • 而下一次循环的 next = e.next 导致了 next 指向了 key(3)

3)一切安好。

线程一接着工作。把 key(7)摘下来,放到 newTable[i]的第一个,然后把 e 和 next 往下移。

4)环形链接出现。

e.next = newTable[i] 导致 key(3).next 指向了 key(7)

注意:此时的 key(7).next 已经指向了 key(3), 环形链表就这样出现了。

于是,当我们的线程一调用到,HashTable.get(7)时,悲剧就出现了——Infinite Loop。

总结

  多线程并发环境下访问共享的 map 时一定要用线程安全的 Map 容器,如 ConcurrentHashMap,HashTable 等。

  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言,是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3194 引用 • 8214 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • 叶归
    5 引用 • 16 回帖 • 9 关注
  • 分享

    有什么新发现就分享给大家吧!

    247 引用 • 1794 回帖
  • SOHO

    为成为自由职业者在家办公而努力吧!

    7 引用 • 55 回帖 • 2 关注
  • 知乎

    知乎是网络问答社区,连接各行各业的用户。用户分享着彼此的知识、经验和见解,为中文互联网源源不断地提供多种多样的信息。

    10 引用 • 66 回帖
  • 创业

    你比 99% 的人都优秀么?

    82 引用 • 1395 回帖 • 2 关注
  • SQLite

    SQLite 是一个进程内的库,实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。SQLite 是全世界使用最为广泛的数据库引擎。

    5 引用 • 7 回帖
  • webpack

    webpack 是一个用于前端开发的模块加载器和打包工具,它能把各种资源,例如 JS、CSS(less/sass)、图片等都作为模块来使用和处理。

    41 引用 • 130 回帖 • 253 关注
  • 房星科技

    房星网,我们不和没有钱的程序员谈理想,我们要让程序员又有理想又有钱。我们有雄厚的房地产行业线下资源,遍布昆明全城的 100 家门店、四千地产经纪人是我们坚实的后盾。

    6 引用 • 141 回帖 • 590 关注
  • 书籍

    宋真宗赵恒曾经说过:“书中自有黄金屋,书中自有颜如玉。”

    76 引用 • 389 回帖
  • Maven

    Maven 是基于项目对象模型(POM)、通过一小段描述信息来管理项目的构建、报告和文档的软件项目管理工具。

    186 引用 • 318 回帖 • 260 关注
  • Solo

    Solo 是一款小而美的开源博客系统,专为程序员设计。Solo 有着非常活跃的社区,可将文章作为帖子推送到社区,来自社区的回帖将作为博客评论进行联动(具体细节请浏览 B3log 构思 - 分布式社区网络)。

    这是一种全新的网络社区体验,让热爱记录和分享的你不再感到孤单!

    1440 引用 • 10067 回帖 • 489 关注
  • Lute

    Lute 是一款结构化的 Markdown 引擎,支持 Go 和 JavaScript。

    28 引用 • 197 回帖 • 28 关注
  • Caddy

    Caddy 是一款默认自动启用 HTTPS 的 HTTP/2 Web 服务器。

    12 引用 • 54 回帖 • 168 关注
  • 一些有用的避坑指南。

    69 引用 • 93 回帖
  • gRpc
    11 引用 • 9 回帖 • 89 关注
  • Angular

    AngularAngularJS 的新版本。

    26 引用 • 66 回帖 • 542 关注
  • uTools

    uTools 是一个极简、插件化、跨平台的现代桌面软件。通过自由选配丰富的插件,打造你得心应手的工具集合。

    7 引用 • 27 回帖 • 1 关注
  • JWT

    JWT(JSON Web Token)是一种用于双方之间传递信息的简洁的、安全的表述性声明规范。JWT 作为一个开放的标准(RFC 7519),定义了一种简洁的,自包含的方法用于通信双方之间以 JSON 的形式安全的传递信息。

    20 引用 • 15 回帖 • 17 关注
  • SpaceVim

    SpaceVim 是一个社区驱动的模块化 vim/neovim 配置集合,以模块的方式组织管理插件以
    及相关配置,为不同的语言开发量身定制了相关的开发模块,该模块提供代码自动补全,
    语法检查、格式化、调试、REPL 等特性。用户仅需载入相关语言的模块即可得到一个开箱
    即用的 Vim-IDE。

    3 引用 • 31 回帖 • 116 关注
  • ZooKeeper

    ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

    59 引用 • 29 回帖 • 1 关注
  • 人工智能

    人工智能(Artificial Intelligence)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。

    157 引用 • 289 回帖
  • Markdown

    Markdown 是一种轻量级标记语言,用户可使用纯文本编辑器来排版文档,最终通过 Markdown 引擎将文档转换为所需格式(比如 HTML、PDF 等)。

    169 引用 • 1527 回帖 • 1 关注
  • Excel
    31 引用 • 28 回帖
  • Ruby

    Ruby 是一种开源的面向对象程序设计的服务器端脚本语言,在 20 世纪 90 年代中期由日本的松本行弘(まつもとゆきひろ/Yukihiro Matsumoto)设计并开发。在 Ruby 社区,松本也被称为马茨(Matz)。

    7 引用 • 31 回帖 • 253 关注
  • 职场

    找到自己的位置,萌新烦恼少。

    127 引用 • 1708 回帖
  • 钉钉

    钉钉,专为中国企业打造的免费沟通协同多端平台, 阿里巴巴出品。

    15 引用 • 67 回帖 • 297 关注
  • 代码片段

    代码片段分为 CSS 与 JS 两种代码,添加在 [设置 - 外观 - 代码片段] 中,这些代码会在思源笔记加载时自动执行,用于改善笔记的样式或功能。

    用户在该标签下分享代码片段时需在帖子标题前添加 [css] [js] 用于区分代码片段类型。

    131 引用 • 869 回帖