Java NIO 原理图文分析及代码实现

本贴最后更新于 2945 天前,其中的信息可能已经渤澥桑田

Java NIO 原理图文分析及代码实现

前言:

最近在分析 hadoop 的 RPC(Remote Procedure Call Protocol ,远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。可以参考:http://baike.baidu.com/view/32726.htm )机制时,发现 hadoop 的 RPC 机制的实现主要用到了两个技术:动态代理(动态代理可以参考博客:http://weixiaolu.iteye.com/blog/1477774 )和 java NIO。为了能够正确地分析 hadoop 的 RPC 源码,我觉得很有必要先研究一下 java NIO 的原理和具体实现。

这篇博客我主要从两个方向来分析 java NIO

目录:

一.java NIO 和阻塞 I/O 的区别

1\. 阻塞I/O通信模型 2\. java NIO原理及通信模型

二.java NIO 服务端和客户端代码实现

具体分析:

一.java NIO 和阻塞 I/O 的区别

1. 阻塞 I/O 通信模型

假如现在你对阻塞 I/O 已有了一定了解,我们知道阻塞 I/O 在调用 InputStream.read()方法时是阻塞的,它会一直等到数据到来时(或超时)才会返回;同样,在调用 ServerSocket.accept()方法时,也会一直阻塞到有客户端连接才会返回,每个客户端连接过来后,服务端都会启动一个线程去处理该客户端的请求。阻塞 I/O 的通信模型示意图如下:

如果你细细分析,一定会发现阻塞 I/O 存在一些缺点。根据阻塞 I/O 通信模型,我总结了它的两点缺点:

1. 当客户端多时,会创建大量的处理线程。且每个线程都要占用栈空间和一些 CPU 时间

2. 阻塞可能带来频繁的上下文切换,且大部分上下文切换可能是无意义的。

在这种情况下非阻塞式 I/O 就有了它的应用前景。

  1. java NIO 原理及通信模型

Java NIO 是在 jdk1.4 开始使用的,它既可以说成“新 I/O”,也可以说成非阻塞式 I/O。下面是 java NIO 的工作原理:

1. 由一个专门的线程来处理所有的 IO 事件,并负责分发。

2. 事件驱动机制:事件到的时候触发,而不是同步的去监视事件。

3. 线程通讯:线程之间通过 wait,notify 等方式通讯。保证每次上下文切换都是有意义的。减少无谓的线程切换。

阅读过一些资料之后,下面贴出我理解的 java NIO 的工作原理图:

(注:每个线程的处理流程大概都是读取数据、解码、计算处理、编码、发送响应。)

Java NIO 的服务端只需启动一个专门的线程来处理所有的 IO 事件,这种通信模型是怎么实现的呢?呵呵,我们一起来探究它的奥秘吧。java NIO 采用了双向通道(channel)进行数据传输,而不是单向的流(stream),在通道上可以注册我们感兴趣的事件。一共有以下四种事件:

| 事件名 | 对应值 |
| 服务端接收客户端连接事件 | SelectionKey.OP_ACCEPT(16) |
| 客户端连接服务端事件 | SelectionKey.OP_CONNECT(8) |
| 读事件 | SelectionKey.OP_READ(1) |
| 写事件 | SelectionKey.OP_WRITE(4) |

服务端和客户端各自维护一个管理通道的对象,我们称之为 selector,该对象能检测一个或多个通道 (channel) 上的事件。我们以服务端为例,如果服务端的 selector 上注册了读事件,某时刻客户端给服务端发送了一些数据,阻塞 I/O 这时会调用 read()方法阻塞地读取数据,而 NIO 的服务端会在 selector 中添加一个读事件。服务端的处理线程会轮询地访问 selector,如果访问 selector 时发现有感兴趣的事件到达,则处理这些事件,如果没有感兴趣的事件到达,则处理线程会一直阻塞直到感兴趣的事件到达为止。下面是我理解的 java NIO 的通信模型示意图:

二.java NIO 服务端和客户端代码实现

为了更好地理解 java NIO,下面贴出服务端和客户端的简单代码实现。

服务端:

Java 代码

  1. package cn.nio;
  2. import java.io.IOException;
  3. import java.net.InetSocketAddress;
  4. import java.nio.ByteBuffer;
  5. import java.nio.channels.SelectionKey;
  6. import java.nio.channels.Selector;
  7. import java.nio.channels.ServerSocketChannel;
  8. import java.nio.channels.SocketChannel;
  9. import java.util.Iterator;
  10. /**
    • NIO 服务端
  11. */
  12. public class NIOServer {
  13. //通道管理器
  14. private Selector selector;
  15. /**
  16. * 获得一个ServerSocket通道,并对该通道做一些初始化的工作
  17. * @param port 绑定的端口号
  18. * @throws IOException
  19. */
  20. public void initServer(int port) throws IOException {
  21. // 获得一个ServerSocket通道
  22. ServerSocketChannel serverChannel = ServerSocketChannel.open();
  23. // 设置通道为非阻塞
  24. serverChannel.configureBlocking(false);
  25. // 将该通道对应的ServerSocket绑定到port端口
  26. serverChannel.socket().bind(new InetSocketAddress(port));
  27. // 获得一个通道管理器
  28. this.selector = Selector.open();
  29. //将通道管理器和该通道绑定,并为该通道注册SelectionKey.OP_ACCEPT事件,注册该事件后,
  30. //当该事件到达时,selector.select()会返回,如果该事件没到达selector.select()会一直阻塞。
  31. serverChannel.register(selector, SelectionKey.OP_ACCEPT);
  32. }
  33. /**
  34. * 采用轮询的方式监听selector上是否有需要处理的事件,如果有,则进行处理
  35. * @throws IOException
  36. */
  37. @SuppressWarnings("unchecked")
  38. public void listen() throws IOException {
  39. System.out.println("服务端启动成功!");
  40. // 轮询访问selector
  41. while (true) {
  42. //当注册的事件到达时,方法返回;否则,该方法会一直阻塞
  43. selector.select();
  44. // 获得selector中选中的项的迭代器,选中的项为注册的事件
  45. Iterator ite = this.selector.selectedKeys().iterator();
  46. while (ite.hasNext()) {
  47. SelectionKey key = (SelectionKey) ite.next();
  48. // 删除已选的key,以防重复处理
  49. ite.remove();
  50. // 客户端请求连接事件
  51. if (key.isAcceptable()) {
  52. ServerSocketChannel server = (ServerSocketChannel) key
  53. .channel();
  54. // 获得和客户端连接的通道
  55. SocketChannel channel = server.accept();
  56. // 设置成非阻塞
  57. channel.configureBlocking(false);
  58. //在这里可以给客户端发送信息哦
  59. channel.write(ByteBuffer.wrap(new String("向客户端发送了一条信息").getBytes()));
  60. //在和客户端连接成功之后,为了可以接收到客户端的信息,需要给通道设置读的权限。
  61. channel.register(this.selector, SelectionKey.OP_READ);
  62. // 获得了可读的事件
  63. } else if (key.isReadable()) {
  64. read(key);
  65. }
  66. }
  67. }
  68. }
  69. /**
  70. * 处理读取客户端发来的信息 的事件
  71. * @param key
  72. * @throws IOException
  73. */
  74. public void read(SelectionKey key) throws IOException{
  75. // 服务器可读取消息:得到事件发生的Socket通道
  76. SocketChannel channel = (SocketChannel) key.channel();
  77. // 创建读取的缓冲区
  78. ByteBuffer buffer = ByteBuffer.allocate(10);
  79. channel.read(buffer);
  80. byte[] data = buffer.array();
  81. String msg = new String(data).trim();
  82. System.out.println("服务端收到信息:"+msg);
  83. ByteBuffer outBuffer = ByteBuffer.wrap(msg.getBytes());
  84. channel.write(outBuffer);// 将消息回送给客户端
  85. }
  86. /**
  87. * 启动服务端测试
  88. * @throws IOException
  89. */
  90. public static void main(String[] args) throws IOException {
  91. NIOServer server = new NIOServer();
  92. server.initServer(8000);
  93. server.listen();
  94. }
  95. }

客户端:

Java 代码

  1. package cn.nio;
  2. import java.io.IOException;
  3. import java.net.InetSocketAddress;
  4. import java.nio.ByteBuffer;
  5. import java.nio.channels.SelectionKey;
  6. import java.nio.channels.Selector;
  7. import java.nio.channels.SocketChannel;
  8. import java.util.Iterator;
  9. /**
    • NIO 客户端
  10. */
  11. public class NIOClient {
  12. //通道管理器
  13. private Selector selector;
  14. /**
  15. * 获得一个Socket通道,并对该通道做一些初始化的工作
  16. * @param ip 连接的服务器的ip
  17. * @param port 连接的服务器的端口号
  18. * @throws IOException
  19. */
  20. public void initClient(String ip,int port) throws IOException {
  21. // 获得一个Socket通道
  22. SocketChannel channel = SocketChannel.open();
  23. // 设置通道为非阻塞
  24. channel.configureBlocking(false);
  25. // 获得一个通道管理器
  26. this.selector = Selector.open();
  27. // 客户端连接服务器,其实方法执行并没有实现连接,需要在listen()方法中调
  28. //用channel.finishConnect();才能完成连接
  29. channel.connect(new InetSocketAddress(ip,port));
  30. //将通道管理器和该通道绑定,并为该通道注册SelectionKey.OP_CONNECT事件。
  31. channel.register(selector, SelectionKey.OP_CONNECT);
  32. }
  33. /**
  34. * 采用轮询的方式监听selector上是否有需要处理的事件,如果有,则进行处理
  35. * @throws IOException
  36. */
  37. @SuppressWarnings("unchecked")
  38. public void listen() throws IOException {
  39. // 轮询访问selector
  40. while (true) {
  41. selector.select();
  42. // 获得selector中选中的项的迭代器
  43. Iterator ite = this.selector.selectedKeys().iterator();
  44. while (ite.hasNext()) {
  45. SelectionKey key = (SelectionKey) ite.next();
  46. // 删除已选的key,以防重复处理
  47. ite.remove();
  48. // 连接事件发生
  49. if (key.isConnectable()) {
  50. SocketChannel channel = (SocketChannel) key
  51. .channel();
  52. // 如果正在连接,则完成连接
  53. if(channel.isConnectionPending()){
  54. channel.finishConnect();
  55. }
  56. // 设置成非阻塞
  57. channel.configureBlocking(false);
  58. //在这里可以给服务端发送信息哦
  59. channel.write(ByteBuffer.wrap(new String("向服务端发送了一条信息").getBytes()));
  60. //在和服务端连接成功之后,为了可以接收到服务端的信息,需要给通道设置读的权限。
  61. channel.register(this.selector, SelectionKey.OP_READ);
  62. // 获得了可读的事件
  63. } else if (key.isReadable()) {
  64. read(key);
  65. }
  66. }
  67. }
  68. }
  69. /**
  70. * 处理读取服务端发来的信息 的事件
  71. * @param key
  72. * @throws IOException
  73. */
  74. public void read(SelectionKey key) throws IOException{
  75. //和服务端的read方法一样
  76. }
  77. /**
  78. * 启动客户端测试
  79. * @throws IOException
  80. */
  81. public static void main(String[] args) throws IOException {
  82. NIOClient client = new NIOClient();
  83. client.initClient("localhost",8000);
  84. client.listen();
  85. }
  86. }

小结:

终于把动态代理和 java NIO 分析完了,呵呵,下面就要分析 hadoop 的 RPC 机制源码了,博客地址:http://weixiaolu.iteye.com/blog/1504898 。不过如果对 java NIO 的理解存在异议的,欢迎一起讨论。

  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言,是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3196 引用 • 8215 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • someone

    讲真,您这代码不支持高亮,差评

推荐标签 标签

  • wolai

    我来 wolai:不仅仅是未来的云端笔记!

    2 引用 • 14 回帖 • 2 关注
  • Docker

    Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的操作系统上。容器完全使用沙箱机制,几乎没有性能开销,可以很容易地在机器和数据中心中运行。

    494 引用 • 928 回帖 • 1 关注
  • Love2D

    Love2D 是一个开源的, 跨平台的 2D 游戏引擎。使用纯 Lua 脚本来进行游戏开发。目前支持的平台有 Windows, Mac OS X, Linux, Android 和 iOS。

    14 引用 • 53 回帖 • 554 关注
  • Gitea

    Gitea 是一个开源社区驱动的轻量级代码托管解决方案,后端采用 Go 编写,采用 MIT 许可证。

    5 引用 • 16 回帖
  • RIP

    愿逝者安息!

    8 引用 • 92 回帖 • 394 关注
  • SendCloud

    SendCloud 由搜狐武汉研发中心孵化的项目,是致力于为开发者提供高质量的触发邮件服务的云端邮件发送平台,为开发者提供便利的 API 接口来调用服务,让邮件准确迅速到达用户收件箱并获得强大的追踪数据。

    2 引用 • 8 回帖 • 493 关注
  • JetBrains

    JetBrains 是一家捷克的软件开发公司,该公司位于捷克的布拉格,并在俄国的圣彼得堡及美国麻州波士顿都设有办公室,该公司最为人所熟知的产品是 Java 编程语言开发撰写时所用的集成开发环境:IntelliJ IDEA

    18 引用 • 54 回帖 • 2 关注
  • 设计模式

    设计模式(Design pattern)代表了最佳的实践,通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。

    200 引用 • 120 回帖
  • 创造

    你创造的作品可能会帮助到很多人,如果是开源项目的话就更赞了!

    184 引用 • 1015 回帖
  • 周末

    星期六到星期天晚,实行五天工作制后,指每周的最后两天。再过几年可能就是三天了。

    14 引用 • 297 回帖 • 4 关注
  • 机器学习

    机器学习(Machine Learning)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。

    83 引用 • 37 回帖
  • OpenStack

    OpenStack 是一个云操作系统,通过数据中心可控制大型的计算、存储、网络等资源池。所有的管理通过前端界面管理员就可以完成,同样也可以通过 Web 接口让最终用户部署资源。

    10 引用 • 3 关注
  • Vim

    Vim 是类 UNIX 系统文本编辑器 Vi 的加强版本,加入了更多特性来帮助编辑源代码。Vim 的部分增强功能包括文件比较(vimdiff)、语法高亮、全面的帮助系统、本地脚本(Vimscript)和便于选择的可视化模式。

    29 引用 • 66 回帖
  • 前端

    前端技术一般分为前端设计和前端开发,前端设计可以理解为网站的视觉设计,前端开发则是网站的前台代码实现,包括 HTML、CSS 以及 JavaScript 等。

    245 引用 • 1338 回帖
  • 阿里巴巴

    阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的 18 人,于 1999 年在中国杭州创立,他们相信互联网能够创造公平的竞争环境,让小企业通过创新与科技扩展业务,并在参与国内或全球市场竞争时处于更有利的位置。

    43 引用 • 221 回帖 • 72 关注
  • Shell

    Shell 脚本与 Windows/Dos 下的批处理相似,也就是用各类命令预先放入到一个文件中,方便一次性执行的一个程序文件,主要是方便管理员进行设置或者管理用的。但是它比 Windows 下的批处理更强大,比用其他编程程序编辑的程序效率更高,因为它使用了 Linux/Unix 下的命令。

    124 引用 • 74 回帖 • 2 关注
  • DevOps

    DevOps(Development 和 Operations 的组合词)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。

    57 引用 • 25 回帖 • 3 关注
  • Telegram

    Telegram 是一个非盈利性、基于云端的即时消息服务。它提供了支持各大操作系统平台的开源的客户端,也提供了很多强大的 APIs 给开发者创建自己的客户端和机器人。

    5 引用 • 35 回帖
  • Sublime

    Sublime Text 是一款可以用来写代码、写文章的文本编辑器。支持代码高亮、自动完成,还支持通过插件进行扩展。

    10 引用 • 5 回帖
  • SOHO

    为成为自由职业者在家办公而努力吧!

    7 引用 • 55 回帖
  • 音乐

    你听到信仰的声音了么?

    62 引用 • 512 回帖
  • CSDN

    CSDN (Chinese Software Developer Network) 创立于 1999 年,是中国的 IT 社区和服务平台,为中国的软件开发者和 IT 从业者提供知识传播、职业发展、软件开发等全生命周期服务,满足他们在职业发展中学习及共享知识和信息、建立职业发展社交圈、通过软件开发实现技术商业化等刚性需求。

    14 引用 • 155 回帖
  • 新人

    让我们欢迎这对新人。哦,不好意思说错了,让我们欢迎这位新人!
    新手上路,请谨慎驾驶!

    52 引用 • 228 回帖
  • GitHub

    GitHub 于 2008 年上线,目前,除了 Git 代码仓库托管及基本的 Web 管理界面以外,还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱(报表)、代码片段分享(Gist)等功能。正因为这些功能所提供的便利,又经过长期的积累,GitHub 的用户活跃度很高,在开源世界里享有深远的声望,并形成了社交化编程文化(Social Coding)。

    210 引用 • 2040 回帖
  • Anytype
    3 引用 • 31 回帖 • 14 关注
  • 大疆创新

    深圳市大疆创新科技有限公司(DJI-Innovations,简称 DJI),成立于 2006 年,是全球领先的无人飞行器控制系统及无人机解决方案的研发和生产商,客户遍布全球 100 多个国家。通过持续的创新,大疆致力于为无人机工业、行业用户以及专业航拍应用提供性能最强、体验最佳的革命性智能飞控产品和解决方案。

    2 引用 • 14 回帖
  • PWA

    PWA(Progressive Web App)是 Google 在 2015 年提出、2016 年 6 月开始推广的项目。它结合了一系列现代 Web 技术,在网页应用中实现和原生应用相近的用户体验。

    14 引用 • 69 回帖 • 177 关注