Java|Java NIO系列教程(一) Java NIO 概述
一、阻塞IO与非阻塞IO
阻塞IO:
通常在进行同步I/O操作时,如果读取数据,代码会阻塞直至有 可供读取的数据。同样,写入调用将会阻塞直至数据能够写入。传统的Server/Client模式会基于TPR(Thread per Request),服务器会为每个客户端请求建立一个线程,由该线程单独负责处理一个客户请求。这种模式带来的一个问题就是线程数量的剧增,大量的线程会增大服务器的开销。大多数的实现为了避免这个问题,都采用了线程池模型,并设置线程池线程的最大数量,这由带来了新的问题,如果线程池中有200个线程,而有200个用户都在进行大文件下载,会导致第201个用户的请求无法及时处理,即便第201个用户只想请求一个几KB大小的页面。传统的 Server/Client模式如下图所示:
文章图片
非阻塞IO(NIO):
NIO中非阻塞I/O采用了基于Reactor模式的工作方式,I/O调用不会被阻塞,相反是注册感兴趣的特定I/O事件,如可读数据到达,新的套接字连接等等,在发生特定事件时,系统再通知我们。NIO中实现非阻塞I/O的核心对象就是Selector,Selector就是注册各种I/O事件地 方,而且当那些事件发生时,就是这个对象告诉我们所发生的事件,如下图所示:
文章图片
从图中可以看出,当有读或写等任何注册的事件发生时,可以从Selector中获得相应的SelectionKey,同时从 SelectionKey中可以找到发生的事件和该事件所发生的具体的SelectableChannel,以获得客户端发送过来的数据。
非阻塞指的是IO事件本身不阻塞,但是获取IO事件的select()方法是需要阻塞等待的.区别是阻塞的IO会阻塞在IO操作上, NIO阻塞在事件获取上,没有事件就没有IO, 从高层次看IO就不阻塞了.也就是说只有IO已经发生那么我们才评估IO是否阻塞,但是select()阻塞的时候IO还没有发生,何谈IO的阻塞呢?NIO的本质是延迟IO操作到真正发生IO的时候,而不是以前的只要IO流打开了就一直等待IO操作。
二.NIO原理及通信模型
Java NIO是在jdk1.4开始使用的,它既可以说成“新I/O”,也可以说成非阻塞式I/O。下面是java NIO的工作原理:
1. 由一个专门的线程来处理所有的 IO 事件,并负责分发。
2. 事件驱动机制:事件到的时候触发,而不是同步的去监视事件。
3. 线程通讯:线程之间通过 wait,notify 等方式通讯。保证每次上下文切换都是有意义的。减少无谓的线程切换。
阅读过一些资料之后,下面贴出我理解的java NIO的工作原理图:
文章图片
(注:每个线程的处理流程大概都是读取数据、解码、计算处理、编码、发送响应。)
Java NIO的服务端只需启动一个专门的线程来处理所有的 IO 事件,这种通信模型是怎么实现的呢?呵呵,我们一起来探究它的奥秘吧。java NIO采用了双向通道(channel)进行数据传输,而不是单向的流(stream),在通道上可以注册我们感兴趣的事件。一共有以下四种事件:
事件名对应值
服务端接收客户端连接事件SelectionKey.OP_ACCEPT(16)
客户端连接服务端事件SelectionKey.OP_CONNECT(8)
读事件SelectionKey.OP_READ(1)
写事件SelectionKey.OP_WRITE(4)
服务端和客户端各自维护一个管理通道的对象,我们称之为selector,该对象能检测一个或多个通道 (channel) 上的事件。我们以服务端为例,如果服务端的selector上注册了读事件,某时刻客户端给服务端发送了一些数据,阻塞I/O这时会调用read()方法阻塞地读取数据,而NIO的服务端会在selector中添加一个读事件。服务端的处理线程会轮询地访问selector,如果访问selector时发现有感兴趣的事件到达,则处理这些事件,如果没有感兴趣的事件到达,则处理线程会一直阻塞直到感兴趣的事件到达为止。下面是我理解的java NIO的通信模型示意图:
文章图片
三、Java NIO 概述
Java NIO 由以下几个核心部分组成:
Channels
Buffers
Selectors
虽然Java NIO 中除此之外还有很多类和组件,但在我看来,Channel,Buffer 和 Selector 构成了核心的API。其它组件,如Pipe和FileLock,只不过是与三个核心组件共同使用的工具类。因此,在概述中我将集中在这三个组件上。其它组件会在单独的章节中讲到。
Channel 和 Buffer
基本上,所有的 IO 在NIO 中都从一个Channel 开始。Channel 有点象流。 数据可以从Channel读到Buffer中,也可以从Buffer 写到Channel中。这里有个图示:
文章图片
Channel和Buffer有好几种类型。下面是JAVA NIO中的一些主要Channel的实现:
FileChannel
DatagramChannel
SocketChannel
ServerSocketChannel
正如你所看到的,这些通道涵盖了UDP 和 TCP 网络IO,以及文件IO。
与这些类一起的有一些有趣的接口,但为简单起见,我尽量在概述中不提到它们。本教程其它章节与它们相关的地方我会进行解释。
以下是Java NIO里关键的Buffer实现:
ByteBuffer
CharBuffer
DoubleBuffer
FloatBuffer
IntBuffer
LongBuffer
ShortBuffer
这些Buffer覆盖了你能通过IO发送的基本数据类型:byte, short, int, long, float, double 和 char。
Java NIO 还有个 MappedByteBuffer,用于表示内存映射文件, 我也不打算在概述中说明。
Selector
Selector允许单线程处理多个 Channel。如果你的应用打开了多个连接(通道),但每个连接的流量都很低,使用Selector就会很方便。例如,在一个聊天服务器中。
这是在一个单线程中使用一个Selector处理3个Channel的图示:
文章图片
要使用Selector,得向Selector注册Channel,然后调用它的select()方法。这个方法会一直阻塞到某个注册的通道有事件就绪。一旦这个方法返回,线程就可以处理这些事件,事件的例子有如新连接进来,数据接收等。
NIO使用步骤
文章图片
服务端步骤:
步骤一:打开ServerSocketChannel,用于监听客户端的连接,它是所有客户端连接的父管道,代码示例如下:
ServerSocketChannel acceptorSvr = ServerSocketChannel.open();
步骤二:绑定监听端口,设置连接为非阻塞模式,示例代码如下:
acceptorSvr.socket().bind(new InetSocketAddress(InetAddress.getByName(“IP”), port));
acceptorSvr.configureBlocking(false);
步骤三:创建Reactor线程,创建多路复用器并启动线程,代码如下:
Selector selector = Selector.open();
New Thread(newReactorTask()).start();
步骤四:将ServerSocketChannel注册到Reactor线程的多路复用器Selector上,监听ACCEPT事件,代码如下:
SelectionKey key = acceptorSvr.register( selector, SelectionKey.OP_ACCEPT, ioHandler);
步骤五:多路复用器在线程run方法的无限循环体内轮询准备就绪的Key,代码如下:
文章图片
intnum = selector.select();
Set selectedKeys = selector.selectedKeys();
Iterator it = selectedKeys.iterator();
while (it.hasNext()) {
SelectionKey key = (SelectionKey)it.next();
// ... deal with I/O event ...}
文章图片
步骤六:多路复用器监听到有新的客户端接入,处理新的接入请求,完成TCP三次握手,建立物理链路,代码示例如下:
SocketChannel channel = svrChannel.accept();
步骤七:设置客户端链路为非阻塞模式,示例代码如下:
channel.configureBlocking(false);
channel.socket().setReuseAddress(true);
步骤八:将新接入的客户端连接注册到Reactor线程的多路复用器上,监听读操作,用来读取客户端发送的网络消息,代码如下:
【Java|Java NIO系列教程(一) Java NIO 概述】SelectionKey key = socketChannel.register( selector, SelectionKey.OP_READ, ioHandler);
步骤九:异步读取客户端请求消息到缓冲区,示例代码如下:
intreadNumber =channel.read(receivedBuffer);
步骤十:对ByteBuffer进行编解码,如果有半包消息指针reset,继续读取后续的报文,将解码成功的消息封装成Task,投递到业务线程池中,进行业务逻辑编排,示例代码如下:
文章图片
Object message =null;
while(buffer.hasRemain())
{
byteBuffer.mark();
Object message = decode(byteBuffer);
if(message ==null)
{
byteBuffer.reset();
break;
}
messageList.add(message );
}
if(!byteBuffer.hasRemain())
byteBuffer.clear();
elsebyteBuffer.compact();
if(messageList !=null& !messageList.isEmpty())
{
for(Object messageE : messageList)
handlerTask(messageE);
}
文章图片
步骤十一:将POJO对象encode成ByteBuffer,调用SocketChannel的异步write接口,将消息异步发送给客户端,示例代码如下:
socketChannel.write(buffer);
注意:如果发送区TCP缓冲区满,会导致写半包,此时,需要注册监听写操作位,循环写,直到整包消息写入TCP缓冲区,此处不赘述,后续Netty源码分析章节会详细分析Netty的处理策略。
当我们了解创建NIO服务端的基本步骤之后,下面我们将前面的时间服务器程序通过NIO重写一遍,让大家能够学习到完整版的NIO服务端创建。
客户端步骤:
步骤一:打开SocketChannel,绑定客户端本地地址(可选,默认系统会随机分配一个可用的本地地址),示例代码如下:
SocketChannel clientChannel = SocketChannel.open();
步骤二:设置SocketChannel为非阻塞模式,同时设置客户端连接的TCP参数,示例代码如下:
clientChannel.configureBlocking(false);
socket.setReuseAddress(true);
socket.setReceiveBufferSize(BUFFER_SIZE);
socket.setSendBufferSize(BUFFER_SIZE);
步骤三:异步连接服务端,示例代码如下:
booleanconnected = clientChannel.connect(newInetSocketAddress(“ip”,port));
步骤四:判断是否连接成功,如果连接成功,则直接注册读状态位到多路复用器中,如果当前没有连接成功(异步连接,返回false,说明客户端已经发送sync包,服务端没有返回ack包,物理链路还没有建立),示例代码如下:
文章图片
if (connected)
{
clientChannel.register( selector, SelectionKey.OP_READ, ioHandler);
}
else{
clientChannel.register( selector, SelectionKey.OP_CONNECT, ioHandler);
}
文章图片
步骤五:向Reactor线程的多路复用器注册OP_CONNECT状态位,监听服务端的TCP ACK应答,示例代码如下:
clientChannel.register( selector, SelectionKey.OP_CONNECT, ioHandler);
步骤六:创建Reactor线程,创建多路复用器并启动线程,代码如下:
Selector selector = Selector.open();
New Thread(newReactorTask()).start();
步骤七:多路复用器在线程run方法的无限循环体内轮询准备就绪的Key,代码如下:
文章图片
intnum = selector.select();
Set selectedKeys = selector.selectedKeys();
Iterator it = selectedKeys.iterator();
while (it.hasNext()) {
if (key.isConnectable())
//handlerConnect();
}
文章图片
步骤九:判断连接结果,如果连接成功,注册读事件到多路复用器,示例代码如下:
if (channel.finishConnect())
registerRead();
步骤十:注册读事件到多路复用器:
clientChannel.register( selector, SelectionKey.OP_READ, ioHandler);
步骤十一:异步读客户端请求消息到缓冲区,示例代码如下:
intreadNumber =channel.read(receivedBuffer);
步骤十二:对ByteBuffer进行编解码,如果有半包消息接收缓冲区Reset,继续读取后续的报文,将解码成功的消息封装成Task,投递到业务线程池中,进行业务逻辑编排,示例代码如下:
文章图片
Object message =null;
while(buffer.hasRemain())
{
byteBuffer.mark();
Object message = decode(byteBuffer);
if(message ==null)
{
byteBuffer.reset();
break;
}
messageList.add(message );
}
if(!byteBuffer.hasRemain())
byteBuffer.clear();
elsebyteBuffer.compact();
if(messageList !=null& !messageList.isEmpty())
{
for(Object messageE : messageList)
handlerTask(messageE);
}
文章图片
步骤十三:将POJO对象encode成ByteBuffer,调用SocketChannel的异步write接口,将消息异步发送给客户端,示例代码如下:
完整代码:
文章图片
package com.dxz.springsession.nio.demo6;
import java.io.IOException;
import java.net.InetAddress;
import java.net.InetSocketAddress;
import java.net.UnknownHostException;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;
import java.util.Iterator;
import java.util.Set;
publicclass NIOServer {
publicstaticvoidmain(String[] args)throws IOException {
newThread(new ReactorTask()).start();
}
publicstaticclassReactorTaskimplements Runnable {
private Selector selector;
public ReactorTask() {
try {
// 第一步:打开ServerSocketChannel,用于监听客户端的连接,它是所有客户端连接的父管道ServerSocketChannel acceptorSvr = ServerSocketChannel.open();
// 第二步:病毒监听端口,设置连接为非阻塞模式acceptorSvr.socket().bind(newInetSocketAddress(InetAddress.getByName("localhost"), 1234));
acceptorSvr.configureBlocking(false);
// 第三步:创建Reactor线程,创建多路复用器并启动线程selector = Selector.open();
// 第四步:将ServerSocketChannel注册到Reactor线程的多路复用器Selector上,监听Accept事件SelectionKey key = acceptorSvr.register(selector, SelectionKey.OP_ACCEPT);
} catch (UnknownHostException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
@Override
publicvoid run() {
// 第五步:在run方法中无限循环体内轮询准备就绪的Keywhile(true) {
try {
selector.select(1000);
Set selectedKeys = selector.selectedKeys();
Iterator it = selectedKeys.iterator();
SelectionKey key =null;
while (it.hasNext()) {
key = it.next();
it.remove();
try {
if (key.isValid()) {
// 处理新接入的请求消息if (key.isAcceptable()) {
// 第六步:多路复用器监听到有新的客户端接入,处理新的接入请求,完成TCP三次握手,建立物理链路ServerSocketChannel ssc = (ServerSocketChannel) key.channel();
SocketChannel sc = ssc.accept();
// 第七步:设置客户端链路为非阻塞模式sc.configureBlocking(false);
sc.socket().setReuseAddress(true);
// 第八步:将新接入的客户端连接注册到Reactor线程的多路复用器上,监听读操作,读取客户端发送的网络消息sc.register(selector, SelectionKey.OP_READ);
}
if (key.isReadable()) {
// 第九步:异步读取客户端请求消息到缓存区SocketChannel sc = (SocketChannel) key.channel();
ByteBuffer readBuffer = ByteBuffer.allocate(1024);
intreadBytes = sc.read(readBuffer);
// 第十步:对ByteBuffer进行编解码,如果有半包消息指针reset,继续读取后续的报文if(readBytes > 0) {
readBuffer.flip();
byte[] bytes =newbyte[readBuffer.remaining()];
readBuffer.get(bytes);
String body =newString(bytes, "UTF-8");
System.out.println("The time server receive order : " + body);
String currentTime = "QUERY TIME ORDER".equalsIgnoreCase(body)
?new java.util.Date(System.currentTimeMillis()).toString()
: "BAD ORDER";
//写应答byte[] bytes2 = currentTime.getBytes();
ByteBuffer writeBuffer = ByteBuffer.allocate(bytes2.length);
writeBuffer.put(bytes2);
writeBuffer.flip();
sc.write(writeBuffer);
} elseif(readBytes < 0) {
// 对端链路关闭key.cancel();
sc.close();
} else;
// 读到0字节,忽略}
}
} catch (Exception e) {
if(key !=null) {
key.cancel();
if(key.channel() !=null)
key.channel().close();
}
}
}
} catch (Throwable t) {
t.printStackTrace();
}
}
}
}
}
文章图片
客户端:
文章图片
package com.dxz.springsession.nio.demo6;
import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.SocketChannel;
import java.util.Iterator;
import java.util.Set;
publicclassTimeClientHandleimplements Runnable {
private String host;
privateint port;
private Selector selector;
private SocketChannel socketChannel;
privatevolatileboolean stop;
publicTimeClientHandle(String host,int port) {
this.host = host ==null? "127.0.0.1" : host;
this.port = port;
try {
//第一步:打开SocketChannel,用于创建客户端连接socketChannel = SocketChannel.open();
//第二步:设置SocketChannel为非阻塞模式socketChannel.configureBlocking(false);
//第三步:创建多路复用器(在Reactor线程中)selector = Selector.open();
} catch (IOException e) {
e.printStackTrace();
System.exit(1);
}
}
@Override
publicvoid run() {
try {
// 第四步:socketChannel发起连接if(socketChannel.connect(new InetSocketAddress(host, port))) {
//第五步:如果直接连接成功,则注册到多路复用器上socketChannel.register(selector, SelectionKey.OP_READ);
//第六步:发送请求消息,读应答byte[] req = "QUERY TIME ORDER".getBytes();
ByteBuffer writeBuffer = ByteBuffer.allocate(req.length);
writeBuffer.put(req);
writeBuffer.flip();
socketChannel.write(writeBuffer);
if(!writeBuffer.hasRemaining())
System.out.println("Send order 2 server succeed.");
} elsesocketChannel.register(selector, SelectionKey.OP_CONNECT);
} catch (IOException e) {
e.printStackTrace();
System.exit(1);
}
while(!stop) {
try {
//第七步:多路复用器在run的无限循环体内轮询准备就绪的Keyselector.select(1000);
Set selectedKeys = selector.selectedKeys();
Iterator it = selectedKeys.iterator();
SelectionKey key =null;
while (it.hasNext()) {
key = it.next();
it.remove();
try {
if (key.isValid()) {
//第八步:将连接成功的Channel注册到多路复用器上
// 判断是否连接成功SocketChannel sc = (SocketChannel) key.channel();
if (key.isConnectable()) {
if (sc.finishConnect()) {
sc.register(selector, SelectionKey.OP_READ);
//发送请求消息,读应答byte[] req = "QUERY TIME ORDER".getBytes();
ByteBuffer writeBuffer = ByteBuffer.allocate(req.length);
writeBuffer.put(req);
writeBuffer.flip();
sc.write(writeBuffer);
if(!writeBuffer.hasRemaining())
System.out.println("Send order 2 server succeed.");
} elseSystem.exit(1);
// 连接失败,进程退出}
//监听读操作,读取服务端写回的网络信息if (key.isReadable()) {
//第九步:读取信息到缓冲区ByteBuffer readBuffer = ByteBuffer.allocate(1024);
intreadBytes = sc.read(readBuffer);
if(readBytes > 0) {
readBuffer.flip();
byte[] bytes =newbyte[readBuffer.remaining()];
readBuffer.get(bytes);
String body =newString(bytes, "UTF-8");
System.out.println("Now is : " + body);
this.stop =true;
} elseif(readBytes < 0) {
// 对端链路关闭key.cancel();
sc.close();
} else;
// 读到0字节,忽略}
}
} catch (Exception e) {
if(key !=null) {
key.cancel();
if(key.channel() !=null)
key.channel().close();
}
}
}
} catch (Exception e) {
e.printStackTrace();
System.exit(1);
}
}
// 多路复用器关闭后,所有注册在上面的Channel和Pipe等资源都会被自动去注册并关闭,所以不需要重复释放资源if(selector !=null)
try {
selector.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}package com.dxz.springsession.nio.demo6;
publicclass TimeClient {
/*** @param args
*/publicstaticvoid main(String[] args) {
intport = 1234;
if(args !=null&& args.length > 0) {
try {
port = Integer.valueOf(args[0]);
} catch (NumberFormatException e) {
// 采用默认值}
}
newThread(newTimeClientHandle("127.0.0.1", port), "TimeClient-001")
.start();
}
}
为什么某些人会一直比你优秀,是因为他本身就很优秀还一直在持续努力变得更优秀,而你是不是还在满足于现状内心在窃喜!
推荐:Java高级开发,Java架构师/大型互联网架构进阶直播看到这里,说明你喜欢本文,每一位读到这里的网友,感谢你们能耐心地看完。希望此文能帮到大家的同时,也听听大家的观点。你的转发,是对我最大的鼓励!在看亦是支持↓
地址:http://t.cn/AiKfJ6Zx
(复制链接到浏览器即可)
欢迎留言、讨论、关注、收藏、分享你的高见!持续更新!
推荐阅读
- JAVA(抽象类与接口的区别&重载与重写&内存泄漏)
- 事件代理
- 【欢喜是你·三宅系列①】⑶
- Java|Java OpenCV图像处理之SIFT角点检测详解
- java中如何实现重建二叉树
- 数组常用方法一
- 你不可不知的真相系列之科学
- 【Hadoop踩雷】Mac下安装Hadoop3以及Java版本问题
- 人脸识别|【人脸识别系列】| 实现自动化妆
- Java|Java基础——数组