博客 / 詳情

返回

Java NIO全面詳解(看這篇就夠了)

很多技術框架都使用NIO技術,學習和掌握Java NIO技術對於高性能、高併發網絡的應用是非常關鍵的@mikechen

NIO簡介

NIO 中的 N 可以理解為 Non-blocking,不單純是 New,是解決高併發、I/O高性能的有效方式。

Java NIO是Java1.4之後推出來的一套IO接口,NIO提供了一種完全不同的操作方式, NIO支持面向緩衝區的、基於通道的IO操作。

新增了許多用於處理輸入輸出的類,這些類都被放在java.nio包及子包下,並且對原java.io包中的很多類進行改寫,新增了滿足NIO的功能。

 

NIO VS BIO

BIO

BIO全稱是Blocking IO,同步阻塞式IO,是JDK1.4之前的傳統IO模型。

Java BIO:服務器實現模式為一個連接一個線程,即客户端有連接請求時服務器端就需要啓動一個線程進行處理,如下圖所示:

雖然此時服務器具備了高併發能力,即能夠同時處理多個客户端請求了,但是卻帶來了一個問題,隨着開啓的線程數目增多,將會消耗過多的內存資源,導致服務器變慢甚至崩潰,NIO可以一定程度解決這個問題。

 

NIO

Java NIO: 同步非阻塞,服務器實現模式為一個線程處理多個請求(連接),即客户端發送的連接請求都會註冊到多路複用器上,多路複用器輪詢到連接有I/O請求就進行處理。

一個線程中就可以調用多路複用接口(java中是select)阻塞同時監聽來自多個客户端的IO請求,一旦有收到IO請求就調用對應函數處理,NIO擅長1個線程管理多條連接,節約系統資源。

 

NIO的核心實現

NIO 包含3個核心的組件:

  • Channel(通道)
  • Buffer(緩衝區)
  • Selector(選擇器)

關係圖的説明:

  1. 每個 Channel 對應一個 Buffer。
  2. Selector 對應一個線程,一個線程對應多個 Channel。
  3. 該圖反應了有三個 Channel 註冊到該 Selector。
  4. 程序切換到那個 Channel 是由事件決定的(Event)。
  5. Selector 會根據不同的事件,在各個通道上切換。
  6. Buffer 就是一個內存塊,底層是有一個數組。
  7. 數據的讀取和寫入是通過 Buffer,但是需要flip()切換讀寫模式,而 BIO 是單向的,要麼輸入流要麼輸出流。

 

Channel(通道)

Channel 是 NIO 的核心概念,它表示一個打開的連接,這個連接可以連接到 I/O 設備(例如:磁盤文件,Socket)或者一個支持 I/O 訪問的應用程序,Java NIO 使用緩衝區和通道來進行數據傳輸。

通道的主要實現類:

FileChannel類

本地文件IO通道,用於讀取、寫入、映射和操作文件的通道,使用文件通道操作文件的一般流程為:

1)獲取通道

文件通道通過 FileChannel 的靜態方法 open() 來獲取,獲取時需要指定文件路徑和文件打開方式。

// 獲取文件通道
FileChannel.open(Paths.get(fileName), StandardOpenOption.READ);

2)創建字節緩衝區

文件相關的字節緩衝區有兩種,一種是基於堆的 HeapByteBuffer,另一種是基於文件映射,放在堆外內存中的 MappedByteBuffer。

// 分配字節緩存
ByteBuffer buf = ByteBuffer.allocate(10);

3)讀寫操作

讀取數據

一般需要一個循環結構來讀取數據,讀取數據時需要注意切換 ByteBuffer 的讀寫模式。

while (channel.read(buf) != -1){ // 讀取通道中的數據,並寫入到 buf 中
    buf.flip(); // 緩存區切換到讀模式
    while (buf.position() < buf.limit()){ // 讀取 buf 中的數據
        text.append((char)buf.get());
    }
    buf.clear(); // 清空 buffer,緩存區切換到寫模式
}

寫入數據

for (int i = 0; i < text.length(); i++) {
    buf.put((byte)text.charAt(i)); // 填充緩衝區,需要將 2 字節的 char 強轉為 1 自己的 byte
    if (buf.position() == buf.limit() || i == text.length() - 1) { // 緩存區已滿或者已經遍歷到最後一個字符
        buf.flip(); // 將緩衝區由寫模式置為讀模式
        channel.write(buf); // 將緩衝區的數據寫到通道
        buf.clear(); // 清空緩存區,將緩衝區置為寫模式,下次才能使用
    }
}

4)將數據刷出到物理磁盤,FileChannel 的 force(boolean metaData) 方法可以確保對文件的操作能夠更新到磁盤。

channel.force(false);

5)關閉通道

channel.close();

SocketChannel類

網絡套接字IO通道,TCP協議,針對面向流的連接套接字的可選擇通道(一般用在客户端)。

TCP 客户端使用 SocketChannel 與服務端進行交互的流程為:

1)打開通道,連接到服務端。

SocketChannel channel = SocketChannel.open(); // 打開通道,此時還沒有打開 TCP 連接
channel.connect(new InetSocketAddress("localhost", 9090)); // 連接到服務端

2)分配緩衝區

ByteBuffer buf = ByteBuffer.allocate(10); // 分配一個 10 字節的緩衝區,不實用,容量太小

3)配置是否為阻塞方式。(默認為阻塞方式)

channel.configureBlocking(false); // 配置通道為非阻塞模式

4)與服務端進行數據交互

5)關閉連接

channel.close();          // 關閉通道

 

ServerSocketChannel類

網絡通信IO操作,TCP協議,針對面向流的監聽套接字的可選擇通道(一般用於服務端),流程如下:

1)打開一個 ServerSocketChannel 通道, 綁定端口。

ServerSocketChannel server = ServerSocketChannel.open(); // 打開通道

2)綁定端口

server.bind(new InetSocketAddress(9090)); // 綁定端口

3)阻塞等待連接到來,有新連接時會創建一個 SocketChannel 通道,服務端可以通過這個通道與連接過來的客户端進行通信。等待連接到來的代碼一般放在一個循環結構中。

SocketChannel client = server.accept(); // 阻塞,直到有連接過來

4)通過 SocketChannel 與客户端進行數據交互

5)關閉 SocketChannel

client.close();

 

Buffer(緩衝區)

緩衝區 Buffer 是 Java NIO 中一個核心概念,在NIO庫中,所有數據都是用緩衝區處理的。

在讀取數據時,它是直接讀到緩衝區中的,在寫入數據時,它也是寫入到緩衝區中的,任何時候訪問 NIO 中的數據,都是將它放到緩衝區中。

而在面向流I/O系統中,所有數據都是直接寫入或者直接將數據讀取到Stream對象中。

Buffer 數據類型

從類圖中可以看到,7 種數據類型對應着 7 種子類,這些名字是 Heap 開頭子類,數據是存放在 JVM 堆中的。

 

MappedByteBuffer

而 MappedByteBuffer 則是存放在堆外的直接內存中,可以映射到文件。

通過java.nio包和MappedByteBuffer允許Java程序直接從內存中讀取文件內容,通過將整個或部分文件映射到內存,由操作系統來處理加載請求和寫入文件,應用只需要和內存打交道,這使得IO操作非常快。

Mmap內存映射和普通標準IO操作的本質區別在於它並不需要將文件中的數據先拷貝至OS的內核IO緩衝區,而是可以直接將用户進程私有地址空間中的一塊區域與文件對象建立映射關係,這樣程序就好像可以直接從內存中完成對文件讀/寫操作一樣。

只有當缺頁中斷髮生時,直接將文件從磁盤拷貝至用户態的進程空間內,只進行了一次數據拷貝,對於容量較大的文件來説(文件大小一般需要限制在1.5~2G以下),採用Mmap的方式其讀/寫的效率和性能都非常高,大家熟知的RocketMQ就使用了該技術。

 

Buffer數據流程

應用程序可以通過與 I/O 設備建立通道來實現對 I/O 設備的讀寫操作,操作的數據通過緩衝區 Buffer 來進行交互。

從 I/O 設備讀取數據時:

1)應用程序調用通道 Channel 的 read() 方法;

2)通道往緩衝區 Buffer 中填入 I/O 設備中的數據,填充完成之後返回;

3)應用程序從緩衝區 Buffer 中獲取數據。

往 I/O 設備寫數據時:\
1)應用程序往緩衝區 Buffer 中填入要寫到 I/O 設備中的數據;\
2)調用通道 Channel 的 write() 方法,通道將數據傳輸至 I/O 設備。

緩衝區核心方法

緩衝區存取數據的兩個核心方法:

1)put():存入數據到緩衝區

  • put(byte b):將給定單個字節寫入緩衝區的當前位置
  • put(byte[] src):將 src 中的字節寫入緩衝區的當前位置
  • put(int index, byte b):將指定字節寫入緩衝區的索引位置(不會移動 position)

2)get():獲取緩衝區的數據

  • get() :讀取單個字節
  • get(byte[] dst):批量讀取多個字節到 dst 中
  • get(int index):讀取指定索引位置的字節(不會移動 position)

 

Selector(選擇器)

Selector類是NIO的核心類,Selector(選擇器)選擇器提供了選擇已經就緒的任務的能力。

Selector會不斷的輪詢註冊在上面的所有channel,如果某個channel為讀寫等事件做好準備,那麼就處於就緒狀態,通過Selector可以不斷輪詢發現出就緒的channel,進行後續的IO操作。

一個Selector能夠同時輪詢多個channel,這樣,一個單獨的線程就可以管理多個channel,從而管理多個網絡連接,這樣就不用為每一個連接都創建一個線程,同時也避免了多線程之間上下文切換導致的開銷。

選擇器使用步驟

1 獲取選擇器

與通道和緩衝區的獲取類似,選擇器的獲取也是通過靜態工廠方法 open() 來得到的。

Selector selector = Selector.open(); // 獲取一個選擇器實例

2 獲取可選擇通道

能夠被選擇器監控的通道必須實現了 SelectableChannel 接口,並且需要將通道配置成非阻塞模式,否則後續的註冊步驟會拋出 IllegalBlockingModeException。

SocketChannel socketChannel = SocketChannel.open(new InetSocketAddress("localhost", 9090)); // 打開 SocketChannel 並連接到本機 9090 端口
socketChannel.configureBlocking(false); // 配置通道為非阻塞模式

3 將通道註冊到選擇器

通道在被指定的選擇器監控之前,應該先告訴選擇器,並且告知監控的事件,即:將通道註冊到選擇器。

通道的註冊通過 SelectableChannel.register(Selector selector, int ops) 來完成,ops 表示關注的事件,如果需要關注該通道的多個 I/O 事件,可以傳入這些事件類型或運算之後的結果。這些事件必須是通道所支持的,否則拋出 IllegalArgumentException。

socketChannel.register(selector, SelectionKey.OP_READ | SelectionKey.OP_WRITE); // 將套接字通過到註冊到選擇器,關注 read 和 write 事件

4 輪詢 select 就緒事件\
通過調用選擇器的 Selector.select() 方法可以獲取就緒事件,該方法會將就緒事件放到一個 SelectionKey 集合中,然後返回就緒的事件的個數。這個方法映射多路複用 I/O 模型中的 select 系統調用,它是一個阻塞方法。正常情況下,直到至少有一個就緒事件,或者其它線程調用了當前 Selector 對象的 wakeup() 方法,或者當前線程被中斷時返回。

while (selector.select() > 0){ // 輪詢,且返回時有就緒事件
Set<SelectionKey> keys = selector.selectedKeys(); // 獲取就緒事件集合
.......
}

有 3 種方式可以 select 就緒事件:

1)select() 阻塞方法,有一個就緒事件,或者其它線程調用了 wakeup() 或者當前線程被中斷時返回。

2)select(long timeout) 阻塞方法,有一個就緒事件,或者其它線程調用了 wakeup(),或者當前線程被中斷,或者阻塞時長達到了 timeout 時返回。不拋出超時異常。

3)selectNode() 不阻塞,如果無就緒事件,則返回 0;如果有就緒事件,則將就緒事件放到一個集合,返回就緒事件的數量。

5 處理就緒事件\
每次可以 select 出一批就緒的事件,所以需要對這些事件進行迭代。

for(SelectionKey key : keys){
if(key.isWritable()){ // 可寫事件
if("Bye".equals( (line = scanner.nextLine()) )){
socketChannel.shutdownOutput();
socketChannel.close();
break;
}
buf.put(line.getBytes());
buf.flip();
socketChannel.write(buf);
buf.compact();
}
}

從一個 SelectionKey 對象可以得到:1)就緒事件的對應的通道;2)就緒的事件。通過這些信息,就可以很方便地進行 I/O 操作。

 

NIO源碼案例

NIOServer

public static void main(String[] args) throws  Exception{
        //創建ServerSocketChannel,-->> ServerSocket
        ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
        InetSocketAddress inetSocketAddress = new InetSocketAddress(5555);
        serverSocketChannel.socket().bind(inetSocketAddress);
        serverSocketChannel.configureBlocking(false); //設置成非阻塞
 
        //開啓selector,並註冊accept事件
        Selector selector = Selector.open();
        serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);
 
        while(true) {
            selector.select(2000);  //監聽所有通道
            //遍歷selectionKeys
            Set<SelectionKey> selectionKeys = selector.selectedKeys();
            Iterator<SelectionKey> iterator = selectionKeys.iterator();
            while (iterator.hasNext()) {
                SelectionKey key = iterator.next();
                if(key.isAcceptable()) {  //處理連接事件
                    SocketChannel socketChannel = serverSocketChannel.accept();
                    socketChannel.configureBlocking(false);  //設置為非阻塞
                    System.out.println("client:" + socketChannel.getLocalAddress() + " is connect");
                    socketChannel.register(selector, SelectionKey.OP_READ); //註冊客户端讀取事件到selector
                } else if (key.isReadable()) {  //處理讀取事件
                    ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
                    SocketChannel channel = (SocketChannel) key.channel();
                    channel.read(byteBuffer);
                    System.out.println("client:" + channel.getLocalAddress() + " send " + new String(byteBuffer.array()));
                }
                iterator.remove();  //事件處理完畢,要記得清除
            }
        }
 
    }

 

NIOClient

public class NIOClient {
 
public static void main(String[] args) throws Exception{
        SocketChannel socketChannel = SocketChannel.open();
        socketChannel.configureBlocking(false);
        InetSocketAddress inetSocketAddress = new InetSocketAddress("127.0.0.1", 5555);
 
        if(!socketChannel.connect(inetSocketAddress)) {
            while (!socketChannel.finishConnect()) {
                System.out.println("客户端正在連接中,請耐心等待");
            }
        }
 
        ByteBuffer byteBuffer = ByteBuffer.wrap("mikechen的互聯網架構".getBytes());
        socketChannel.write(byteBuffer);
        socketChannel.close();
}
}

 

以上

作者簡介

陳睿|mikechen,10年+大廠架構經驗,《BAT架構技術500期》系列文章作者,分享十餘年BAT架構經驗以及面試心得!

閲讀mikechen的互聯網架構更多技術文章合集

Java併發|JVM|MySQL|Spring|Redis|分佈式|高併發|架構師

關注「mikechen 的互聯網架構」公眾號,回覆 【架構】 領取我原創的《300 期 + BAT 架構技術系列與 1000 + 大廠面試題答案》

user avatar
0 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.