網絡運維|從網絡IO看高性能架構

2020-06-19 17:00 作者：艾銻無限 瀏覽量：

網絡維護是一種日常維護，包括網絡設備管理(如計算機，服務器)、操作系統維護(系統打補丁，系統升級)、網絡安全(病毒防范)等。+

北京艾銻無限科技發展有限公司為您免費提供給您大量真實有效的北京網絡維護服務，北京網絡維修信息查詢，同時您可以免費資訊北京網絡維護，北京網絡維護服務，北京網絡維修信息。專業的北京網絡維護信息就在北京艾銻無限+

+

北京網絡維護全北京朝陽豐臺北京周邊海淀、大興、昌平、門頭溝、通州、西城區、燕郊、石景山、崇文、房山、宣武、順義、平谷、延慶全北京網絡維護信息



相信大家肯定聽過什么阻塞/非阻塞IO，同步/異步調用，我也嘗試過死記概念，結果大家應該都有體會，過一陣子就忘記了。知其然而不知其所以然~然并卵。

大家在選擇一門語言或者一個框架的時候肯定優先看它的性能，也就是并發量，例如常用的測試手段，就是用該語言或者框架寫個http server服務器，對于http請求返回一個“hello，world!”，利用wrk進行壓測，看看每分鐘請求量最高能到多少，在4核8G的Ubuntu服務器上跑該http服務，利用wrk壓測，gin框架每分鐘能處理的請求量接近300W!這是相當優秀的!

前一陣子在go meet up深圳討論語言性能的時候，有位老哥說同等業務與機器，PHP每秒請求量大概在300多，處理三萬并發量的服務程序， go需要一臺服務器，而PHP需要一百臺。我當時非常震驚，為什么語言之間的差別這么大，是什么原因造成這個巨大的差別呢?我問Boss Lee(meet up講師，一位技術大佬)，他跟我說因為PHP是一個請求開一個進程處理，注意是進程而不是線程!

那為什么用進程處理請求會造成性能差別這么大，甚至到了一百臺服務器的差別呢?(一百臺服務器一年得上百萬吧~)

經過我查閱資料，得出了是 網絡IO模型造成了性能根本上的差別 這一結論!

這里直接說結論：PHP是阻塞IO+多進程模型，大名鼎鼎的Netty(JAVA)框架是主從reactor+worker threads 模式。

為什么?因為CPU切換進程或線程所帶來的性能損耗是巨大的，主從reactor模式解決了IO分發的高效率問題!

這里先記住結論，后文看解析

2.三大網絡模型

2.1阻塞IO+多進程

服務器初始監聽在lisnted_fd到接字上，此時一個客戶端發起連接請求，連接成功后產生連接套接字，此時父進程fork出一個子進程，子進程拿到連接套接字，并以此與客戶端通信。在這種網絡模型下，父進程關心的是監聽套接字，子進程關心的是連接套接字。
這種網絡模型編程簡單，但是效率不高。

2.2阻塞IO+多線程

進程切換上下文代價是相當高的，有一種類似進程，但是切換開銷比進程小的東西，那就是線程。

為什么說線程切換比進程切換開銷要小呢?

因為線程由操作系統內核管理，在同一個進程中，所有的線程共享該進程的整個虛擬地址空間，包括代碼、數據、堆、共享庫等。

我們的代碼被CPU執行需要一些數據支撐的，這就是所謂的上下文，包括但不限于程序計數器需要告訴CPU代碼執行到哪里了，寄存器中存放了一些計算中間值，內從中存放了當前一些變量等。 從一個計算場景切換到另一個計算場景，這些值都需要重新載入，這就是上下文切換。

2.2非阻塞IO+IO多路復用

使用poll和epoll可以設計出基于套接字滿足高性能，高并發的事件驅動程序。

事件驅動模型，叫做 reactor模型，或者Even loop模型。 是不是很熟悉?這個模型的核心有兩點：

· 存在一個無限循環的事件分發線程，叫reactor線程，或者Even loop線程。這個分發線程背后的技術就是poll與epoll這類的IO多路復用技術。

· 所有的IO操作都可抽象為事件，每個事件必須有回調函數來處理。acceptor上有連接建立，已連接套接字的發送緩沖區可以寫，通信管道pipe上有數據可以讀，這些事件通過事件分發，都能被檢測并調用回調函數處理。

· 單reactor模型 + worker threads該模型是將acceptor上連接建立事件，和已連接套接字的IO事件的分發由一個reactor線程去執行，由工作線程去處理耗時操作，例如數據庫讀取，文件解析，計算等等。單reactor模型 + worker threads.png

· 主從reactor模型 + worker threads當所有acceptor的連接建立事件和已連接套接字的IO事件交由一個reactor線程處理，在并發量較高的情況下，這個reactor線程會 忙不過來 ，表現在客戶端連接建立成功率偏低。

那么主從模式的核心思想就在于，主reactor上只監聽acceptor上成功建立的連接事件，并將其分發給從reactor線程，從reactor線程只需要負責已連接套接字上的IO事件。

總結：我們通過主reactor線程來分發成功建立的套接字，通過從reactor線程來分發已連接套接字上的IO事件，通過工作線程來處理耗時操作! 更進一步---通過用戶態自己建立的協程機制來調度業務處理程序，用戶態自己管理協程間切換，避免了CPU切換線程，又能為程序帶來更高的處理效率!

3. 五種網絡IO簡介

· 阻塞IO

· 非阻塞IO

· IO多路復用

· 異步IO

· 信號驅動IO

阻塞IO：

當應用程序調用阻塞IO完成某個操作時，應用程序會被掛起，感覺上應用程序像是被“阻塞”了一樣。實際上，內核所做的事情是將CPU時間切換給了其他有需要的進程，網絡應用程序在這種情況下就會得不到CPU時間做該做的事情。

非阻塞IO：

當應用程序調用非阻塞IO完成某個操作時，內核立即返回，不會把CPU時間讓出給其他進程，應用程序在返回后可以得到足夠的CPU時間做其他的事情。

IO多路復用：

我們可以把標準輸入、套接字都看作IO的一路，多路復用的意思，就是在任何一路IO有“事件”發生的情況下，通過應用程序去處理相應的IO事件，這樣我們的程序就“好像”在同一時刻處理多個IO事件。

異步IO：

當一個異步過程調用發出后，調用者不能立刻得到結果。實際處理這個調用的部件在完成后，通過狀態、通知和回調來通知調用者。

信號驅動IO：

應用進程使用 sigaction 系統調用，內核立即返回，應用進程可以繼續執行。當數據報準備好讀取時，內核就為該進程產生一個SIGIO信號，我們隨后可以在信號處理函數中讀取數據報，也可以立即通知主循環，讓他讀取數據。

4.網絡IO的本質

網絡IO的本質就是socket流的讀取，通常一次IO讀操作會涉及到兩個對象和兩個階段。

兩個對象：

· 用戶進程(線程)

· 內核對象

兩個階段：

· 等待數據流準備

· 從內核向進程復制數據

對于socket流而言：

· 第一步通常涉及等待網絡上的數據分組到達，然后被復制到內核的某個緩沖區。

· 第二步把數據從內核緩沖區復制到進程緩沖區。

5. 如何區分阻塞IO和非阻塞IO

阻塞IO發起的read請求，線程會被掛起，一直等到內核數據準備好，并把數據從內核區域拷貝到應用程序的緩沖區中，拷貝完成后，read請求調用才返回。

非阻塞IO的read請求在數據為準備的情況下立即返回，應用程序可以不斷查詢內核，直到數據準備好，內核將數據拷貝到應用程序緩沖區并完成這次read調用。

6. 如何區分同步和異步

同步調用與 異步調用 是對于獲取數據的過程而言的，前面的幾種最后獲取數據的read操作調用，都是同步的，即在read調用時，內核將數據從內核空間拷貝到應用程序空間，這個過程是在read函數中同步進行的。

當我們發起異步讀(aio_read)之后，就立即返回，內核自動將數據從內核空間拷貝到應用程序空間，這個拷貝過程是異步的，內核自動完成的，和前面的同步操作不一樣，應用程序并不需要主動發起拷貝動作。
 
以上文章由北京艾銻無限科技發展有限公司整理