導航:首頁 > 廢水知識 > 伺服器io性能提升

伺服器io性能提升

發布時間:2024-09-08 16:32:21

① 什麼是伺服器端編程經常需要構造高性能的IO模型

伺服器端編程經常需要構造高性能的IO模型,常見的IO模型有四種:
(1)同步阻塞IO(Blocking IO):即傳統的IO模型。

(2)同步非阻塞IO(Non-blocking IO):默認創建的socket都是阻塞的,非阻塞IO要求socket被設置為NONBLOCK。注意這里所說的NIO並非Java的NIO(New IO)庫。

(3)IO多路復用(IO Multiplexing):即經典的Reactor設計模式,有時也稱為非同步阻塞IO,Java中的Selector和Linux中的epoll都是這種模型。

(4)非同步IO(Asynchronous IO):即經典的Proactor設計模式,也稱為非同步非阻塞IO。

② 如何讓linux伺服器磁碟io性能翻倍

一塊磁碟的io性能在製作的時候就決定了,你可以把多塊磁碟使用raid或者lvm的方式來進行性能提升。

③ 如何讓CentOS伺服器磁碟io性能翻倍

如何讓CentOS伺服器磁碟io性能翻倍

這一期我們來看一下有哪些辦法可以減少linux下的文件碎片。主要是針對磁碟長期滿負荷運轉的使用場景(例如http代理伺服器);另外有一個小技巧,針對互聯網圖片伺服器,可以將io性能提升數倍。如果為伺服器訂制一個專用文件系統,可以完全解決文件碎片的問題,將磁碟io的性能發揮至極限。對於我們的代理伺服器,相當於把io性能提升到3-5倍。

在現有文件系統下進行優化linux內核和各個文件系統採用了幾個優化方案來提升磁碟訪問速度。但這些優化方案需要在我們的伺服器設計中進行配合才能得到充分發揮。

文件系統緩存linux內核會將大部分空閑內存交給虛擬文件系統,來作為文件緩存,叫做page cache。在內存不足時,這部分內存會採用lru演算法進行淘汰。通過free命令查看內存,顯示為cached的部分就是文件緩存了。

如果能找到當前使用場景下,文件被訪問的統計特徵,針對性的寫一個淘汰演算法,可以大幅提升文件緩存的命中率。對於http正向代理來說,一個好的淘汰演算法可以用1GB內存達到lru演算法100GB內存的緩存效果。如果不打算寫一個新的淘汰演算法,一般不需要在應用層再搭一個文件cache程序來做緩存。

最小分配

最小分配的副作用是會浪費一些磁碟空間(分配了但是又沒有使用)

如果當前使用場景下小文件很多,把預分配改大就會浪費很多磁碟空間,所以這個數值要根據當前使用場景來設定。似乎要直接改源代碼才能生效,不太記得了,09年的時候改的,有興趣的同學自己google吧。

io訪問調度

如何針對性優化:io訪問調度能大幅提升io性能,前提是應用層同時發起了足夠的io訪問供linux去調度。怎樣才能從應用層同時向內核發起多個io訪問呢?方案一是用aio_read非同步發起多個文件讀寫請求。

小提示:將文件句柄設置為非阻塞時,進程還是會睡眠等待磁碟io,非阻塞對於文件讀寫是不生效的。在正常情況下,讀文件只會引入十幾毫秒睡眠,所以不太明顯;而在磁碟io極大時,讀文件會引起十秒以上的進程睡眠。詳見內核源代碼do_generic_file_read會調用lock_page_killable進入睡眠,但是不會判斷句柄的非阻塞標志。

預讀取linux內核可以預測我們「將來的讀請求」並提前將數據讀取出來。通過預讀取可以減少讀io的次數,並且減小讀請求的延時。

當文件擴大,需要分配磁碟空間時,可以不立即進行分配,而是暫存在內存中,將多次分配磁碟空間的請求聚合在一起後,再進行一次性分配。

延遲分配的副作用有幾個:1 如果應用程序每次寫數據後都通過fsync等介面進行強制刷新,延遲分配將不起作用2 延遲分配有可能間歇性引入一個較大的磁碟IO延時(因為要一次性向磁碟寫入較多數據)

如何針對性優化:

「讓每個目錄下的文件連續存儲」是一個極有價值的功能。假設一個網頁上有10張圖片,這10張圖片雖然存在10個文件中,但其實是幾乎同時被用戶訪問的。如果能讓這10張圖片存儲在連續的磁碟空間中,就能把io性能提升10倍(一次尋道就可以讀10個文件了)傳統的做法是通過拼接圖片來將這10張圖片合並到一張大圖中,再由前端將大圖切成10張小圖。有了e4defrag後,可以將需連續訪問的文件放在同一個文件夾下,再定期使用e4defrag進行磁碟整理。

實現自己的文件系統我們曾經寫過一款專用文件系統,針對代理伺服器,將磁碟io性能提升到3-5倍。在大部分伺服器上,不需要支持「修改文件」這個功能。一旦文件創建好,就不能再做修改操作,只支持讀取和刪除。在這個前提下,我們可以消滅所有文件碎片,把磁碟io效率提升到理論極限。

大於16MB的文件,伺服器創建文件時告訴文件系統分配16MB磁碟空間。後續每次擴大文件大小時,要麼是16MB,要麼就是文件終結。不允許在文件未終結的情況下分配非16MB的空間。讀寫文件時,每次讀寫16MB或者直到文件末尾。

在我們的文件系統中,小文件完全無碎片,一次尋道就能搞定一個文件,達到了理論上最佳的性能。大文件每次磁頭定位讀寫16MB,性能沒有達到100%,但已經相當好了。有一個公式可以衡量磁碟io的效率:磁碟利用率 = 傳輸時間/(平均尋道時間+傳輸時間)對我們當時採用的磁碟來說(1T 7200轉sata),16MB連續讀寫已經可以達到98%以上的磁碟利用率。

閱讀全文

與伺服器io性能提升相關的資料

熱點內容
純水機制水量多少合適 瀏覽:88
鹽城超純水一般多少錢 瀏覽:974
dw100凈水器怎麼換濾芯 瀏覽:783
scn廢水 瀏覽:231
台安縣污水處理廠屬於什麼單位 瀏覽:136
家附近污水處理場 瀏覽:51
美國純凈水器哪裡買 瀏覽:4
F0F水垢處理 瀏覽:375
污水廠細格柵池 瀏覽:117
污水處理cod數值 瀏覽:951
江蘇宜興污水處理公司 瀏覽:777
污水標准值 瀏覽:263
石材廢水處理視頻 瀏覽:270
凈化器怎麼放水視頻 瀏覽:308
水處理反硝化菌有哪些 瀏覽:378
營口市化學化工區污水處理廠 瀏覽:206
純水開水器發熱圈怎麼接線 瀏覽:814
焦化廠廢水處理該怎麼工作 瀏覽:498
原油蒸餾的三種曲線 瀏覽:162
機油濾芯需要擰到什麼程度 瀏覽:359