[發(fā)明專利]一種提高存儲(chǔ)系統(tǒng)數(shù)據(jù)訪問速度的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210460982.3
• 申請(qǐng)日: 2012-11-15
• 公開（公告）號(hào): CN102981979A
• 公開（公告）日: 2013-03-20
• 發(fā)明（設(shè)計(jì)）人: 葉佑群
• 申請(qǐng)（專利權(quán)）人: 上海愛數(shù)軟件有限公司
• 主分類號(hào): G06F12/08
• 分類號(hào): G06F12/08
• 代理公司: 北京德琦知識(shí)產(chǎn)權(quán)代理有限公司 11018
• 代理人: 王民盛;王麗琴

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，尤其涉及一種提高存儲(chǔ)系統(tǒng)數(shù)據(jù)訪問速度的方法。

背景技術(shù)

自從計(jì)算機(jī)發(fā)明以來，幾十年間取得飛速發(fā)展，其計(jì)算能力呈幾何級(jí)增長。伴隨著計(jì)算能力的發(fā)展，存儲(chǔ)技術(shù)無論是在容量還是在速度方面也得到了空前進(jìn)步，存儲(chǔ)介質(zhì)從磁帶、軟盤發(fā)展到機(jī)械硬盤以及固態(tài)硬盤。目前大容量數(shù)據(jù)存儲(chǔ)的主流介質(zhì)還是機(jī)械硬盤，但機(jī)械磁盤總會(huì)有其難以突破的物理極限，用戶不但要面對(duì)大規(guī)模數(shù)據(jù)存儲(chǔ)的問題，同時(shí)又要保證數(shù)據(jù)的訪問及時(shí)有效。因此用戶常常面臨速度與容量之間的取舍。

從計(jì)算機(jī)結(jié)構(gòu)上來看，數(shù)據(jù)存儲(chǔ)的位置在邏輯上距離CPU越遠(yuǎn)，數(shù)據(jù)訪問速度越慢。并且不同級(jí)之間的設(shè)備的訪問速度的差距可以達(dá)到幾個(gè)數(shù)量級(jí)的區(qū)別。內(nèi)存的訪問速度是納秒級(jí)，而磁盤訪問速度則為毫秒級(jí)。因此在內(nèi)存與磁盤之間，還有巨大的性能提升空間。存儲(chǔ)生產(chǎn)廠商也在不斷提高著機(jī)械磁盤的轉(zhuǎn)速及存儲(chǔ)密度來加大數(shù)據(jù)容量的同時(shí)提高數(shù)據(jù)的訪問性能。

提高數(shù)據(jù)存儲(chǔ)介質(zhì)的訪問速度，可以有多種辦法。例如，可以使用更加高端的存儲(chǔ)介質(zhì)，如用高轉(zhuǎn)速的機(jī)械磁盤或固態(tài)磁盤（SSD）替換低轉(zhuǎn)速的機(jī)械硬盤；或者，增加系統(tǒng)的內(nèi)存量，通過操作系統(tǒng)自身的磁盤緩沖技術(shù)來加快數(shù)據(jù)的訪問。將所有數(shù)據(jù)存儲(chǔ)在這樣的高速介質(zhì)中，固然是一個(gè)解決數(shù)據(jù)訪問速度的直接有效的方案。但是在數(shù)據(jù)量的總量很大的情況下，完全采用高端磁盤，其增加的成本將會(huì)出現(xiàn)幾倍，甚至是幾十倍的增長。除非對(duì)一些關(guān)鍵應(yīng)用，否則這樣的存儲(chǔ)方案其性價(jià)比是得不償失的，在預(yù)算有限的情況下，用戶也無法承受這樣的成本壓力。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N提高存儲(chǔ)系統(tǒng)數(shù)據(jù)訪問速度的方法，可以在保證成本不大幅上升的前提下，使存儲(chǔ)系統(tǒng)有更高的數(shù)據(jù)吞吐量。

本申請(qǐng)實(shí)施例提供的一種提高存儲(chǔ)系統(tǒng)數(shù)據(jù)訪問速度的方法，包括：

A、將源介質(zhì)和緩存介質(zhì)在邏輯上分別分成相同等份的存儲(chǔ)空間，每一份存儲(chǔ)空間稱為一個(gè)映射頁；在內(nèi)存中建立一個(gè)用于記錄源介質(zhì)的映射頁與緩存介質(zhì)的映射頁之間數(shù)據(jù)的存儲(chǔ)映射關(guān)系的重定向表，該重定向表初始為空；所述緩存介質(zhì)的存取速度大于源介質(zhì)的存取速度；

B、對(duì)文件系統(tǒng)提交到源介質(zhì)的所有請(qǐng)求進(jìn)行監(jiān)控，并判斷對(duì)源介質(zhì)的請(qǐng)求是讀請(qǐng)求還是寫請(qǐng)求，若是讀請(qǐng)求，執(zhí)行步驟C；若是寫請(qǐng)求，執(zhí)行步驟F；

C、從讀請(qǐng)求中提取讀取的位置，根據(jù)這個(gè)位置數(shù)據(jù)計(jì)算其所落入的映射頁的編號(hào)中，并使用這個(gè)編號(hào)在重定向表中進(jìn)行查詢是否有相應(yīng)的映射表項(xiàng)存在，若存在，執(zhí)行步驟D，否則執(zhí)行步驟E；

D、根據(jù)重定向表將該讀請(qǐng)求定向到緩存介質(zhì)的映射頁中，完成本次讀操作后返回步驟B；

E、將讀請(qǐng)求所落入的映射頁的數(shù)據(jù)從源介質(zhì)讀取并寫入到緩存介質(zhì)，并建立相應(yīng)的映射表項(xiàng)插入到重定向表中，使重定向表反映當(dāng)前源介質(zhì)與緩存介質(zhì)的數(shù)據(jù)的存儲(chǔ)映射關(guān)系，并將讀請(qǐng)求所要求的數(shù)據(jù)返回文件系統(tǒng)；然后返回步驟B；

F、根據(jù)寫請(qǐng)求將數(shù)據(jù)寫入到源介質(zhì)的相應(yīng)的位置，并返回步驟B。

較佳地，源介質(zhì)和緩存介質(zhì)上的每一個(gè)映射頁的大小均相等。

較佳地，映射頁大小為2的冪次方字節(jié)，最小為16KB，最大為2048KB。

較佳地，緩存介質(zhì)的容量大小為源介質(zhì)容量大小的5-20%。

較佳地，步驟A進(jìn)一步包括：指定緩存介質(zhì)的剩余可用空間的臨界值；

步驟E之后進(jìn)一步包括：

判斷緩存介質(zhì)中的剩余可用空間是否少于臨界值，若是，啟動(dòng)空間回收過程，使得回收空間與剩余可用空間的總和大于2倍所述臨界值，否則直接返回步驟B。

較佳地，步驟D進(jìn)一步包括：將所述緩存介質(zhì)的映射頁的使用頻率加1；

步驟E所述建立相應(yīng)的映射表項(xiàng)并插入到重定向表中包括：將該新分配的映射頁的使用頻率設(shè)置為1，減少一頁緩存介質(zhì)的可用空間；

所述空間回收過程包括：

E1、取得使用頻率值最小的映射頁，并將映射頁從重定向表中刪除，增加1頁緩存介質(zhì)的可用空間，同時(shí)增加1頁本次總共回收空間；

E2、判斷總共回收空間是否大于等于回收目標(biāo)值，若是則完成空間回收過程，否則返回步驟E1。

較佳地，回收目標(biāo)值設(shè)置為臨界值的2倍。

較佳地，所述臨界值為緩存介質(zhì)存儲(chǔ)容量的1%-5%。

從以上技術(shù)方案可以看出，通過捕獲向低速存儲(chǔ)介質(zhì)發(fā)起的所有輸入輸出請(qǐng)求，并將這些輸入輸出請(qǐng)求根據(jù)訪問情況重定向到高速存儲(chǔ)介質(zhì)上，進(jìn)而達(dá)到提高存儲(chǔ)系統(tǒng)數(shù)據(jù)訪問速度的目的。

附圖說明