[發(fā)明專利]加速空間大數(shù)據(jù)文件讀寫速度的方法

有效

• 申請?zhí)枺?/td>: 201310382898.9
• 申請日: 2013-08-28
• 公開（公告）號: CN103412950A
• 公開（公告）日: 2013-11-27
• 發(fā)明（設(shè)計(jì)）人: 陳華鈞;陳云路;張軍權(quán);鄭國軸;楊建華;吳朝暉
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州裕陽專利事務(wù)所(普通合伙) 33221
• 代理人: 應(yīng)圣義

1.一種加速空間大數(shù)據(jù)文件讀寫速度的方法，其特征在于，包括零復(fù)制步驟，文件緩沖步驟以及摘要校驗(yàn)步驟，其中，

零復(fù)制步驟包括，將空間大數(shù)據(jù)文件由系統(tǒng)內(nèi)核態(tài)的磁盤內(nèi)存載入內(nèi)核態(tài)的Socket緩存區(qū)域或者將空間大數(shù)據(jù)文件由內(nèi)核態(tài)的Socket緩存區(qū)域載入系統(tǒng)內(nèi)核態(tài)的磁盤內(nèi)存；

文件緩存步驟包括，根據(jù)空間大數(shù)據(jù)文件的文件信息建立緩存系統(tǒng)，所述緩存系統(tǒng)包括一個(gè)或者多個(gè)順序桶，所述順序桶包括一個(gè)順序鏈表，順序鏈表用于存放副本，副本依據(jù)空間大數(shù)據(jù)文件的權(quán)重W順序排列，所述權(quán)重W由以下方法得到：

W=C1Tmodify-Tcreate+C2Tread-TcreateC3*Sfile,]]>

其中，C₁、C₂以及C₃為系數(shù)，T_modify為順序鏈表上的文件的最近寫入時(shí)間，T_read為順序鏈表上的文件的最近讀取時(shí)間，T_create為順序鏈表上的文件的初始創(chuàng)建時(shí)間，A_file為順序鏈表上的文件的大小；

摘要校驗(yàn)步驟包括，提取于空間大數(shù)據(jù)文件的特征段，所述特征段包括位于文件首部段落、尾部段落以及隨機(jī)選取的一個(gè)或者多個(gè)段落，對特征段進(jìn)行MD5校驗(yàn)，對校驗(yàn)后的特征段進(jìn)行異或求和得到信息摘要；

還包括以下具體步驟：1）對空間大數(shù)據(jù)文件進(jìn)行讀寫訪問時(shí)，通過摘要校驗(yàn)步驟得到空間大數(shù)據(jù)文件的信息摘要，并與緩存系統(tǒng)內(nèi)的文件的信息摘要進(jìn)行比對；2）如果空間大數(shù)據(jù)文件在緩存系統(tǒng)內(nèi)存在同樣的副本，則更新副本的緩存命中信息，同時(shí)刷新副本的修改時(shí)間，更新副本的權(quán)重W，根據(jù)更新后的副本的權(quán)重W調(diào)整副本在順序鏈表的鏈接位置，通過零復(fù)制步驟對副本進(jìn)行傳輸；3）如果空間大數(shù)據(jù)文件在緩存系統(tǒng)內(nèi)不存在同樣的副本，則在緩存系統(tǒng)內(nèi)建立空間大數(shù)據(jù)文件的副本，更新副本的權(quán)重W，通過零復(fù)制步驟對副本進(jìn)行傳輸。

2.根據(jù)權(quán)利要求1所述的加速空間大數(shù)據(jù)文件讀寫速度的方法，其特征在于，所述步驟3）還包括以下具體步驟：建立副本時(shí)，如果緩存系統(tǒng)的容量超出額定最大容量，則首先通過刪除副本來釋放緩存系統(tǒng)的容量。

3.根據(jù)權(quán)利要求1所述的加速空間大數(shù)據(jù)文件讀寫速度的方法，其特征在于，所述零復(fù)制步驟中，通過DMA方式進(jìn)行載入。

4.根據(jù)權(quán)利要求1所述的加速空間大數(shù)據(jù)文件讀寫速度的方法，其特征在于，所述多個(gè)順序桶依據(jù)文件大小建立，不同大小的文件副本裝入不同的順序桶內(nèi)。