[發明專利]加速空間大數據文件讀寫速度的方法

有效

• 申請號: 201310382898.9
• 申請日: 2013-08-28
• 公開（公告）號: CN103412950A
• 公開（公告）日: 2013-11-27
• 發明（設計）人: 陳華鈞;陳云路;張軍權;鄭國軸;楊建華;吳朝暉
• 申請（專利權）人: 浙江大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州裕陽專利事務所(普通合伙) 33221
• 代理人: 應圣義

技術領域

本發明涉及計算機數據傳輸領域，特別涉及一種加速空間大數據文件讀寫速度的方法。

背景技術

隨著信息技術的不斷發展，海量數據的存儲系統占據了舉足輕重的地位。對于當今時代，數據量每分每秒都在以幾何級別增長的趨勢下，能夠應對海量數據下的快速讀寫成為了最為關鍵的討論話題。在高速的海量數據讀寫環境下，如何保證數據的可靠存儲能力，隱私安全保護能力，以及移動可擴展性成為了尤其重要的話題。

在空間大數據的存儲系統中，其讀寫速度直接決定了系統的整體響應時間。最直接影響大文件的讀寫速度的是磁盤讀寫方式，通過磁盤讀寫速度的測試，可以得到傳統的磁盤順序讀寫速度可以達到100MB/s，但是實際的網絡傳輸速度卻遠遠不能達到這個速度，究其原因是大文件從磁盤讀入內核態緩存，再到用戶態緩存，最后再次切到內核態Socket緩存內，問題就在于多了一份副本復制拷貝的時間。

傳統的網絡文件讀寫方式，為直接在磁盤上找到需求的文件地址，然后載入內存，然后再以傳統的網絡傳輸方式發送到客戶端。如果是對于文件的單次需求是沒有問題的，但是在空間大數據的處理模式下，對于文件的訪問讀寫是隨機的、重復的、往往是讀寫集中式的。所以對于空間大數據系統內的文件作一個讀寫緩沖區，如果文件已經被訪問過，那么文件就會存在于緩存區，緩存區的文件可以直接載入網絡發送緩存區內。這樣就能夠使文件的整體響應接受時間縮短，達到提速的效果。

在傳統的文件上傳模式中，無論文件大小內容和特征是什么，文件都將根據數據傳輸上傳到服務器端，這樣對于一些大文件的上傳無疑是非常耗時的。在空間大數據模型下，上傳的數據文件是非常有可能重復或者某一段數據有所重復。

有鑒于上述問題，在實際的應用過程中，需要研發一種具有更快的傳輸速度的數據傳輸方法。

發明內容

本發明針對現有技術所存在的缺點，提供了一種加速空間大數據文件讀寫速度的方法。

為實現上述目的，本發明可采取下述技術方案：

加速空間大數據文件讀寫速度的方法，包括零復制步驟，文件緩沖步驟以及摘要校驗步驟，其中，

零復制步驟包括，將空間大數據文件由系統內核態的磁盤內存載入內核態的Socket緩存區域；

文件緩存步驟包括，根據空間大數據文件的文件信息建立緩存系統，所述緩存系統包括一個或者多個順序桶，所述順序桶包括一個順序鏈表，順序鏈表用于存放副本，副本依據空間大數據文件的權重W順序排列，所述權重W由以下方法得到：

W=C1Tmodify-Tcreate+C2Tread-TcreateC3*Sfile,]]>

其中，C₁、C₂以及C₃為系數，T_modify為順序鏈表上的文件的最近寫入時間，T_read為順序鏈表上的文件的最近讀取時間，T_create為順序鏈表上的文件的初始創建時間，S_file為順序鏈表上的文件的大小；

摘要校驗步驟包括，提取于空間大數據文件的特征段，所述特征段包括位于文件首部段落、尾部段落以及隨機選取的一個或者多個段落，對特征段進行MD5校驗，對校驗后的特征段進行異或求和得到信息摘要；