[發明專利]實現數據預取方法及裝置

有效

• 申請號: 201410201982.0
• 申請日: 2014-05-14
• 公開（公告）號: CN103984640B
• 公開（公告）日: 2017-06-20
• 發明（設計）人: 藍文海;覃偉峰
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F12/02
• 分類號: G06F12/02;G06F17/30
• 代理公司: 北京三高永信知識產權代理有限責任公司11138
• 代理人: 羅振安

技術領域

本發明涉及計算機技術領域，特別涉及一種實現數據預取方法及裝置。

背景技術

應用服務器從存儲陣列讀取數據過程中，常常需消耗大量的時間。為了減少數據讀取所占用的大量時間，通常會進行數據預取。目前，通常采取如下所示的順序預取方式和關聯預取方式進行數據預取。

針對順序預取方式來說，存儲陣列在基于應用服務器的讀請求讀取第一數據之后，還將讀取與第一數據所在扇區相鄰的扇區中的第二數據，并將第二數據存儲在緩沖區中。后續應用服務器再發送讀請求時，若該讀請求對應的數據為第二數據，則直接將存儲在緩沖區中第二數據返回給應用服務器。

針對關聯預取方式來說，通常采用C-miner算法和QuickMine算法實現。對于C-miner算法，在存儲陣列側基于歷史請求的頻繁序列，挖掘數據之間的關聯關系，并將該關聯關系進行存儲。當接收到應用服務器發送的讀請求后，存儲陣列側根據存儲的關聯關系預讀與請求的數據相關聯的數據。對于QuickMine算法，在應用服務器側基于歷史請求的頻繁序列，挖掘數據之間的關聯關系，并將該關聯關系發送給存儲陣列。當存儲陣列接收到應用服務器發送的讀請求后，根據存儲的關聯關系預讀與請求的數據相關聯的數據。

現有的數據預取方式，由于順序預取方式中可能會出現大量并發數據，從而產生大量不同的數據序列，這樣將導致無法識別數據是否順序的，還可能存在由于數據本身比較小，所以識別數據較為困難的情況，所以該種數據預取方式效果較差；由于關聯預取方式中需根據數目眾多的頻繁序列進行關聯關系的挖掘，所以需消耗大量的時間和內存資源，該種數據預取方式的效果較差。

發明內容

為了解決現有技術的問題，本發明實施例提供了一種實現數據預取方法及裝置。所述技術方案如下：

第一方面，提供了一種實現數據預取方法，所述方法包括：

獲取所述多個文件的元數據；

解析每一個文件的元數據，得到所述每一個文件的數據存儲項的存儲地址；

根據所述每一個文件的元數據的存儲地址和數據存儲項的存儲地址，建立數據關聯關系表。

在第一方面的第一種可能的實現方式中，所述根據所述每一個文件的元數據的存儲地址和數據存儲項的存儲地址，建立數據關聯關系表，包括：

對于所述每一個文件，根據所述每一個文件的元數據的存儲地址和數據存儲項的存儲地址，建立一個數據關聯表項；

所述多個文件的元數據的存儲地址和數據存儲項的存儲地址的數據關聯表項組成所述數據關聯關系表。

結合第一方面的第一種可能的實現方式，在第一方面的第二種可能的實現方式中，所述方法還包括；

在存儲地址查詢表的所述每一個文件的元數據和數據存儲項的存儲地址中記錄所述每一個文件的元數據的存儲地址和數據存儲項的存儲地址的數據關聯表項在所述數據關聯關系表中的地址；其中，所述存儲地址查詢表是按照存儲地址順序構成的。

結合第一方面或第一方面的第一種可能的實現方式，在第一方面的第三種可能的實現方式中，所述解析所述每一個文件的元數據，還包括獲得所述每一個文件的數據存儲項的長度，則所述每一個文件的元數據的存儲地址和數據存儲項的存儲地址的數據關聯表項中還包括數據存儲項的長度。

結合第一方面、第一方面的第一種至第三種可能的實現方式，在第一方面的第四種可能的實現方式中，所述根據所述每一個文件的元數據的存儲地址和數據存儲項的存儲地址，建立數據關聯關系表之后，所述方法還包括：

當檢測到所述多個文件中任一個文件的元數據或數據存儲項發生變化時，向存儲設備發送通知消息，所述通知信息中包括變化的元數據或變化的數據存儲項，以使所述存儲設備在接收到所述通知消息后，根據所述通知消息更新變化的文件的元數據的存儲地址和數據存儲項的存儲地址的數據關聯表項。

第二方面，提供了一種實現數據預取方法，應用于存儲設備，所述存儲設備中存儲多個文件，其特征在于，所述方法包括：

接收文件讀取請求，所述文件讀取請求中包括讀取的目標數據存儲地址和目標數據長度；

查詢數據關聯關系表，確定與所述讀取的目標數據存儲地址存在關聯關系的預取數據存儲地址；

根據所述讀取的目標數據長度對所述預取數據存儲地址中的數據進行預取；

其中，所述數據關聯關系表中存儲了每一個文件的元數據的存儲地址與數據存儲項的存儲地址的關聯關系，其中，所述目標數據存儲地址和所述預取數據存儲地址為所述元數據的存儲地址和所述數據存儲項的存儲地址中的一種。