[發明專利]讀取小文件的方法、裝置和設備及計算機可讀存儲介質

在審

• 申請號: 201710817696.0
• 申請日: 2017-09-12
• 公開（公告）號: CN107562915A
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 張書揚
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 羅滿

技術領域

本發明涉及分布式存儲系統領域，特別是涉及一種讀取小文件的方法，還涉及一種讀取小文件的裝置及設備，也涉及一種存儲有計算機程序的計算機可讀存儲介質。

背景技術

分布式存儲系統，是將數據分散存儲在多臺獨立的設備上，以降低網絡壓力，具有較高的可靠性和安全性。在存儲系統中，小文件場景則是需要考慮的核心場景之一，例如，在一些社交購物網站、廣電、網絡視頻中，都會產生文本、圖片、音樂等大量的小文件場景。因此小文件的性能問題是文件系統需要考慮的關鍵問題之一。

在小文件場景下，文件數量眾多，磁盤占用率較高；在操作時需要一次寫入，多次讀寫，因此文件操作較為頻繁。在現有技術中，每個小文件進行讀取時，都需要調用一次數據讀取接口，執行一次全讀流程，磁盤讀數據壓力較大。當需要大量讀取小文件時，則需要頻繁調用所述數據讀取接口，小文件讀取IO路徑較長，且分析元數據、讀數據耗時較長，在此種情況下，小文件的讀取效率大大降低。

因此，如何縮短小文件的讀取IO路徑，提高小文件的讀取效率，是本領域技術人員需要解決的技術問題。

發明內容

本發明的目的是提供一種讀取小文件的方法，該方法能夠縮短小文件的讀取IO路徑，提高小文件的讀取效率；本發明的另一目的是提供一種讀取小文件的裝置和設備，均具有上述有益效果；本發明的另一目的是提供一種存儲有計算機程序的計算機可讀存儲介質，也具有上述有益效果。

為解決上述技術問題，本發明提供一種讀取小文件的方法，包括：

根據目標小文件的索引節點，判斷緩存中是否存在所述目標小文件；

若存在，則直接讀取所述目標小文件；

若不存在，則獲取包含所述目標小文件的聚合文件，將所述聚合文件中的目標小文件讀取至所述緩存，在所述緩存中讀取所述目標小文件。

優選的，所述獲取包含所述目標小文件的聚合文件，將所述聚合文件中的目標小文件讀取至所述緩存，在所述緩存中讀取所述目標小文件包括：

根據所述目標小文件的索引節點，獲取所述目標小文件在所述聚合文件中的偏移量，根據所述偏移量計算得出聚合對象；

調用數據讀取接口，將所述聚合對象讀取至所述緩存；

根據所述偏移量計算得出所述目標小文件在所述聚合對象中的起始位置和數據長度，根據所述起始位置和數據長度讀取所述目標小文件。

優選的，該方法還包括：

讀取所述目標小文件之前，為所述目標小文件設置讀寫互斥的讀鎖；

讀取所述目標小文件之后，解除所述讀鎖。

優選的，該方法還包括：

將讀取的所述目標小文件發送給用戶。

為解決上述技術問題，本發明還提供一種讀取小文件的裝置，包括：

判斷模塊，用于根據目標小文件的索引節點，判斷緩存中是否存在所述目標小文件；

第一讀取模塊，用于當所述目標小文件存在時，直接讀取所述目標小文件；

第二讀取模塊，用于當所述目標小文件不存在時，獲取包含所述目標小文件的聚合文件，將所述聚合文件中的目標小文件讀取至所述緩存，在所述緩存中讀取所述目標小文件。

優選的，所述第二讀取模塊包括：

獲取子模塊，用于從所述聚合文件中獲取包含所述目標小文件的聚合對象；

第一讀取子模塊，用于將所述聚合對象讀取至所述緩存；

第二讀取子模塊，用于從所述聚合對象中讀取所述目標小文件。

優選的，該裝置還包括：

上鎖模塊，用于在讀取所述目標小文件之前，為所述目標小文件設置讀寫互斥的讀鎖；

解鎖模塊，用于在讀取所述目標小文件之后，解除所述讀鎖。

優選的，該裝置還包括：

發送模塊，用于將讀取的所述目標小文件發送給用戶。

為解決上述技術問題，本發明還提供一種讀取小文件的裝置，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序時實現上述任一種讀取小文件的方法的步驟。

為解決上述技術問題，本發明還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現上述任一種讀取小文件的方法的步驟。