[發明專利]文件存儲方法、裝置、電子設備和計算機可讀介質

在審

• 申請號: 202210148329.7
• 申請日: 2022-02-17
• 公開（公告）號: CN114647379A
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 陳松玉
• 申請（專利權）人: 北京京東振世信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京唯智勤實知識產權代理事務所(普通合伙) 11557
• 代理人: 史立狀

本公開的實施例公開了文件存儲方法、裝置、電子設備和計算機可讀介質。該方法的一具體實施方式包括：響應于接收到用戶輸入的數據文件，根據預設的容量閾值和數據文件的數據容量，對數據文件進行切分；對于至少一個數據塊中的每個數據塊和目標從節點序列中的第一個目標從節點，響應于數據塊的存儲類型為第一存儲類型，將數據塊存儲至第一個目標從節點的第一存儲資源池中；響應于數據塊的存儲類型為第二存儲類型，將數據塊存儲至第一個目標從節點的第二存儲資源池中。該實施方式與大數據有關，實現了對數據文件的分類存儲，提高了對小型數據文件的讀取速率。

技術領域

本公開的實施例涉及計算機技術領域，具體涉及文件存儲方法、裝置、電子設備和計算機可讀介質。

背景技術

隨著大數據技術的飛速發展，數據呈現出一種爆炸式增長態勢。目前，Hadoop系統對于數據文件的存儲方式，通常采用的是：將數據文件存儲在機械硬盤中。

然而，采用上述存儲方法通常會存在以下技術問題：未對數據文件進行分類存儲，當機械硬盤中存儲的小型數據文件(小型數據文件可以是指數據文件的數據容量小于預設容量的文件)的數量較多時，導致系統對小型數據文件的讀取速率降低，在訪問量較多時，容易造成系統的卡頓。

發明內容

本公開的內容部分用于以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。本公開的內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。

本公開的一些實施例提出了文件存儲方法、裝置、電子設備和計算機可讀介質，來解決以上背景技術部分提到的技術問題中的一項或多項。

第一方面，本公開的一些實施例提供了一種文件存儲方法，該方法包括：響應于接收到用戶輸入的數據文件，根據預設的容量閾值和上述數據文件的數據容量，對上述數據文件進行切分，得到至少一個數據塊；對于上述至少一個數據塊中的每個數據塊和目標從節點序列中的第一個目標從節點，執行如下存儲步驟：響應于上述數據塊的存儲類型為第一存儲類型，將上述數據塊存儲至上述第一個目標從節點的第一存儲資源池中；響應于上述數據塊的存儲類型為第二存儲類型，將上述數據塊存儲至上述第一個目標從節點的第二存儲資源池中。

可選地，上述方法還包括：響應于檢測到從節點集中從節點的第一存儲資源池滿足資源合并條件，將上述從節點集所對應的第一存儲資源池中滿足上述資源合并條件的第一存儲資源池確定為第一備選存儲資源池，得到第一備選存儲資源池組；對于上述第一備選存儲資源池組中的每個第一備選存儲資源池，執行如下處理步驟：將上述第一備選存儲資源池所存儲的各個數據塊的文件信息發送至預設的中轉服務器中，其中，上述文件信息包括文件名稱、文件類型和訪問頻次，上述中轉服務器用于讀取訪問頻次小于等于預設頻次的數據塊，以及根據數據塊的文件類型，對讀取的數據塊進行分類合并。

可選地，上述處理步驟還包括：響應于接收到上述中轉服務器發送的合并數據文件和對應上述合并數據文件的索引信息，將上述從節點集中對應的從節點剩余存儲空間容量最大的從節點確定為第一目標從節點；將上述合并數據文件存儲至上述第一目標從節點的第二存儲資源池中。

可選地，上述處理步驟還包括：響應于上述合并數據文件存儲完成，刪除上述索引信息對應的各個元數據信息；響應于上述合并數據文件存儲完成，刪除上述合并數據文件對應的從節點中的第一存儲資源池中的各個數據塊。

可選地，上述存儲步驟還包括：響應于存儲成功，將上述數據塊備份至去除了上述第一個目標從節點的目標從節點序列中的各個目標從節點中。