[發明專利]數據存儲方法、裝置、系統、計算機設備及存儲介質

有效

• 申請號: 201910494495.0
• 申請日: 2019-06-10
• 公開（公告）號: CN110188108B
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 崔秋;唐劉;朱承浩;姚婷
• 申請（專利權）人: 北京平凱星辰科技發展有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 劉冀

1.一種數據存儲方法，其特征在于，包括：

在內存中處理待存儲數據的寫入請求，并將所述待存儲數據緩存在所述內存中；

當所述內存中緩存的數據達到第一預設閾值時，將所述內存中所述待存儲數據轉換成具有索引的多層矩陣數組，存儲在預先設置在非易失性存儲設備中的矩陣存儲結構的存儲層中，所述矩陣存儲結構的存儲層為合并樹結構的首層，所述合并樹結構為鍵值存儲的數據結構；

當所述非易失性存儲設備中數據達到第二預設閾值時，對所述非易失性存儲設備中存儲的數據進行合并處理，并寫入到所述合并樹結構下一層中，其中，所述合并樹結構下一層設置在固態硬盤中，所述非易失性存儲設備與所述固態硬盤中所有存儲層構成所述合并樹結構，其中

以每個元數據單元為單位，構建具有索引的多層矩陣數組，包括：

按照所述數據單元的順序依次執行如下步驟，以構建具有索引的多層矩陣數組，其中，所述數據單元按照鍵的數值大小排序：

對當前數據單元對應的元數據單元，構建與上一個多層矩陣數組中最上層的元數據單元的索引關系，所述上一個多層矩陣數組為對當前字符串數據的上一個數據單元處理后得到的多層矩陣數組；

將所述當前數據單元對應的元數據單元加入到所述上一個多層矩陣數組中，得到新的多層矩陣數組。

2.根據權利要求1所述的數據存儲方法，其特征在于，將所述內存中所述待存儲數據轉換成具有索引的多層矩陣數組，存儲在預先設置在所述非易失性存儲設備中的矩陣存儲結構的存儲層中，包括：

按行的方式將所述待存儲數據寫入到所述矩陣存儲結構；

對于每一行的數據，建立每個數據單元對應的元數據單元；

以每個元數據單元為單位，構建具有索引的多層矩陣數組并存儲。

3.根據權利要求2所述的數據存儲方法，其特征在于，在所述多層矩陣數組中，每個元數據單元的索引指向其向下相鄰層中鍵的數值大于等于該元數據單元的所有元數據單元的最小值。

4.根據權利要求1所述的數據存儲方法，其特征在于，在構建具有索引的多層矩陣數組之后，還包括：

對所述多層矩陣數組中的數組按層進行分段處理，將第一預設數量的數組組成一數組段。

5.根據權利要求4所述的數據存儲方法，其特征在于，當所述非易失性存儲設備中數據達到第二預設閾值時，對所述非易失性存儲設備中存儲的數據進行合并處理，包括：

當非易失性存儲設備中的所述多層矩陣數組的數組層達到預設層數閾值時，將從所述多層矩陣數組的底部開始將第二預設數量的數組段組成一個組，并對每個組內的數組段進行合并；

去除合并后的每個組內的無效的數據，得到合并后的數組段；

對合并后的數組段按照原數組容量的預設倍容量進行切分，得到切分后的數組。

6.根據權利要求1所述的數據存儲方法，其特征在于，對所述非易失性存儲設備中存儲的數據進行合并處理，包括：

將所述非易失性存儲設備中所有數組存入到預先劃分出的預設空間；

將所述預設空間按照預設規則縱向切分成若干個列塊，對每個列塊中的數組分別執行合并到所述合并樹結構下一層的操作。

7.根據權利要求6所述的數據存儲方法，其特征在于，將所述預設空間按照預設規則縱向切分成若干個列塊，包括：

基于所述首層的下一層的文件范圍來劃分所述預設空間，得到所述若干個列塊，所述列塊以所述首層的下一層的文件邊界為界限，所述首層的下一層的每一個文件對應一個列塊；

其中，所述預設空間的每個列塊中的數組只與所述首層的下一層列塊范圍相同的文件進行合并。