[發明專利]利用日志結構合并樹將數據寫入的存儲設備及其方法

有效

• 申請號: 201710538198.2
• 申請日: 2017-07-04
• 公開（公告）號: CN109213432B
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 吳章玲
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;李稷芳

本發明提供利用日志結構合并樹將數據寫入存儲設備的方法以及存儲設備，存儲設備包含控制器和硬盤，該方法包括：所述控制器將第一寫請求寫入所述硬盤的第一邏輯層中的第一日志表以及所述控制器的內存中的第一數據寫入表；其中，所述第一寫請求攜帶第一鍵值對，所述第一邏輯層用于存儲最新的日志表；所述第一數據寫入表和所述第一日志表屬于第一日志結構合并樹。

技術領域

本發明涉及數據處理技術，尤其涉及利用日志結構合并樹將數據寫入的存儲設備及其方法。

背景技術

近年來，隨著NoSQL數據庫(如BigTable系統)的流行，LSM樹(Log StructuredMerge Trees，日志結構合并樹)被人們熟知。LSM樹是數據庫的底層索引結構，LSM樹的思想是將對數據的修改保存在控制器的內存中，為保證數據可靠性，還會同時向硬盤寫日志(無序)，當內存數據達到一定容量限制以后，再批量、有序地將修改的數據寫入硬盤，從而提升寫性能。

其中，數據要先寫入硬盤的日志和控制器的內存，當內存中數據達到一定容量以后，將需要將內存中的數據寫入表進行合并形成合并數據表(SST，Sorted String Table)，即，排序的字符串表，并存儲到硬盤的第一邏輯層(L0層)中，因此增加了對硬盤的IO(input/output，輸入輸出)次數。

發明內容

一方面，本發明實施例提供一種利用日志結構合并樹將數據寫入存儲設備的方法，該存儲設備包含控制器和硬盤。該方法包括：控制器接收第一寫請求，其中，第一寫請求攜帶第一鍵值對；將第一寫請求的數據寫入硬盤的第一邏輯層中的第一日志表以及控制器的內存中的第一數據寫入表；其中，第一邏輯層用于存儲最新的日志表，并且第一數據寫入表和第一日志表屬于第一日志結構合并樹。本發明實施例提供的第一日志表持久化存儲在第一邏輯層，并且與第一數據寫入表內容相同。因此不再需要將內存中的數據寫入表寫到第一邏輯層，減少了對硬盤的IO次數。進一步的，由于第一數據寫入表和第一日志表屬于第一日志結構合并樹，因此不會影響與其他日志結構合并樹的并發性能。進一步的，當第一數據寫入表的容量達到預定值時，控制器將第一數據寫入表轉為第一只讀數據表，將第一日志表轉為第二日志表，其中，第二日志表屬于第一日志結構合并樹。

進一步的，控制器讀取所述第一邏輯層中的多個需合并的日志表；其中，多個需合并的日志表包含第二日志表。接著將多個需合并的志表合并得到合并數據表，并將合并數據表存儲到硬盤的第二邏輯層。

進一步的，其中，當內存中的存儲容量達到內存預定值時，控制器刪除內存中的第二只讀數據表。其中，第二只讀數據表是內存中最早被轉換得到的第一只讀數據表。其中，第二只讀數據表屬于第一日志結構合并樹。如此，可以釋放內存空間，確保后續寫入的數據可以存儲在內存中。

進一步的，控制器為第一寫請求在第一索引表中創建索引項，其中，當第一數據寫入表的容量達到預定值時，將第一索引表轉為第二索引表。

進一步的，控制器讀取第一邏輯層中的多個需合并的日志表具體包括：從內存讀取第一只讀數據表，并根據第二索引表從第一邏輯層中讀取與第二只讀數據表對應的日志表。

進一步的，所述控制器接收第二寫請求；其中，第二寫請求攜帶第二鍵值對；控制器將第二寫請求寫入硬盤的第一邏輯層中的第三日志表以及內存中的第二數據寫入表；其中，第二寫請求攜帶第二鍵值對；第二數據寫入表和第三日志表屬于第二日志結構合并樹。

由于第一數據寫入表和第一日志表屬于第一日志結構合并樹，第二數據寫入表和第三日志表屬于第二日志結構合并樹，因此，可以利用多個日志結構合并樹將數據并行寫入。