[發明專利]一種數據和日志一體化的值日志實現方法、裝置、設備及存儲介質

在審

• 申請號: 202110728025.3
• 申請日: 2021-06-29
• 公開（公告）號: CN113419937A
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 付新;王學海;姜久文
• 申請（專利權）人: 達夢數據技術（江蘇）有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F16/23;G06F16/2455;G06F16/28
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 王安琪

1.一種數據和日志一體化的值日志實現方法，其特征在于，包括如下步驟：

(1)數據處理系統中的工作線程或進程解析接收到的操作請求，確定操作類型；

(2)當操作類型是數據更新操作時，工作線程或進程將刪除、修改操作都轉化為插入操作；

(3)工作線程或進程在內存中執行插入操作并在內存中生成和最終寫入到磁盤存儲設備的相同格式的物理記錄，隨后將內存中的物理記錄直接寫入到值日志文件，或先寫入到值日志緩沖區，等待寫盤線程或進程刷盤，待刷盤完成后，把操作結果發送給客戶端；

(4)啟用值日志緩沖區時，寫盤線程或進程不斷將值日志緩沖區的物理記錄順序寫入到值日志文件末尾，并通知工作線程或進程完成刷盤任務。

2.如權利要求1所述的數據和日志一體化的值日志實現方法，其特征在于，步驟(2)中，數據更新操作包括插入、刪除和修改。

3.如權利要求1所述的數據和日志一體化的值日志實現方法，其特征在于，步驟(2)中，工作線程或進程將刪除、修改操作都轉化為插入操作具體為：將刪除操作轉化為插入一條含有鍵和刪除標記的記錄，修改操作轉化為插入一條含有鍵和刪除標記的記錄和插入一條新的修改后的記錄，使得整個系統中所有的數據更新操作都變成了插入操作。

4.一種數據和日志一體化的值日志實現裝置，其特征在于，包括：

操作解析模塊，負責解析接收到的操作請求，確定操作類型；

操作轉化模塊，用于對數據更新操作進行轉化；

執行模塊，完成數據插入操作，并在內存中生成和最終值日志文件中格式一致的物理記錄；之后選擇將物理記錄直接寫入到值日志文件尾部，或者先寫入到值日志緩沖區，然后由專門的值日志寫入模塊負責把值日志緩沖區中的物理記錄寫入到值日志文件，完成刷盤后，把操作結果發送給客戶端；

值日志緩沖區模塊，用于緩存數據更新操作生成的物理記錄；執行模塊生成內存中的物理記錄后，可以選擇把物理記錄寫入到值日志緩沖區。

值日志寫入模塊，寫盤線程不斷將值日志緩沖區的物理記錄順序寫入到值日志文件末尾，并通知工作線程/進程刷盤任務完成。

5.如權利要求4所述的數據和日志一體化的值日志實現裝置，其特征在于，操作轉化模塊用于對數據更新操作進行轉化具體為：當操作類型是數據更新操作時，操作轉化模塊將刪除、修改操作都轉化為插入操作，將刪除操作轉化為插入一條含有鍵和刪除標記的記錄，修改操作轉化為插入一條含有鍵和刪除標記的記錄和插入一條新的修改后的記錄。

6.如權利要求4所述的數據和日志一體化的值日志實現裝置，其特征在于，數據更新操作包括插入、刪除和修改。

7.一種數據和日志一體化的值日志實現設備，其特征在于，包括：一個或多個處理器；

存儲裝置，用于存儲一個或多個程序、用戶數據；

當所述一個或多個程序被一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1至3任一所述的數據和日志一體化的值日志實現方法。

8.一種數據和日志一體化的值日志實現存儲介質，其特征在于，其上存儲有計算機程序，該程序被處理器執行時實現如權利要求1至3中任一所述的一種數據和日志一體化的值日志實現方法。