[發(fā)明專利]一種數(shù)據(jù)復(fù)用方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 201910695998.4
• 申請日: 2019-07-30
• 公開（公告）號(hào): CN110413568A
• 公開（公告）日: 2019-11-05
• 發(fā)明（設(shè)計(jì)）人: 賴梓昌;田勇;李理
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F16/11
• 分類號(hào): G06F16/11;G06F16/13;G06F16/172;G06F16/18;G06F16/182
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種數(shù)據(jù)復(fù)用方法，其特征在于，所述方法包括：

通過同步日志模塊存儲(chǔ)用戶發(fā)送的寫入請求；其中，所述寫入請求中包括：當(dāng)前寫入數(shù)據(jù)和所述當(dāng)前寫入數(shù)據(jù)的編號(hào)；

將所述當(dāng)前寫入數(shù)據(jù)存儲(chǔ)到存儲(chǔ)引擎模塊的當(dāng)前數(shù)據(jù)文件中，并為所述當(dāng)前數(shù)據(jù)文件硬鏈出與其對應(yīng)的當(dāng)前影子文件；

根據(jù)所述當(dāng)前寫入數(shù)據(jù)的編號(hào)和所述當(dāng)前影子文件在所述同步日志模塊中建立所述當(dāng)前寫入數(shù)據(jù)的第一索引信息；其中，第一索引信息用于根據(jù)所述當(dāng)前寫入數(shù)據(jù)的編號(hào)讀取所述當(dāng)前寫入數(shù)據(jù)；

所述當(dāng)前寫入數(shù)據(jù)提交之后在所述存儲(chǔ)引擎模塊中為所述當(dāng)前寫入數(shù)據(jù)建立第二索引信息；其中，所述第二索引信息用于提供所述當(dāng)前寫入數(shù)據(jù)的查詢服務(wù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

根據(jù)所述存儲(chǔ)引擎模塊中預(yù)先確定的各個(gè)歷史寫入數(shù)據(jù)的版本信息和預(yù)先獲取的內(nèi)存查找表，判斷各個(gè)歷史寫入數(shù)據(jù)是否為有效的寫入數(shù)據(jù)；

若各個(gè)歷史寫入數(shù)據(jù)為有效的寫入數(shù)據(jù)，將各個(gè)歷史寫入數(shù)據(jù)和各個(gè)歷史寫入數(shù)據(jù)的第二索引信息，從所述存儲(chǔ)引擎模塊的原目錄下切換到所述存儲(chǔ)引擎模塊的目標(biāo)目錄下。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將各個(gè)歷史寫入數(shù)據(jù)和各個(gè)歷史寫入數(shù)據(jù)的第二索引信息，從所述存儲(chǔ)引擎模塊的原目錄下切換到所述存儲(chǔ)引擎模塊的目標(biāo)目錄下，包括：

若各個(gè)歷史寫入數(shù)據(jù)為已提交的寫入數(shù)據(jù)，在所述存儲(chǔ)引擎模塊的目標(biāo)目錄下存儲(chǔ)各個(gè)歷史寫入數(shù)據(jù)和各個(gè)歷史寫入數(shù)據(jù)的第二索引信息；在所述存儲(chǔ)引擎模塊的原目錄下刪除各個(gè)歷史寫入數(shù)據(jù)和各個(gè)歷史寫入數(shù)據(jù)的第二索引信息；

若各個(gè)歷史寫入數(shù)據(jù)為未提交的寫入數(shù)據(jù)，在所述存儲(chǔ)引擎模塊的目標(biāo)目錄下硬鏈接原目錄下的各個(gè)歷史數(shù)據(jù)文件，同時(shí)更新各個(gè)影子文件與各個(gè)歷史數(shù)據(jù)文件的映射關(guān)系。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

通過同步日志模塊存儲(chǔ)所述用戶發(fā)送的讀取請求；其中，所述讀取請求中包括：所述當(dāng)前寫入數(shù)據(jù)的編號(hào)；

根據(jù)所述當(dāng)前寫入數(shù)據(jù)的編號(hào)，在所述同步日志模塊中獲取所述當(dāng)前寫入數(shù)據(jù)的第一索引信息；

根據(jù)所述當(dāng)前寫入數(shù)據(jù)的第一索引信息，確定出所述當(dāng)前寫入數(shù)據(jù)在所述存儲(chǔ)引擎模塊中的影子文件名稱及相應(yīng)的偏移和長度；

根據(jù)所述影子文件名稱及相應(yīng)的偏移和長度在所述存儲(chǔ)引擎模塊中讀取所述當(dāng)前寫入數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一索引信息包括至少一個(gè)起始編號(hào)start_id；各個(gè)start_id包括至少一個(gè)日志文件di_file；各個(gè)di_file包括至少一個(gè)日志項(xiàng)di_entry和全部di_entry的日志項(xiàng)索引index；各個(gè)di_entry包括：標(biāo)記magic_num、類型type、日志項(xiàng)數(shù)據(jù)data、校驗(yàn)值crc；所述data包括：請求頭和索引信息；所述索引信息包括：影子文件名稱、偏移量和長度；所述第二索引信息包括：至少一個(gè)存儲(chǔ)單元；各個(gè)存儲(chǔ)單元包括：原目錄和目標(biāo)目錄；所述原目錄和所述目標(biāo)目錄分別包括：0-64個(gè)索引校驗(yàn)indexcrc；0-64個(gè)索引index；0-63個(gè)數(shù)據(jù)data；各個(gè)data對應(yīng)設(shè)置一個(gè)影子文件；所述影子文件包括：影子文件名稱filename、偏移offset和長度len。

6.一種數(shù)據(jù)復(fù)用裝置，其特征在于，所述裝置包括：第一存儲(chǔ)模塊、第二存儲(chǔ)模塊、第一建立模塊和第二建立模塊；其中，

所述第一存儲(chǔ)模塊，用于通過同步日志模塊存儲(chǔ)用戶發(fā)送的寫入請求；其中，所述寫入請求中包括：當(dāng)前寫入數(shù)據(jù)和所述當(dāng)前寫入數(shù)據(jù)的編號(hào)；

所述第二存儲(chǔ)模塊，用于將所述當(dāng)前寫入數(shù)據(jù)存儲(chǔ)到存儲(chǔ)引擎模塊的當(dāng)前數(shù)據(jù)文件中，并為所述當(dāng)前數(shù)據(jù)文件硬鏈出與其對應(yīng)的當(dāng)前影子文件；

所述第一建立模塊，用于根據(jù)所述當(dāng)前寫入數(shù)據(jù)的編號(hào)和所述當(dāng)前影子文件在所述同步日志模塊中建立所述當(dāng)前寫入數(shù)據(jù)的第一索引信息；其中，第一索引信息用于根據(jù)所述當(dāng)前寫入數(shù)據(jù)的編號(hào)讀取所述當(dāng)前寫入數(shù)據(jù)；

所述第二建立模塊，用于所述當(dāng)前寫入數(shù)據(jù)提交之后在所述存儲(chǔ)引擎模塊中為所述當(dāng)前寫入數(shù)據(jù)建立第二索引信息；其中，所述第二索引信息用于提供所述當(dāng)前寫入數(shù)據(jù)的查詢服務(wù)。