[發(fā)明專利]數(shù)據(jù)備份方法及裝置、存儲介質及電子設備

在審

• 申請?zhí)枺?/td>: 202110801387.0
• 申請日: 2021-07-15
• 公開（公告）號: CN113535478A
• 公開（公告）日: 2021-10-22
• 發(fā)明（設計）人: 任正國;林佩航;方子揚;羅印威;楊濟嘉;關雨晗;陳曉帆
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/174;G06F16/178;G06F16/182
• 代理公司: 北京律智知識產(chǎn)權代理有限公司 11438
• 代理人: 孫寶海;袁禮君

本公開提供了一種數(shù)據(jù)備份方法、裝置、電子設備及存儲介質，涉及計算機技術領域。該方法包括：獲取數(shù)據(jù)備份請求，根據(jù)所述數(shù)據(jù)備份請求確定待備份數(shù)據(jù)、源庫和目標庫；使用雙重并行技術將所述源庫中的待備份數(shù)據(jù)同步至所述目標庫中，在所述目標庫中生成同步后數(shù)據(jù)；對所述同步后數(shù)據(jù)進行壓縮處理，生成備份數(shù)據(jù)。該方法能夠使用雙重并行技術靈活高效地將海量數(shù)據(jù)從業(yè)務數(shù)據(jù)庫傳輸至備份數(shù)據(jù)庫并及時進行壓縮處理，從而實現(xiàn)海量數(shù)據(jù)的高效備份。

技術領域

本公開涉及計算機技術領域，尤其涉及一種數(shù)據(jù)備份方法及裝置、存 儲介質及電子設備。

背景技術

隨著業(yè)務數(shù)據(jù)的快速增長，本地的業(yè)務數(shù)據(jù)庫每天都會產(chǎn)生大量的 結構化數(shù)據(jù)，由于本地存儲空間有限，且需要應對機房停電、服務器宕 機等特殊情況而導致的數(shù)據(jù)丟失問題，因此需要及時將這些數(shù)據(jù)傳輸給 外部系統(tǒng)。現(xiàn)有的數(shù)據(jù)同步方法或數(shù)據(jù)備份方法無法適用于海量數(shù)據(jù)的 靈活高效傳輸，進而也無法及時快速地對備份數(shù)據(jù)做壓縮加密處理來保 護數(shù)據(jù)的安全性。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公 開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現(xiàn) 有技術的信息。

發(fā)明內容

本公開的目的在于提供一種數(shù)據(jù)備份方法、裝置、電子設備及存儲 介質，能夠靈活高效地將海量數(shù)據(jù)從業(yè)務數(shù)據(jù)庫傳輸至備份數(shù)據(jù)庫并及 時進行壓縮處理，實現(xiàn)海量數(shù)據(jù)的高效備份。

本公開的其他特性和優(yōu)點將通過下面的詳細描述變得顯然，或部分 地通過本公開的實踐而習得。

根據(jù)本公開的一個方面，提供一種數(shù)據(jù)備份方法，包括：

獲取數(shù)據(jù)備份請求，根據(jù)數(shù)據(jù)備份請求確定待備份數(shù)據(jù)、源庫和目標 庫；使用雙重并行技術將源庫中的待備份數(shù)據(jù)同步至目標庫中，在目標庫 中生成同步后數(shù)據(jù)；對同步后數(shù)據(jù)進行壓縮處理，生成備份數(shù)據(jù)。

在本公開一個實施例中，源庫的類型和目標庫的類型為分布式數(shù)據(jù)庫； 源庫包括：分布式MySQL、分布式數(shù)據(jù)庫中間件和分布式Oracle數(shù)據(jù)庫中 的一種；目標庫的類型包括：分布式關系型數(shù)據(jù)庫、分布式文件系統(tǒng)和非結 構化數(shù)據(jù)庫中的一種。

在本公開一個實施例中，根據(jù)數(shù)據(jù)備份請求確定待備份數(shù)據(jù)，包括：根 據(jù)數(shù)據(jù)備份請求中指示的數(shù)據(jù)標識范圍確定待備份數(shù)據(jù)；和/或，根據(jù)數(shù)據(jù) 備份請求中指示的時間范圍確定待備份數(shù)據(jù)。

在本公開一個實施例中，使用雙重并行技術將源庫中的待備份數(shù)據(jù)同 步至目標庫中，包括：根據(jù)待備份數(shù)據(jù)、源庫和目標庫，確定用于同步的表 映射關系；根據(jù)表映射關系，從源庫中抽取待備份數(shù)據(jù)，以使用雙重并行技 術將待備份數(shù)據(jù)寫入目標庫。

在本公開一個實施例中，根據(jù)表映射關系，從源庫中抽取待備份數(shù)據(jù)， 以使用雙重并行技術將待備份數(shù)據(jù)寫入目標庫，包括：根據(jù)表映射關系，將 源庫中的待備份數(shù)據(jù)拆分為多個數(shù)據(jù)表；將多個數(shù)據(jù)表批量抽取至多個阻 塞隊列，以利用多個阻塞隊列實現(xiàn)多個數(shù)據(jù)表的并行寫入；其中，對于每一 阻塞隊列中的數(shù)據(jù)表，利用通用對象池在目標庫中批量創(chuàng)建與數(shù)據(jù)表對應 的多個文件，以將每一阻塞隊列中的數(shù)據(jù)表并行寫入到多個文件中。

在本公開一個實施例中，生成同步后數(shù)據(jù)，包括：將目標庫中所有數(shù)據(jù) 表對應的所有寫入完畢的文件，作為同步后數(shù)據(jù)；以及，在生成同步后數(shù)據(jù) 之后，還包括：生成同步后數(shù)據(jù)的文件清單。

在本公開一個實施例中，在對同步后數(shù)據(jù)進行壓縮處理之前，還包括： 根據(jù)文件清單確認待備份數(shù)據(jù)完整同步至目標庫中；以及，對同步后數(shù)據(jù) 進行壓縮處理，生成備份數(shù)據(jù)，包括：提取文件中的數(shù)據(jù)內容，基于合并策 略進行數(shù)據(jù)合并以生成相應的目標文件；對目標文件進行加密，將加密后 的目標文件作為備份數(shù)據(jù)存儲至災備系統(tǒng)。

根據(jù)本公開的另一個方面，提供一種數(shù)據(jù)備份裝置，包括：