[發(fā)明專利]Hive數(shù)據(jù)倉庫同步方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010084651.9
• 申請日: 2020-02-10
• 公開（公告）號(hào): CN111241203B
• 公開（公告）日: 2022-10-04
• 發(fā)明（設(shè)計(jì)）人: 韓文欣;董延峰
• 申請（專利權(quán)）人: 江蘇滿運(yùn)軟件科技有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/22;G06F16/178
• 代理公司: 上海隆天律師事務(wù)所 31282
• 代理人: 鐘宗

1.一種Hive數(shù)據(jù)倉庫同步方法，用于將源Hive數(shù)據(jù)倉庫中的元數(shù)據(jù)同步至目標(biāo)Hive數(shù)據(jù)倉庫，且將源文件系統(tǒng)中的數(shù)據(jù)文件同步至目標(biāo)文件系統(tǒng)，其特征在于，所述方法包括以下步驟：

S10，獲取所述源Hive數(shù)據(jù)倉庫的存儲(chǔ)路徑信息，判斷所述源文件系統(tǒng)中是否存在與所述存儲(chǔ)路徑信息對應(yīng)的文件存儲(chǔ)目錄；

S20，若所述源文件系統(tǒng)存在所述文件存儲(chǔ)目錄，則生成元數(shù)據(jù)掃描任務(wù)；

S30，接收所述元數(shù)據(jù)掃描任務(wù)，基于所述元數(shù)據(jù)掃描任務(wù)判斷所述目標(biāo)Hive數(shù)據(jù)倉庫中是否存在與所述源Hive數(shù)據(jù)倉庫中元數(shù)據(jù)記錄的表ID匹配的第二元數(shù)據(jù)；

S40，若所述目標(biāo)Hive數(shù)據(jù)倉庫中存在所述第二元數(shù)據(jù)，判斷所述源Hive數(shù)據(jù)倉庫的元數(shù)據(jù)和所述目標(biāo)Hive數(shù)據(jù)倉庫中的第二元數(shù)據(jù)是否相同；若不同或者所述目標(biāo)Hive數(shù)據(jù)倉庫中不存在所述第二元數(shù)據(jù)，則生成同步任務(wù)數(shù)據(jù)，并將所述同步任務(wù)數(shù)據(jù)序列化為同步任務(wù)序列；所述同步任務(wù)數(shù)據(jù)包含有數(shù)據(jù)文件同步任務(wù)數(shù)據(jù)和元數(shù)據(jù)同步任務(wù)數(shù)據(jù)；

S50，接收所述同步任務(wù)序列，對所述同步任務(wù)序列進(jìn)行反序列化，得到所述同步任務(wù)數(shù)據(jù)；

S70，基于所述同步任務(wù)數(shù)據(jù)中的所述數(shù)據(jù)文件同步任務(wù)數(shù)據(jù)執(zhí)行數(shù)據(jù)文件同步任務(wù)，將源文件系統(tǒng)中的數(shù)據(jù)文件同步至目標(biāo)文件系統(tǒng)；

S80，判斷所述數(shù)據(jù)文件同步任務(wù)是否執(zhí)行完成，若是則基于所述同步任務(wù)數(shù)據(jù)中的所述元數(shù)據(jù)同步任務(wù)數(shù)據(jù)執(zhí)行元數(shù)據(jù)同步任務(wù)，將源Hive數(shù)據(jù)倉庫中的元數(shù)據(jù)同步至目標(biāo)Hive數(shù)據(jù)倉庫，直至所有待同步的元數(shù)據(jù)同步完成。

2.如權(quán)利要求1所述的Hive數(shù)據(jù)倉庫同步方法，其特征在于，所述源Hive數(shù)據(jù)倉庫的元數(shù)據(jù)和所述目標(biāo)Hive數(shù)據(jù)倉庫中的第二元數(shù)據(jù)均記錄有表類型信息，所述表類型信息為分區(qū)表或非分區(qū)表；所述分區(qū)表記錄有分區(qū)信息，所述分區(qū)信息包含有分區(qū)ID、分區(qū)名、分區(qū)文件地址以及分區(qū)數(shù)據(jù)行數(shù)；

所述步驟S40包括：

S401，若所述目標(biāo)Hive數(shù)據(jù)倉庫中存在所述第二元數(shù)據(jù)，判斷所述元數(shù)據(jù)的表類型信息是否為分區(qū)表；

S402，若所述元數(shù)據(jù)的表類型信息為分區(qū)表，判斷所述源Hive數(shù)據(jù)倉庫的元數(shù)據(jù)和所述目標(biāo)Hive數(shù)據(jù)倉庫中的第二元數(shù)據(jù)是否相同；若不同則生成元數(shù)據(jù)同步任務(wù)數(shù)據(jù)；

S403，判斷所述元數(shù)據(jù)的分區(qū)表記錄的分區(qū)文件地址在所述第二元數(shù)據(jù)的分區(qū)表中是否存在，若存在則判斷所述元數(shù)據(jù)的分區(qū)表記錄的分區(qū)信息與所述第二元數(shù)據(jù)的分區(qū)表記錄的分區(qū)信息是否相同；若不同則生成數(shù)據(jù)文件同步任務(wù)數(shù)據(jù)。

3.如權(quán)利要求2所述的Hive數(shù)據(jù)倉庫同步方法，其特征在于，所述步驟S40還包括：

S404，若所述元數(shù)據(jù)的表類型信息不是分區(qū)表，則判斷所述源Hive數(shù)據(jù)倉庫的元數(shù)據(jù)和所述目標(biāo)Hive數(shù)據(jù)倉庫中的第二元數(shù)據(jù)是否相同；若不同，則生成所述同步任務(wù)數(shù)據(jù)。

4.如權(quán)利要求1所述的Hive數(shù)據(jù)倉庫同步方法，其特征在于，所述步驟S10包括：基于Map-Reduce系統(tǒng)中的Map單元獲取所述源Hive數(shù)據(jù)倉庫的存儲(chǔ)路徑信息，并且判斷所述源文件系統(tǒng)中是否存在與所述存儲(chǔ)路徑信息對應(yīng)的文件存儲(chǔ)目錄；

所述步驟S20包括：若所述源文件系統(tǒng)存在所述文件存儲(chǔ)目錄，則基于所述Map單元生成元數(shù)據(jù)掃描任務(wù)；

所述步驟S30包括：接收所述元數(shù)據(jù)掃描任務(wù)，基于所述Map單元和所述元數(shù)據(jù)掃描任務(wù)判斷所述目標(biāo)Hive數(shù)據(jù)倉庫中是否存在所述第二元數(shù)據(jù)；

所述步驟S40包括：若所述目標(biāo)Hive數(shù)據(jù)倉庫中存在所述第二元數(shù)據(jù)，則基于Map-Reduce系統(tǒng)中的Reduce單元判斷所述源Hive數(shù)據(jù)倉庫的元數(shù)據(jù)和所述第二元數(shù)據(jù)是否相同；若不同，則基于所述Reduce單元生成同步任務(wù)數(shù)據(jù)，并將所述同步任務(wù)數(shù)據(jù)序列化為同步任務(wù)序列；

所述步驟S50包括：基于所述Map單元對所述同步任務(wù)序列進(jìn)行反序列化，得到所述同步任務(wù)數(shù)據(jù)；

所述步驟S70包括：基于所述Reduce單元以及所述同步任務(wù)數(shù)據(jù)中的所述數(shù)據(jù)文件同步任務(wù)數(shù)據(jù)執(zhí)行數(shù)據(jù)文件同步任務(wù)；

所述步驟S80包括：判斷所述數(shù)據(jù)文件同步任務(wù)是否執(zhí)行完成，若是則基于所述Map單元以及所述同步任務(wù)數(shù)據(jù)中的所述元數(shù)據(jù)同步任務(wù)數(shù)據(jù)執(zhí)行元數(shù)據(jù)同步任務(wù)。