[發(fā)明專利]ETL數(shù)據(jù)同步方法及裝置、電子設(shè)備、存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011103171.9
• 申請日: 2020-10-15
• 公開（公告）號(hào): CN112291312B
• 公開（公告）日: 2022-07-01
• 發(fā)明（設(shè)計(jì)）人: 褚占峰;鄭高;江峰;陳世興
• 申請（專利權(quán)）人: 杭州數(shù)夢工場科技有限公司
• 主分類號(hào): H04L67/06
• 分類號(hào): H04L67/06;H04L67/565;H04L67/30;H04L67/1095;G06F16/25;G06F16/27
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

本申請?zhí)峁┮环NETL數(shù)據(jù)同步方法及裝置、電子設(shè)備、存儲(chǔ)介質(zhì)；該方法應(yīng)用于下游ETL服務(wù)器，該方法可以包括以下步驟：獲取上游ETL服務(wù)器發(fā)送的經(jīng)由網(wǎng)閘轉(zhuǎn)發(fā)的配置文件，所述配置文件由所述上游ETL服務(wù)器根據(jù)預(yù)設(shè)轉(zhuǎn)換規(guī)則對ETL任務(wù)進(jìn)行轉(zhuǎn)換得到；獲取所述上游ETL服務(wù)器發(fā)送的經(jīng)由網(wǎng)閘轉(zhuǎn)發(fā)的傳輸文件，所述傳輸文件由所述上游ETL服務(wù)器根據(jù)所述ETL任務(wù)對待同步數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換得到；通過所述預(yù)設(shè)轉(zhuǎn)換規(guī)則將所述配置文件解析為ETL任務(wù)，并通過解析得到的ETL任務(wù)將所述傳輸文件還原為所述待同步數(shù)據(jù)。通過本申請的技術(shù)方案，下游ETL服務(wù)器可以基于接收到的配置文件自動(dòng)生成ETL任務(wù)，避免了相關(guān)技術(shù)中需在網(wǎng)閘兩側(cè)的ETL服務(wù)器分別配置ETL任務(wù)而造成的操作繁瑣的問題。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)存儲(chǔ)領(lǐng)域，特別涉及一種ETL數(shù)據(jù)同步方法及裝置、電子設(shè)備、存儲(chǔ)介質(zhì)。

背景技術(shù)

在數(shù)據(jù)存儲(chǔ)領(lǐng)域中，為了滿足不同網(wǎng)絡(luò)中的用戶對同一業(yè)務(wù)數(shù)據(jù)的訪問需求，需要在不同網(wǎng)絡(luò)的數(shù)據(jù)存儲(chǔ)空間之間進(jìn)行數(shù)據(jù)同步(又稱，隔離網(wǎng)絡(luò)間的數(shù)據(jù)同步)。

在相關(guān)技術(shù)中，為了保證數(shù)據(jù)的安全性，通常采用線下傳輸?shù)姆绞綄?shí)現(xiàn)隔離網(wǎng)絡(luò)間的數(shù)據(jù)同步。例如，可以通過網(wǎng)閘以及部署于其兩側(cè)的ETL服務(wù)器實(shí)現(xiàn)。在該實(shí)現(xiàn)方式中，由于待同步數(shù)據(jù)無法直接在網(wǎng)閘中進(jìn)行傳輸，因此，需要上游ETL服務(wù)器將其轉(zhuǎn)換為能夠在網(wǎng)閘中傳輸?shù)奈募幌鄬?yīng)的，下游ETL服務(wù)器還需要將接收到的文件還原為待同步數(shù)據(jù)，以實(shí)現(xiàn)上述數(shù)據(jù)同步。

在該相關(guān)技術(shù)中，技術(shù)人員需要分別在網(wǎng)閘兩側(cè)的ETL服務(wù)器中配置ETL任務(wù)，以實(shí)現(xiàn)待同步數(shù)據(jù)與傳輸文件之間的相互轉(zhuǎn)換，操作十分繁瑣。

發(fā)明內(nèi)容

有鑒于此，本申請?zhí)峁┮环NETL數(shù)據(jù)同步方法及裝置、電子設(shè)備、存儲(chǔ)介質(zhì)，能夠避免相關(guān)技術(shù)中需要在網(wǎng)閘兩側(cè)的ETL服務(wù)器中分別配置ETL任務(wù)，而造成的操作繁瑣的問題。

為實(shí)現(xiàn)上述目的，本申請?zhí)峁┘夹g(shù)方案如下：

根據(jù)本申請的第一方面，提出了一種ETL數(shù)據(jù)同步方法，應(yīng)用于下游ETL服務(wù)器，包括：

獲取上游ETL服務(wù)器發(fā)送的經(jīng)由網(wǎng)閘轉(zhuǎn)發(fā)的配置文件，所述配置文件由所述上游ETL服務(wù)器根據(jù)預(yù)設(shè)轉(zhuǎn)換規(guī)則對ETL任務(wù)進(jìn)行轉(zhuǎn)換得到；

獲取所述上游ETL服務(wù)器發(fā)送的經(jīng)由網(wǎng)閘轉(zhuǎn)發(fā)的傳輸文件，所述傳輸文件由所述上游ETL服務(wù)器根據(jù)所述ETL任務(wù)對待同步數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換得到；

通過所述預(yù)設(shè)轉(zhuǎn)換規(guī)則將所述配置文件解析為ETL任務(wù)，并通過解析得到的ETL任務(wù)將所述傳輸文件還原為所述待同步數(shù)據(jù)。

根據(jù)本申請的第二方面，提出了一種ETL數(shù)據(jù)同步方法，應(yīng)用于上游ETL服務(wù)器，包括：

基于ETL任務(wù)將待同步數(shù)據(jù)轉(zhuǎn)換為傳輸文件，并將所述傳輸文件發(fā)送至網(wǎng)閘，以由所述網(wǎng)閘將所述傳輸文件轉(zhuǎn)發(fā)至下游ETL服務(wù)器；

根據(jù)預(yù)設(shè)轉(zhuǎn)換規(guī)則將ETL任務(wù)轉(zhuǎn)換為配置文件，并將轉(zhuǎn)換得到的配置文件發(fā)送至網(wǎng)閘，以由所述網(wǎng)閘將所述配置文件轉(zhuǎn)發(fā)至下游ETL服務(wù)器，所述配置文件被所述下游ETL服務(wù)器基于所述預(yù)設(shè)轉(zhuǎn)換規(guī)則解析為ETL任務(wù)；

其中，解析得到的ETL任務(wù)被所述下游ETL服務(wù)器用于將接收到的傳輸文件還原為所述待同步數(shù)據(jù)。

根據(jù)本申請的第三方面，提出了一種ETL數(shù)據(jù)同步裝置，應(yīng)用于下游ETL服務(wù)器，包括：

第一獲取單元，獲取上游ETL服務(wù)器發(fā)送的經(jīng)由網(wǎng)閘轉(zhuǎn)發(fā)的配置文件，所述配置文件由所述上游ETL服務(wù)器根據(jù)預(yù)設(shè)轉(zhuǎn)換規(guī)則對ETL任務(wù)進(jìn)行轉(zhuǎn)換得到；

第二獲取單元，獲取所述上游ETL服務(wù)器發(fā)送的經(jīng)由網(wǎng)閘轉(zhuǎn)發(fā)的傳輸文件，所述傳輸文件由所述上游ETL服務(wù)器根據(jù)所述ETL任務(wù)對待同步數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換得到；