[發(fā)明專利]基于DataX的民航數(shù)據(jù)同步方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210102009.8
• 申請(qǐng)日: 2022-01-27
• 公開（公告）號(hào): CN114519199A
• 公開（公告）日: 2022-05-20
• 發(fā)明（設(shè)計(jì)）人: 張宇光;馬維兵;陳星;范修偉;鄧朝成;胡俊恒
• 申請(qǐng)（專利權(quán)）人: 廣州民航信息技術(shù)有限公司
• 主分類號(hào): G06F21/60
• 分類號(hào): G06F21/60;G06F21/62;G06F16/27
• 代理公司: 廣州智斧知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44649
• 代理人: 溫嫦

1.一種基于DataX的民航數(shù)據(jù)同步方法，其特征在于，包括：

獲取用戶信息，基于用戶信息配置用戶權(quán)限；

獲取目標(biāo)數(shù)據(jù)源類型，配置數(shù)據(jù)庫(kù)參數(shù)以構(gòu)建用戶數(shù)據(jù)源列表，并形成用戶數(shù)據(jù)源列表對(duì)應(yīng)的數(shù)據(jù)源的連接界面；

基于所述用戶數(shù)據(jù)源列表選擇數(shù)據(jù)源，并按照DataX的腳本規(guī)則構(gòu)建所述數(shù)據(jù)源的同步任務(wù)腳本；

配置統(tǒng)一的接口接收所述同步任務(wù)腳本，并保存至對(duì)應(yīng)的執(zhí)行任務(wù)列表。

2.根據(jù)權(quán)利要求1所述的民航數(shù)據(jù)同步方法，其特征在于，所述獲取用戶信息，基于用戶信息配置用戶權(quán)限，包括：

獲取任意一個(gè)用戶所對(duì)應(yīng)的身份信息、崗位信息；

基于所述身份信息和所述崗位信息配置該用戶權(quán)限，所述用戶權(quán)限包括用戶同步數(shù)據(jù)權(quán)限，所述用戶同步數(shù)據(jù)權(quán)限包括操作數(shù)據(jù)權(quán)限、維護(hù)下級(jí)用戶的數(shù)據(jù)權(quán)限、關(guān)聯(lián)下級(jí)用戶的數(shù)據(jù)權(quán)限。

3.根據(jù)權(quán)利要求2所述的民航數(shù)據(jù)同步方法，其特征在于，所述獲取目標(biāo)數(shù)據(jù)源類型，配置數(shù)據(jù)庫(kù)參數(shù)以構(gòu)建用戶數(shù)據(jù)源列表，并形成用戶數(shù)據(jù)源列表對(duì)應(yīng)的數(shù)據(jù)源的連接界面，包括：

根據(jù)民航數(shù)據(jù)庫(kù)類型獲得民航數(shù)據(jù)源類型，結(jié)合所述民航數(shù)據(jù)源類型和DataX支持的數(shù)據(jù)源類型選取對(duì)應(yīng)的目標(biāo)數(shù)據(jù)源類型，配置所述目標(biāo)數(shù)據(jù)源類型對(duì)應(yīng)的數(shù)據(jù)庫(kù)參數(shù)；

根據(jù)用戶權(quán)限結(jié)合所述目標(biāo)數(shù)據(jù)源類型構(gòu)建用戶數(shù)據(jù)源列表；

配置所述用戶數(shù)據(jù)源列表中每個(gè)目標(biāo)數(shù)據(jù)源類型分別所對(duì)應(yīng)的目標(biāo)數(shù)據(jù)源的連接界面。

4.根據(jù)權(quán)利要求3所述的民航數(shù)據(jù)同步方法，其特征在于，所述基于所述用戶數(shù)據(jù)源列表選擇數(shù)據(jù)源，并按照DataX的腳本規(guī)則構(gòu)建所述數(shù)據(jù)源的同步任務(wù)腳本，包括：

根據(jù)所述用戶數(shù)據(jù)源列表調(diào)用所述數(shù)據(jù)源以及數(shù)據(jù)源字段信息，配置所述數(shù)據(jù)源字段信息與所述數(shù)據(jù)源的映射關(guān)系；

根據(jù)所述映射關(guān)系并按照DataX的腳本規(guī)則構(gòu)建所述數(shù)據(jù)源的同步任務(wù)腳本。

5.根據(jù)權(quán)利要求4所述的民航數(shù)據(jù)同步方法，其特征在于，所述配置統(tǒng)一的接口接收所述同步任務(wù)腳本，并保存至對(duì)應(yīng)的執(zhí)行任務(wù)列表，包括：

將所述同步任務(wù)腳本保存為待執(zhí)行任務(wù)；

配置統(tǒng)一的接口接收所述同步任務(wù)腳本，并保存至對(duì)應(yīng)的執(zhí)行任務(wù)列表。

6.根據(jù)權(quán)利要求5所述的民航數(shù)據(jù)同步方法，其特征在于，還包括：

配置執(zhí)行器的執(zhí)行定時(shí)參數(shù)，以生成執(zhí)行計(jì)劃；

基于所述執(zhí)行計(jì)劃執(zhí)行所述執(zhí)行任務(wù)列表中的同步任務(wù)腳本。

7.一種基于DataX的民航數(shù)據(jù)同步裝置，其特征在于，包括：

用戶信息獲取模塊：用于獲取用戶信息，基于用戶信息配置用戶權(quán)限；

數(shù)據(jù)源構(gòu)建模塊：用于獲取目標(biāo)數(shù)據(jù)源類型，配置數(shù)據(jù)庫(kù)參數(shù)以構(gòu)建用戶數(shù)據(jù)源列表，并形成用戶數(shù)據(jù)源列表對(duì)應(yīng)的數(shù)據(jù)源的連接界面；

任務(wù)腳本構(gòu)建模塊：用于基于所述用戶數(shù)據(jù)源列表選擇數(shù)據(jù)源，并按照DataX的腳本規(guī)則構(gòu)建所述數(shù)據(jù)源的同步任務(wù)腳本；

任務(wù)腳本接收模塊：用于配置統(tǒng)一的接口接收所述同步任務(wù)腳本，并保存至對(duì)應(yīng)的執(zhí)行任務(wù)列表。

8.根據(jù)權(quán)利要求7所述的民航數(shù)據(jù)同步裝置，其特征在于，用戶信息獲取模塊中，包括：

獲取任意一個(gè)用戶所對(duì)應(yīng)的身份信息、崗位信息；

基于所述身份信息和所述崗位信息配置該用戶權(quán)限，所述用戶權(quán)限包括用戶同步數(shù)據(jù)權(quán)限，所述用戶同步數(shù)據(jù)權(quán)限包括操作數(shù)據(jù)權(quán)限、維護(hù)下級(jí)用戶的數(shù)據(jù)權(quán)限、關(guān)聯(lián)下級(jí)用戶的數(shù)據(jù)權(quán)限。

9.一種電子設(shè)備，其特征在于，包括：存儲(chǔ)有可執(zhí)行程序代碼的存儲(chǔ)器；與所述存儲(chǔ)器耦合的處理器；所述處理器調(diào)用所述存儲(chǔ)器中存儲(chǔ)的所述可執(zhí)行程序代碼，用于執(zhí)行權(quán)利要求1至6任一項(xiàng)所述的基于DataX的民航數(shù)據(jù)同步方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序使得計(jì)算機(jī)執(zhí)行權(quán)利要求1至6任一項(xiàng)所述的基于DataX的民航數(shù)據(jù)同步方法。