[發(fā)明專利]一種風(fēng)電場(chǎng)監(jiān)控系統(tǒng)異步協(xié)同數(shù)據(jù)遷移方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202210780970.2
• 申請(qǐng)日: 2022-07-05
• 公開（公告）號(hào): CN114860694B
• 公開（公告）日: 2022-11-01
• 發(fā)明（設(shè)計(jì)）人: 王靜;孫英;高中華;寧琨;伏洪兵;趙偉;唐曉棠;展宗霖;陳帥;徐海;馬記龍;賈君實(shí);廖如霞;王世恩;蔣仕平
• 申請(qǐng)（專利權(quán)）人: 東方電氣風(fēng)電股份有限公司
• 主分類號(hào): G06F16/21
• 分類號(hào): G06F16/21;G06F16/25;G06F16/28
• 代理公司: 成都九鼎天元知識(shí)產(chǎn)權(quán)代理有限公司 51214
• 代理人: 劉世權(quán)

1.一種風(fēng)電場(chǎng)監(jiān)控系統(tǒng)異步協(xié)同數(shù)據(jù)遷移方法，其特征在于，所述方法包括以下步驟：

S1：目標(biāo)主機(jī)和源主機(jī)的預(yù)處理，所述預(yù)處理包括環(huán)境檢測(cè)與依賴包安裝、數(shù)據(jù)抽取與數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)轉(zhuǎn)換結(jié)果驗(yàn)證和目標(biāo)主機(jī)的數(shù)據(jù)庫預(yù)處理；其中：

所述環(huán)境檢測(cè)包括對(duì)目標(biāo)主機(jī)和源主機(jī)的網(wǎng)絡(luò)環(huán)境檢測(cè)，服務(wù)環(huán)境檢測(cè)包括目標(biāo)主機(jī)Docker服務(wù)和Mysql服務(wù)是否啟動(dòng)檢測(cè)；所述依賴包安裝包括在目標(biāo)主機(jī)下安裝遷移程序依賴包；

所述數(shù)據(jù)抽取與轉(zhuǎn)換包括：抽取原監(jiān)控系統(tǒng)數(shù)據(jù)字典到內(nèi)存中根據(jù)參數(shù)序號(hào)和最大值、最小值、平均值的映射關(guān)系自動(dòng)轉(zhuǎn)化成橫表A，加載新監(jiān)控系統(tǒng)基礎(chǔ)表B到內(nèi)存根據(jù)業(yè)務(wù)規(guī)則自動(dòng)和橫表A做列的映射；

所述數(shù)據(jù)轉(zhuǎn)換結(jié)果驗(yàn)證包括：對(duì)獲得的橫表的轉(zhuǎn)換結(jié)果驗(yàn)證和對(duì)轉(zhuǎn)換的業(yè)務(wù)數(shù)據(jù)表的轉(zhuǎn)換結(jié)果驗(yàn)證；

S2：數(shù)據(jù)遷移；其中，所述數(shù)據(jù)遷移包括根據(jù)接收的遷移策略，生成目標(biāo)數(shù)量的遷移任務(wù)，每個(gè)所述遷移任務(wù)并行執(zhí)行，將源主機(jī)的數(shù)據(jù)庫中存儲(chǔ)的對(duì)應(yīng)業(yè)務(wù)類型的數(shù)據(jù)遷移至目標(biāo)主機(jī)的數(shù)據(jù)庫中；

S3：目標(biāo)主機(jī)的數(shù)據(jù)庫的數(shù)據(jù)遷移后的完整性驗(yàn)證；

所述方法采用任務(wù)編排和任務(wù)調(diào)度的模式執(zhí)行數(shù)據(jù)遷移，包括：

step-1：環(huán)境檢測(cè)與依賴安裝，包括如下子步驟：job-1-1：目標(biāo)主機(jī)和源主機(jī)環(huán)境檢測(cè)；job-1-2：在智慧系統(tǒng)服務(wù)器LINUX環(huán)境下安裝遷移程序所需依賴包；job-1-3：Mysql服務(wù)檢測(cè)；

step-2：數(shù)據(jù)抽取與轉(zhuǎn)換，包括如下子步驟：job-2-1：基礎(chǔ)表縱橫表轉(zhuǎn)換；job-2-2其他業(yè)務(wù)表映射轉(zhuǎn)換；

step-3：數(shù)據(jù)轉(zhuǎn)換結(jié)果驗(yàn)證，包括如下子步驟：job-3-1：根據(jù)配置文件規(guī)則驗(yàn)證橫縱表轉(zhuǎn)換是否正確；job-3-2：根據(jù)配置文件業(yè)務(wù)規(guī)則檢測(cè)其他表轉(zhuǎn)換結(jié)果是否正確；

step-4：目標(biāo)數(shù)據(jù)庫備份，包括如下子步驟：job-4-1：對(duì)目標(biāo)數(shù)據(jù)庫進(jìn)行備份；

step-5：目標(biāo)數(shù)據(jù)庫清表，包括如下子步驟：job-5-1：對(duì)目標(biāo)數(shù)據(jù)庫指定表進(jìn)行清表操作；

step-6：數(shù)據(jù)遷移，包括如下子步驟：job-6-1：遷移任務(wù)A；job-6-2：遷移任務(wù)B；job-6-3：遷移任務(wù)C；job-6-4：遷移任務(wù)D；

step-7：目標(biāo)數(shù)據(jù)庫遷移后完整性驗(yàn)證，包括如下子步驟：job-7-1：進(jìn)行目標(biāo)數(shù)據(jù)庫遷移后數(shù)據(jù)完整性驗(yàn)證。

2.如權(quán)利要求1所述的風(fēng)電場(chǎng)監(jiān)控系統(tǒng)異步協(xié)同數(shù)據(jù)遷移方法，其特征在于，所述目標(biāo)主機(jī)的數(shù)據(jù)庫預(yù)處理包括：目標(biāo)主機(jī)的數(shù)據(jù)庫備份和目標(biāo)主機(jī)的數(shù)據(jù)庫清表。

3.如權(quán)利要求1所述的風(fēng)電場(chǎng)監(jiān)控系統(tǒng)異步協(xié)同數(shù)據(jù)遷移方法，其特征在于，在將源主機(jī)的數(shù)據(jù)庫中存儲(chǔ)的對(duì)應(yīng)業(yè)務(wù)類型的數(shù)據(jù)遷移至目標(biāo)主機(jī)的數(shù)據(jù)庫時(shí)，所述方法還包括：

獲取數(shù)據(jù)遷移進(jìn)度信息，并將所述數(shù)據(jù)遷移進(jìn)度信息發(fā)送至終端；其中，所述數(shù)據(jù)遷移進(jìn)度信息包括數(shù)據(jù)表遷移成功信息、源主機(jī)的數(shù)據(jù)庫的數(shù)據(jù)表數(shù)量以及目標(biāo)主機(jī)的數(shù)據(jù)庫的數(shù)據(jù)表數(shù)量。

4.一種風(fēng)電場(chǎng)監(jiān)控系統(tǒng)異步協(xié)同數(shù)據(jù)遷移裝置，其特征在于，所述裝置包括：

預(yù)處理模塊，用于對(duì)目標(biāo)主機(jī)和源主機(jī)執(zhí)行預(yù)處理，所述預(yù)處理包括環(huán)境檢測(cè)與依賴包安裝、數(shù)據(jù)抽取與數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)轉(zhuǎn)換結(jié)果驗(yàn)證和目標(biāo)主機(jī)的數(shù)據(jù)庫預(yù)處理；其中：

所述環(huán)境檢測(cè)用于對(duì)目標(biāo)主機(jī)和源主機(jī)的網(wǎng)絡(luò)環(huán)境檢測(cè)，服務(wù)環(huán)境檢測(cè)包括目標(biāo)主機(jī)Docker服務(wù)和Mysql服務(wù)是否啟動(dòng)檢測(cè)；所述依賴包安裝包括在目標(biāo)主機(jī)下安裝遷移程序依賴包；

所述數(shù)據(jù)抽取與轉(zhuǎn)換，用于抽取原監(jiān)控系統(tǒng)數(shù)據(jù)字典到內(nèi)存中根據(jù)參數(shù)序號(hào)和最大值、最小值、平均值的映射關(guān)系自動(dòng)轉(zhuǎn)化成橫表A，加載新監(jiān)控系統(tǒng)基礎(chǔ)表B到內(nèi)存根據(jù)業(yè)務(wù)規(guī)則自動(dòng)和橫表A做列的映射；

所述數(shù)據(jù)轉(zhuǎn)換結(jié)果驗(yàn)證，用于根據(jù)配置文件規(guī)則驗(yàn)證橫縱表轉(zhuǎn)換是否正確和對(duì)轉(zhuǎn)換的業(yè)務(wù)數(shù)據(jù)表的轉(zhuǎn)換結(jié)果驗(yàn)證；

數(shù)據(jù)遷移模塊，用于對(duì)目標(biāo)主機(jī)和源主機(jī)執(zhí)行數(shù)據(jù)遷移；其中，所述數(shù)據(jù)遷移包括根據(jù)接收的遷移策略，生成目標(biāo)數(shù)量的遷移任務(wù)，每個(gè)所述遷移任務(wù)并行執(zhí)行，將源主機(jī)的數(shù)據(jù)庫中存儲(chǔ)的對(duì)應(yīng)業(yè)務(wù)類型的數(shù)據(jù)遷移至目標(biāo)主機(jī)的數(shù)據(jù)庫中；

完整性驗(yàn)證模塊，用于對(duì)目標(biāo)主機(jī)的數(shù)據(jù)庫遷移后的數(shù)據(jù)執(zhí)行完整性驗(yàn)證；

任務(wù)編排和調(diào)度模塊，用于在執(zhí)行數(shù)據(jù)遷移時(shí)采用任務(wù)編排和調(diào)度模式執(zhí)行如下步驟：

step-1：環(huán)境檢測(cè)與依賴安裝，包括如下子步驟：job-1-1：目標(biāo)主機(jī)和源主機(jī)環(huán)境檢測(cè)；job-1-2：在智慧系統(tǒng)服務(wù)器LINUX環(huán)境下安裝遷移程序所需依賴包；job-1-3：Mysql服務(wù)檢測(cè)；

step-2：數(shù)據(jù)抽取與轉(zhuǎn)換，包括如下子步驟：job-2-1：基礎(chǔ)表縱橫表轉(zhuǎn)換；job-2-2其他業(yè)務(wù)表映射轉(zhuǎn)換；

step-3：數(shù)據(jù)轉(zhuǎn)換結(jié)果驗(yàn)證，包括如下子步驟：job-3-1：根據(jù)配置文件規(guī)則驗(yàn)證橫縱表轉(zhuǎn)換是否正確；job-3-2：根據(jù)配置文件業(yè)務(wù)規(guī)則檢測(cè)其他表轉(zhuǎn)換結(jié)果是否正確；

step-4：目標(biāo)數(shù)據(jù)庫備份，包括如下子步驟：job-4-1：對(duì)目標(biāo)數(shù)據(jù)庫進(jìn)行備份；

step-5：目標(biāo)數(shù)據(jù)庫清表，包括如下子步驟：job-5-1：對(duì)目標(biāo)數(shù)據(jù)庫指定表進(jìn)行清表操作；

step-6：數(shù)據(jù)遷移，包括如下子步驟：job-6-1：遷移任務(wù)A；job-6-2：遷移任務(wù)B；job-6-3：遷移任務(wù)C；job-6-4：遷移任務(wù)D；

step-7：目標(biāo)數(shù)據(jù)庫遷移后完整性驗(yàn)證，包括如下子步驟：job-7-1：進(jìn)行目標(biāo)數(shù)據(jù)庫遷移后數(shù)據(jù)完整性驗(yàn)證。