[發(fā)明專利]實(shí)現(xiàn)數(shù)據(jù)可視化及數(shù)據(jù)整合ETL的解決方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110374939.4
• 申請日: 2021-04-08
• 公開（公告）號: CN112765254B
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計(jì)）人: 金震;張京日;徐偉
• 申請（專利權(quán)）人: 北京三維天地科技股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/26
• 代理公司: 北京冠和權(quán)律師事務(wù)所 11399
• 代理人: 田春龍

1.一種實(shí)現(xiàn)數(shù)據(jù)可視化及數(shù)據(jù)整合ETL的解決方法，其特征在于，包括以下步驟：

獲取目標(biāo)用戶上傳的待分析業(yè)務(wù)數(shù)據(jù)，根據(jù)所述待分析業(yè)務(wù)數(shù)據(jù)創(chuàng)建數(shù)據(jù)連接；

確認(rèn)是否需要對所述待分析業(yè)務(wù)數(shù)據(jù)進(jìn)行整合處理，若是，將所述待分析業(yè)務(wù)數(shù)據(jù)進(jìn)行ETL處理，獲得處理后的待分析業(yè)務(wù)數(shù)據(jù)；

將所述數(shù)據(jù)連接中的待分析業(yè)務(wù)數(shù)據(jù)替換為處理后的待分析業(yè)務(wù)數(shù)據(jù)；

根據(jù)所述數(shù)據(jù)連接創(chuàng)建數(shù)據(jù)分析模型，利用創(chuàng)建好的數(shù)據(jù)分析模型繪制基于處理后的待分析業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)報(bào)告；

將所述數(shù)據(jù)報(bào)告進(jìn)行分享并且發(fā)布到駕駛艙中；

在將所述待分析業(yè)務(wù)數(shù)據(jù)進(jìn)行ETL處理之前，所述方法還包括：

檢測將要對所述待分析業(yè)務(wù)數(shù)據(jù)進(jìn)行ETL處理的服務(wù)器的CPU使用率和內(nèi)存使用率；

獲取所述服務(wù)器的多個工作節(jié)點(diǎn)，在所述多個工作節(jié)點(diǎn)中確定ETL處理需要用到的目標(biāo)工作節(jié)點(diǎn)；

確定每個目標(biāo)工作節(jié)點(diǎn)的當(dāng)前工作任務(wù)；

根據(jù)每個目標(biāo)工作節(jié)點(diǎn)的當(dāng)前工作任務(wù)和服務(wù)器的CPU使用率和內(nèi)存使用率計(jì)算出所述服務(wù)器在對所述待分析業(yè)務(wù)數(shù)據(jù)進(jìn)行ETL處理之前的負(fù)載均衡指數(shù)：

其中，k表示為服務(wù)器在對所述待分析業(yè)務(wù)數(shù)據(jù)進(jìn)行ETL處理之前的負(fù)載均衡指數(shù)，A表示為服務(wù)器的CPU使用率，B表示為服務(wù)器的內(nèi)存使用率，表示為服務(wù)器的當(dāng)前服務(wù)率，表示為目標(biāo)工作節(jié)點(diǎn)數(shù)量，表示為第i個目標(biāo)工作節(jié)點(diǎn)的當(dāng)前工作任務(wù)對應(yīng)的當(dāng)前使用數(shù)據(jù)量，表示為第i個目標(biāo)工作節(jié)點(diǎn)的最大分配數(shù)據(jù)量，表示為第i個目標(biāo)工作節(jié)點(diǎn)在工作穩(wěn)定性最高時的期望使用數(shù)據(jù)量，表示為第i個目標(biāo)工作節(jié)點(diǎn)的性能指數(shù)；

根據(jù)所述服務(wù)器在對所述待分析業(yè)務(wù)數(shù)據(jù)進(jìn)行ETL處理之前的負(fù)載均衡指數(shù)計(jì)算出以當(dāng)前負(fù)載均衡指數(shù)對待分析業(yè)務(wù)數(shù)據(jù)進(jìn)行ETL處理的目標(biāo)時長：

其中，表示為以當(dāng)前負(fù)載均衡指數(shù)對待分析業(yè)務(wù)數(shù)據(jù)進(jìn)行ETL處理的目標(biāo)時長，表示為預(yù)設(shè)期望時長，表示為第i個目標(biāo)工作節(jié)點(diǎn)對待分析業(yè)務(wù)數(shù)據(jù)進(jìn)行ETL處理時分配的目標(biāo)數(shù)據(jù)量，表示為第i個目標(biāo)工作節(jié)點(diǎn)的當(dāng)前剩余數(shù)據(jù)量，表示為服務(wù)器在負(fù)載均衡指數(shù)下第i個目標(biāo)工作節(jié)點(diǎn)的工作效率；

確認(rèn)所述目標(biāo)時長是否大于等于預(yù)設(shè)限定時長，若是，對所述服務(wù)器進(jìn)行工作節(jié)點(diǎn)任務(wù)進(jìn)程優(yōu)化以解放目標(biāo)工作節(jié)點(diǎn)的使用數(shù)據(jù)量，否則，無需進(jìn)行后續(xù)操作；

在對所述服務(wù)器進(jìn)行優(yōu)化后，利用所述服務(wù)器將所述待分析業(yè)務(wù)數(shù)據(jù)進(jìn)行ETL處理。

2.根據(jù)權(quán)利要求1所述實(shí)現(xiàn)數(shù)據(jù)可視化及數(shù)據(jù)整合ETL的解決方法，其特征在于，所述獲取目標(biāo)用戶上傳的待分析業(yè)務(wù)數(shù)據(jù)，根據(jù)所述待分析業(yè)務(wù)數(shù)據(jù)創(chuàng)建數(shù)據(jù)連接，包括：

接收所述目標(biāo)用戶上傳的待分析業(yè)務(wù)數(shù)據(jù)，對所述待分析業(yè)務(wù)數(shù)據(jù)進(jìn)行預(yù)處理，獲得預(yù)處理后的待分析業(yè)務(wù)數(shù)據(jù)；

確定所述預(yù)處理后的待分析業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)類型；

根據(jù)所述數(shù)據(jù)類型進(jìn)行數(shù)據(jù)庫表匹配獲得數(shù)據(jù)類型對應(yīng)的匹配數(shù)據(jù)庫表，構(gòu)建與所述匹配數(shù)據(jù)庫表之間的數(shù)據(jù)連接。

3.根據(jù)權(quán)利要求1所述實(shí)現(xiàn)數(shù)據(jù)可視化及數(shù)據(jù)整合ETL的解決方法，其特征在于，所述確認(rèn)是否需要對所述待分析業(yè)務(wù)數(shù)據(jù)進(jìn)行整合處理，若是，將所述待分析業(yè)務(wù)數(shù)據(jù)進(jìn)行ETL處理，獲得處理后的待分析業(yè)務(wù)數(shù)據(jù)，包括：

向所述目標(biāo)用戶所在終端發(fā)出是否需要進(jìn)行整合處理的請求，接收所述終端發(fā)出的反饋指令；

當(dāng)所述反饋指令為確認(rèn)需要進(jìn)行整合處理時，向所述終端展示ETL處理的多個組件，獲取目標(biāo)用戶選擇的目標(biāo)組件；

基于所述目標(biāo)組件選擇合適的目標(biāo)數(shù)據(jù)連接，將所述待分析業(yè)務(wù)數(shù)據(jù)以特定格式輸入到所述目標(biāo)數(shù)據(jù)連接中進(jìn)行ETL處理，獲得處理后的待分析業(yè)務(wù)數(shù)據(jù)；

將所述處理后的待分析業(yè)務(wù)數(shù)據(jù)以所述特定格式輸出。

4.根據(jù)權(quán)利要求3所述實(shí)現(xiàn)數(shù)據(jù)可視化及數(shù)據(jù)整合ETL的解決方法，其特征在于，所述多個組件包括：集合組件、聚合組件、表達(dá)式組件、連接組件、過濾組件、排序組件和脫敏組件；

所述特定格式包括：表格式和Excel格式。