[發(fā)明專利]可視化的圖計(jì)算方法及其系統(tǒng)、存儲介質(zhì)以及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202010984915.6
• 申請日: 2020-09-18
• 公開（公告）號: CN112256695B
• 公開（公告）日: 2023-07-28
• 發(fā)明（設(shè)計(jì)）人: 李欣剛;陳澤瀛;舒艷華;蔡朝輝;葉國林
• 申請（專利權(quán)）人: 銀聯(lián)商務(wù)股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/26;G06F16/11;G06F21/31
• 代理公司: 北京匯思誠業(yè)知識產(chǎn)權(quán)代理有限公司 11444
• 代理人: 汪源

本發(fā)明實(shí)施例提供了可視化的圖計(jì)算方法及其系統(tǒng)、存儲介質(zhì)以及電子設(shè)備，解決了現(xiàn)有技術(shù)中圖計(jì)算過程中數(shù)據(jù)不安全的技術(shù)問題。本發(fā)明實(shí)施例提供的可視化的圖計(jì)算方法，用戶通過在可視化圖計(jì)算平臺上選擇圖的算子、算子之間的連接關(guān)系以及對算子的參數(shù)進(jìn)行配置，大數(shù)據(jù)集群即可根據(jù)算子以及參數(shù)生成圖的表數(shù)據(jù)文件，而圖計(jì)算服務(wù)器則根據(jù)算子、算子之間的連接關(guān)系以及算子的配置參數(shù)，構(gòu)建圖實(shí)例，生成圖的結(jié)構(gòu)數(shù)據(jù)，大數(shù)據(jù)集群將圖的結(jié)構(gòu)數(shù)據(jù)轉(zhuǎn)化為圖的表數(shù)據(jù)，用戶只能在圖計(jì)算服務(wù)器上得到圖的結(jié)構(gòu)數(shù)據(jù)，在大數(shù)據(jù)集群中得到圖的表數(shù)據(jù)，整個(gè)過程均是在后端的圖計(jì)算服務(wù)器以及大數(shù)據(jù)集群之間傳輸，用戶不可見任何數(shù)據(jù)，提高了數(shù)據(jù)的安全性。

【技術(shù)領(lǐng)域】

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及可視化的圖計(jì)算方法及其系統(tǒng)、存儲介質(zhì)以及電子設(shè)備。

【背景技術(shù)】

隨著大數(shù)據(jù)技術(shù)的快速發(fā)展，各大公司，尤其是聯(lián)網(wǎng)企業(yè)，都在從各個(gè)角度采集數(shù)據(jù)、存儲數(shù)據(jù)、處理數(shù)據(jù)、分享數(shù)據(jù)、檢索數(shù)據(jù)、分析數(shù)據(jù)、展示數(shù)據(jù)和挖掘數(shù)據(jù)背后的商業(yè)價(jià)值。不同個(gè)體之間彼此交互而產(chǎn)生的數(shù)據(jù)以圖的形式表現(xiàn)，在通信、互聯(lián)網(wǎng)、電子商務(wù)、社交網(wǎng)絡(luò)和物聯(lián)網(wǎng)等領(lǐng)域都積累有大規(guī)模的圖數(shù)據(jù)。

圖由節(jié)點(diǎn)與邊構(gòu)成，具有圖結(jié)構(gòu)的數(shù)據(jù)為圖數(shù)據(jù)。圖計(jì)算是對圖數(shù)據(jù)的處理技術(shù)，例如圖數(shù)據(jù)庫和圖計(jì)算框架，無論是分布式還是單節(jié)點(diǎn)的方案，都是構(gòu)建于物理機(jī)上，通過部署在物理機(jī)上的服務(wù)來滿足用戶需求，多個(gè)用戶共享使用同一個(gè)服務(wù)。

相關(guān)技術(shù)中的圖計(jì)算服務(wù)器往往需要將需要的圖數(shù)據(jù)從數(shù)據(jù)庫中導(dǎo)出來，然后手動輸入圖計(jì)算服務(wù)器中進(jìn)行計(jì)算，對于存在敏感字段的數(shù)據(jù)，如果將數(shù)據(jù)導(dǎo)出來并手動輸入圖計(jì)算服務(wù)器，增加了數(shù)據(jù)泄露或者損失的概率，即存在數(shù)據(jù)不安全的問題。

【發(fā)明內(nèi)容】

有鑒于此，本發(fā)明實(shí)施例提供了一種可視化的圖計(jì)算方法及其系統(tǒng)、存儲介質(zhì)以及電子設(shè)備，解決了現(xiàn)有技術(shù)中圖計(jì)算過程中數(shù)據(jù)不安全的技術(shù)問題。

作為本發(fā)明實(shí)施例的第一方面，本發(fā)明實(shí)施例提供了一種可視化的圖計(jì)算方法，所述方法應(yīng)用于可視化的圖計(jì)算系統(tǒng)，所述可視化的圖計(jì)算系統(tǒng)包括可視化圖計(jì)算平臺，大數(shù)據(jù)集群以及圖計(jì)算服務(wù)器，其中，所述大數(shù)據(jù)集群中存儲有圖的原始表數(shù)據(jù)，所述圖計(jì)算服務(wù)器中存儲有圖的原始結(jié)構(gòu)化數(shù)據(jù)；所述可視化的圖計(jì)算方法包括：

根據(jù)用戶的第一輸入，獲取待處理圖的原始表數(shù)據(jù)；

根據(jù)所述用戶的第二輸入，生成待處理圖的任務(wù)工作流文件，所述任務(wù)工作流文件包括所述原始表數(shù)據(jù)、多個(gè)任務(wù)節(jié)點(diǎn)，其中所述多個(gè)任務(wù)節(jié)點(diǎn)包括至少一個(gè)第一任務(wù)節(jié)點(diǎn)以及至少一個(gè)第二任務(wù)節(jié)點(diǎn)；

根據(jù)所述至少一個(gè)第一任務(wù)節(jié)點(diǎn)生成執(zhí)行所述第一任務(wù)節(jié)點(diǎn)的至少一個(gè)第一調(diào)令，并對所述原始表數(shù)據(jù)進(jìn)行計(jì)算，生成表數(shù)據(jù)文件；

根據(jù)所述至少一個(gè)第一調(diào)令以及所述至少一個(gè)第二任務(wù)節(jié)點(diǎn)，生成待處理圖實(shí)例，并根據(jù)所述待處理圖實(shí)例對所述表數(shù)據(jù)文件進(jìn)行計(jì)算，生成所述待處理圖的結(jié)構(gòu)化數(shù)據(jù)；以及

將所述待處理圖的結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為所述待處理圖的表數(shù)據(jù)。

在本發(fā)明一實(shí)施例中，在所述獲取待處理圖的原始表數(shù)據(jù)之后，且在根據(jù)用戶的第二輸入指令，生成待處理圖的任務(wù)工作流文件之前，所述可視化的圖計(jì)算方法還包括：

對所述原始表數(shù)據(jù)進(jìn)行預(yù)處理，獲取所述待處理圖的預(yù)處理表數(shù)據(jù)；

根據(jù)所述至少一個(gè)第一任務(wù)節(jié)點(diǎn)生成執(zhí)行所述第一任務(wù)節(jié)點(diǎn)的至少一個(gè)第一調(diào)令，并對所述原始表數(shù)據(jù)進(jìn)行計(jì)算，生成表數(shù)據(jù)文件，包括：

根據(jù)所述至少一個(gè)第一任務(wù)節(jié)點(diǎn)生成執(zhí)行所述第一任務(wù)節(jié)點(diǎn)的至少一個(gè)第一調(diào)令，對所述預(yù)處理表數(shù)據(jù)進(jìn)行計(jì)算，生成表數(shù)據(jù)文件。

在本發(fā)明一實(shí)施例中，根據(jù)所述用戶的第二輸入，生成待處理圖的任務(wù)工作流文件，包括：

根據(jù)所述用戶輸入的數(shù)據(jù)導(dǎo)入算子，生成數(shù)據(jù)導(dǎo)入節(jié)點(diǎn)；