[發(fā)明專利]一種數(shù)據(jù)分析方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011150360.1
• 申請(qǐng)日: 2020-10-23
• 公開(kāi)（公告）號(hào): CN114491158A
• 公開(kāi)（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 李聰聰
• 申請(qǐng)（專利權(quán)）人: 中移(蘇州)軟件技術(shù)有限公司;中國(guó)移動(dòng)通信集團(tuán)有限公司
• 主分類號(hào): G06F16/901
• 分類號(hào): G06F16/901;G06F16/903;G06Q30/02
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 侯艷華;張穎玲

本申請(qǐng)公開(kāi)了一種數(shù)據(jù)分析方法，該方法包括：確定目標(biāo)智能分析過(guò)程中使用的至少一個(gè)待分析數(shù)據(jù)源；基于至少一個(gè)待分析數(shù)據(jù)源，生成至少一個(gè)待分析數(shù)據(jù)源對(duì)應(yīng)的目標(biāo)有向無(wú)環(huán)圖；從目標(biāo)有向無(wú)環(huán)圖中的目標(biāo)路徑的路徑起點(diǎn)節(jié)點(diǎn)開(kāi)始，按照目標(biāo)路徑的路徑方向，基于屬于同一數(shù)據(jù)源且路徑節(jié)點(diǎn)相鄰的關(guān)系，對(duì)目標(biāo)路徑中的路徑節(jié)點(diǎn)進(jìn)行分組，得到目標(biāo)路徑的至少一組路徑節(jié)點(diǎn)；從目標(biāo)路徑的每一組路徑節(jié)點(diǎn)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)源中，按照目標(biāo)路徑的路徑方向獲取對(duì)應(yīng)的每一組路徑節(jié)點(diǎn)的節(jié)點(diǎn)數(shù)據(jù)并進(jìn)行分析，確定目標(biāo)路徑的執(zhí)行結(jié)果，從而降低了網(wǎng)絡(luò)IO的開(kāi)銷，有效提高了BI分析的分析效率。本申請(qǐng)還公開(kāi)了一種數(shù)據(jù)分析裝置、設(shè)備及存儲(chǔ)介質(zhì)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)統(tǒng)計(jì)領(lǐng)域，尤其涉及一種數(shù)據(jù)分析方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

對(duì)交易過(guò)程中的交易數(shù)據(jù)進(jìn)行分析的過(guò)程可以稱為商業(yè)智能(BusinessIntelligence)分析。在傳統(tǒng)的交易過(guò)程中，數(shù)據(jù)源的類型相對(duì)比較單一，但是隨著大數(shù)據(jù)技術(shù)的普及，數(shù)據(jù)源的類型也越來(lái)越多樣化，傳統(tǒng)的BI分析工具也需逐漸適應(yīng)多種不同類型數(shù)據(jù)源情況下的大數(shù)據(jù)查詢與分析。目前，常用統(tǒng)一結(jié)構(gòu)化查詢語(yǔ)言(Structured QueryLanguage，SQL)查詢引擎，來(lái)實(shí)現(xiàn)相同或不同類型數(shù)據(jù)源之間的跨數(shù)據(jù)源查詢及分析，具體實(shí)現(xiàn)過(guò)程可以是對(duì)跨數(shù)據(jù)源進(jìn)行SQL的代理與解析，生成抽象語(yǔ)法樹(shù)(Abstract SyntaxTree，AST)，并將AST轉(zhuǎn)換成邏輯執(zhí)行計(jì)劃后生成物理執(zhí)行計(jì)劃，根據(jù)物理執(zhí)行計(jì)劃執(zhí)行每個(gè)子SQL，最終將每個(gè)子SQL的查詢結(jié)果聚合，返回得到最終結(jié)果。

但是，在目前上述實(shí)現(xiàn)過(guò)程中針對(duì)某一個(gè)SQL時(shí)，需對(duì)同一數(shù)據(jù)源進(jìn)行多次訪問(wèn)，這樣，嚴(yán)重增加了網(wǎng)絡(luò)輸入輸出(Input/Output，IO)的開(kāi)銷，亟需對(duì)這種缺陷進(jìn)行優(yōu)化。

申請(qǐng)內(nèi)容

為解決上述技術(shù)問(wèn)題，本申請(qǐng)期望提供一種數(shù)據(jù)分析方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，解決了目前網(wǎng)絡(luò)IO開(kāi)銷較大的問(wèn)題，降低了網(wǎng)絡(luò)IO的開(kāi)銷，有效提高了BI分析的分析效率。

本申請(qǐng)的技術(shù)方案是這樣實(shí)現(xiàn)的：

第一方面，一種數(shù)據(jù)分析方法，所述方法包括：

確定目標(biāo)智能分析過(guò)程中使用的至少一個(gè)待分析數(shù)據(jù)源；

基于所述至少一個(gè)待分析數(shù)據(jù)源，生成所述至少一個(gè)待分析數(shù)據(jù)源對(duì)應(yīng)的目標(biāo)有向無(wú)環(huán)圖；其中，所述目標(biāo)有向無(wú)環(huán)圖包括k條路徑，k為大于或等于1的整數(shù)；

從所述目標(biāo)有向無(wú)環(huán)圖中的目標(biāo)路徑的路徑起點(diǎn)節(jié)點(diǎn)開(kāi)始，按照所述目標(biāo)路徑的路徑方向，基于屬于同一數(shù)據(jù)源且路徑節(jié)點(diǎn)相鄰的關(guān)系，對(duì)所述目標(biāo)路徑中的路徑節(jié)點(diǎn)進(jìn)行分組，得到所述目標(biāo)路徑的至少一組路徑節(jié)點(diǎn)；其中，所述目標(biāo)路徑用于表示所述k條路徑中的每一條路徑；

從所述目標(biāo)路徑的每一組路徑節(jié)點(diǎn)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)源中，按照所述目標(biāo)路徑的路徑方向獲取對(duì)應(yīng)的每一組路徑節(jié)點(diǎn)的節(jié)點(diǎn)數(shù)據(jù)并進(jìn)行分析，確定所述目標(biāo)路徑的執(zhí)行結(jié)果；其中，所述目標(biāo)路徑的每一組路徑節(jié)點(diǎn)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)源屬于所述至少一個(gè)待分析數(shù)據(jù)源；

匯總所述k條路徑的執(zhí)行結(jié)果，得到針對(duì)目標(biāo)智能分析的目標(biāo)分析結(jié)果。

第二方面，一種數(shù)據(jù)分析裝置，所述裝置包括：確定單元、生成單元、處理單元和匯總單元；其中：

所述確定單元，用于確定目標(biāo)智能分析過(guò)程中使用的至少一個(gè)待分析數(shù)據(jù)源；

所述生成單元，用于基于所述至少一個(gè)待分析數(shù)據(jù)源，生成所述至少一個(gè)待分析數(shù)據(jù)源對(duì)應(yīng)的目標(biāo)有向無(wú)環(huán)圖；其中，所述目標(biāo)有向無(wú)環(huán)圖包括k條路徑，k為大于或等于1的整數(shù)；

所述處理單元，用于從所述目標(biāo)有向無(wú)環(huán)圖中的目標(biāo)路徑的路徑起點(diǎn)節(jié)點(diǎn)開(kāi)始，按照所述目標(biāo)路徑的路徑方向，基于屬于同一數(shù)據(jù)源且路徑節(jié)點(diǎn)相鄰的關(guān)系，對(duì)所述目標(biāo)路徑中的路徑節(jié)點(diǎn)進(jìn)行分組，得到所述目標(biāo)路徑的至少一組路徑節(jié)點(diǎn)；其中，所述目標(biāo)路徑用于表示所述k條路徑中的每一條路徑；