[發(fā)明專利]基于Kudu的數(shù)據(jù)分析裝置和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110006136.3
• 申請(qǐng)日: 2021-01-05
• 公開（公告）號(hào): CN112667755B
• 公開（公告）日: 2022-09-13
• 發(fā)明（設(shè)計(jì)）人: 謝奧;高嫻;王亞鵬
• 申請(qǐng)（專利權(quán)）人: 浪潮通信技術(shù)有限公司
• 主分類號(hào): G06F16/28
• 分類號(hào): G06F16/28;G06F16/245
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 孫園園

1.一種基于Kudu的數(shù)據(jù)分析裝置，其特征在于，該裝置包括，

圖譜數(shù)據(jù)導(dǎo)入模塊，用于從Kudu系統(tǒng)中存儲(chǔ)的數(shù)據(jù)獲取，并根據(jù)建模管理控制模塊中的對(duì)象、屬性、關(guān)系為核心要素的本體數(shù)據(jù)模型定義實(shí)現(xiàn)外部結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)的多源異構(gòu)數(shù)據(jù)的融合；

建模管理控制模塊，用于以對(duì)象、屬性、關(guān)系為核心要素建立統(tǒng)一的本體數(shù)據(jù)模型，從管理視角直觀查看模型定義的模型視圖，建立物理數(shù)據(jù)表到本體數(shù)據(jù)模型中對(duì)象、屬性、關(guān)系映射的源數(shù)據(jù)建模以及高級(jí)搜索配置的管理功能；

圖譜引擎模塊，用于提供圖譜數(shù)據(jù)存儲(chǔ)引擎和索引數(shù)據(jù)存儲(chǔ)引擎，將分析處理后的大數(shù)據(jù)根據(jù)對(duì)象、屬性和關(guān)系的示例數(shù)據(jù)進(jìn)行存儲(chǔ)，并存儲(chǔ)索引數(shù)據(jù)；

智能服務(wù)模塊，用于為用戶提供智能功能。

2.根據(jù)權(quán)利要求1所述的基于Kudu的數(shù)據(jù)分析裝置，其特征在于，所述智能服務(wù)模塊提供的額外的智能功能包括基于知識(shí)圖譜技術(shù)的智能搜索、圖譜展現(xiàn)、關(guān)聯(lián)分析及圖譜統(tǒng)計(jì)。

3.根據(jù)權(quán)利要求1或2所述的基于Kudu的數(shù)據(jù)分析裝置，其特征在于，所述本體數(shù)據(jù)模型的功能包括定義對(duì)象類型、定義關(guān)系類型和定義屬性類型；

其中，定義對(duì)象類型是指對(duì)一個(gè)對(duì)象詳細(xì)信息的定義；對(duì)象詳細(xì)信息包括對(duì)象名稱、URI、對(duì)象屬性和子對(duì)象的定義；

定義屬性類型是指定義對(duì)象基本屬性；對(duì)象的基本屬性定義包括定義屬性顯示標(biāo)題、URI、數(shù)據(jù)格式、數(shù)值類型及同義詞；

定義關(guān)系類型是指定義關(guān)系分類、關(guān)系類型以及關(guān)系的屬性信息。

4.根據(jù)權(quán)利要求3所述的基于Kudu的數(shù)據(jù)分析裝置，其特征在于，新建對(duì)象類型、關(guān)系類型和屬性類型的配置入口包括如下兩種情況中的至少一種：

①、本體數(shù)據(jù)模型：通過(guò)本體數(shù)據(jù)模型管理中的對(duì)象類型、屬性類型和關(guān)系類型，新建業(yè)務(wù)邏輯對(duì)象、屬性及關(guān)系；

②、數(shù)據(jù)源：新建物理表到對(duì)象及關(guān)系的映射信息。

5.根據(jù)權(quán)利要求1所述的基于Kudu的數(shù)據(jù)分析裝置，其特征在于，該裝置的工作過(guò)程具體如下：

（1）、數(shù)據(jù)流從Kudu系統(tǒng)中導(dǎo)入圖譜數(shù)據(jù)導(dǎo)入模塊中；

（2）、圖譜數(shù)據(jù)導(dǎo)入模塊將數(shù)據(jù)導(dǎo)入建模管理控制模塊中，對(duì)數(shù)據(jù)進(jìn)行分析處理并建立數(shù)據(jù)關(guān)聯(lián)；

（3）、通過(guò)智能服務(wù)模塊進(jìn)行賦能智能服務(wù)；

（4）、把處理好的數(shù)據(jù)通過(guò)圖譜引擎模塊傳回Kudu數(shù)據(jù)庫(kù)中。

6.一種基于Kudu的數(shù)據(jù)分析方法，其特征在于，該方法是將知識(shí)圖譜技術(shù)應(yīng)用于Kudu系統(tǒng)中，用于輔助及加深數(shù)據(jù)間關(guān)聯(lián)的數(shù)據(jù)分析功能；具體如下：

以對(duì)象、屬性、關(guān)系為核心要素進(jìn)行本體數(shù)據(jù)模型的建立，同時(shí)從Kudu系統(tǒng)中獲取原始信息數(shù)據(jù)庫(kù)，通過(guò)圖譜數(shù)據(jù)導(dǎo)入模塊根據(jù)建模管理控制模塊已定義的本體數(shù)據(jù)模型完成對(duì)Kudu系統(tǒng)中對(duì)象數(shù)據(jù)的獲取與融合；

基于本體數(shù)據(jù)模型要素信息，從原始信息數(shù)據(jù)庫(kù)中提取圖譜數(shù)據(jù)：利用建模管理控制模塊對(duì)經(jīng)過(guò)處理后的對(duì)象數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，通過(guò)本體數(shù)據(jù)模型對(duì)數(shù)據(jù)本體定義屬性類型、對(duì)象類型及關(guān)系類型；

進(jìn)行物理數(shù)據(jù)表到本體數(shù)據(jù)模型中對(duì)象、屬性及關(guān)系映射的源數(shù)據(jù)建模；

通過(guò)智能服務(wù)模塊對(duì)本體數(shù)據(jù)模型進(jìn)行智能服務(wù)賦能，基于本體數(shù)據(jù)模型和圖譜關(guān)系模型提供交互式可視化的探索式關(guān)聯(lián)分析；

通過(guò)圖譜引擎模塊將分析處理后的數(shù)據(jù)及關(guān)聯(lián)關(guān)系存儲(chǔ)于Kudu系統(tǒng)中。

7.根據(jù)權(quán)利要求6所述的基于Kudu的數(shù)據(jù)分析方法，其特征在于，智能服務(wù)賦能是指根據(jù)不同用戶的需求，讓用戶自行對(duì)圖譜數(shù)據(jù)進(jìn)行探索，結(jié)合已構(gòu)建好的圖譜知識(shí)及關(guān)聯(lián)關(guān)系，根據(jù)業(yè)務(wù)需求進(jìn)行額外增加關(guān)聯(lián)關(guān)系及從其他維度對(duì)數(shù)據(jù)進(jìn)行分析的數(shù)據(jù)分析服務(wù)。