[發(fā)明專利]基于Kudu的數(shù)據(jù)分析裝置和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110006136.3
• 申請(qǐng)日: 2021-01-05
• 公開（公告）號(hào): CN112667755B
• 公開（公告）日: 2022-09-13
• 發(fā)明（設(shè)計(jì)）人: 謝奧;高嫻;王亞鵬
• 申請(qǐng)（專利權(quán)）人: 浪潮通信技術(shù)有限公司
• 主分類號(hào): G06F16/28
• 分類號(hào): G06F16/28;G06F16/245
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 孫園園

本發(fā)明公開了基于Kudu的數(shù)據(jù)分析裝置和方法，屬于數(shù)據(jù)分析技術(shù)領(lǐng)域，本發(fā)明要解決的技術(shù)問(wèn)題為如何提升Kudu的數(shù)據(jù)分析能力，滿足大數(shù)據(jù)時(shí)代人們對(duì)于數(shù)據(jù)信息越來(lái)越高的需求，同時(shí)提升Kudu的索引定位精度，采用的技術(shù)方案為：該裝置包括圖譜數(shù)據(jù)導(dǎo)入模塊、建模管理控制模塊、圖譜引擎模塊及智能服務(wù)模塊；圖譜數(shù)據(jù)導(dǎo)入模塊用于從Kudu系統(tǒng)中存儲(chǔ)的數(shù)據(jù)獲取，并根據(jù)建模管理控制模塊中的對(duì)象、屬性、關(guān)系為核心要素的本體數(shù)據(jù)模型定義實(shí)現(xiàn)外部結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)的多源異構(gòu)數(shù)據(jù)的融合；圖譜引擎模塊用于提供圖譜數(shù)據(jù)存儲(chǔ)引擎和索引數(shù)據(jù)存儲(chǔ)引擎。本發(fā)明還公開了一種基于Kudu的數(shù)據(jù)分析方法。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)分析領(lǐng)域，具體地說(shuō)是一種基于Kudu的數(shù)據(jù)分析裝置和方法。

背景技術(shù)

隨著計(jì)算機(jī)技術(shù)領(lǐng)域的不斷發(fā)展，數(shù)字化幾乎滲透了所有領(lǐng)域，如今的數(shù)據(jù)不僅有來(lái)自智能終端設(shè)備的數(shù)據(jù)，還有大量來(lái)自物聯(lián)網(wǎng)智能硬件等各式各樣的結(jié)構(gòu)化或非結(jié)構(gòu)化的海量數(shù)據(jù)，存儲(chǔ)的數(shù)據(jù)量不斷地加大，一般通過(guò)在數(shù)據(jù)中心部署Kudu分布式存儲(chǔ)系統(tǒng)來(lái)解決海量數(shù)據(jù)的存儲(chǔ)問(wèn)題。

近年來(lái)，隨著智慧城市、智慧醫(yī)療、智慧交通等的快速發(fā)展，人們不僅僅只關(guān)注數(shù)據(jù)本身，開始構(gòu)建一個(gè)個(gè)龐大的數(shù)據(jù)網(wǎng)絡(luò)，將各個(gè)數(shù)據(jù)信息聯(lián)系起來(lái)，而Kudu分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)分析能力已經(jīng)不能夠滿足日益增長(zhǎng)的數(shù)據(jù)處理需求。

故如何提升Kudu的數(shù)據(jù)分析能力，滿足大數(shù)據(jù)時(shí)代人們對(duì)于數(shù)據(jù)信息越來(lái)越高的需求，同時(shí)提升Kudu的索引定位精度是目前亟待解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的技術(shù)任務(wù)是提供一種基于Kudu的數(shù)據(jù)分析裝置和方法，來(lái)解決如何提升Kudu的數(shù)據(jù)分析能力，滿足大數(shù)據(jù)時(shí)代人們對(duì)于數(shù)據(jù)信息越來(lái)越高的需求，同時(shí)提升Kudu的索引定位精度的問(wèn)題。

本發(fā)明的技術(shù)任務(wù)是按以下方式實(shí)現(xiàn)的，一種基于Kudu的數(shù)據(jù)分析裝置，該裝置包括，

圖譜數(shù)據(jù)導(dǎo)入模塊，用于從Kudu系統(tǒng)中存儲(chǔ)的數(shù)據(jù)獲取，并根據(jù)建模管理控制模塊中的對(duì)象、屬性、關(guān)系為核心要素的本體數(shù)據(jù)模型定義實(shí)現(xiàn)外部結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)的多源異構(gòu)數(shù)據(jù)的融合，即完成對(duì)在Kudu系統(tǒng)中對(duì)象數(shù)據(jù)的獲取與融合；

建模管理控制模塊，用于以對(duì)象、屬性、關(guān)系為核心要素建立統(tǒng)一的本體數(shù)據(jù)模型，從管理視角直觀查看模型定義的模型視圖，建立物理數(shù)據(jù)表到本體數(shù)據(jù)模型中對(duì)象、屬性、關(guān)系映射的源數(shù)據(jù)建模以及高級(jí)搜索配置的管理功能；

圖譜引擎模塊，用于提供圖譜數(shù)據(jù)存儲(chǔ)引擎和索引數(shù)據(jù)存儲(chǔ)引擎，將分析處理后的大數(shù)據(jù)根據(jù)對(duì)象、屬性和關(guān)系的示例數(shù)據(jù)進(jìn)行存儲(chǔ)，并存儲(chǔ)索引數(shù)據(jù)；

智能服務(wù)模塊，用于為用戶提供額外的智能功能。

作為優(yōu)選，所述智能服務(wù)模塊提供的額外的智能功能包括基于知識(shí)圖譜技術(shù)的智能搜索、圖譜展現(xiàn)、關(guān)聯(lián)分析及圖譜統(tǒng)計(jì)。

更優(yōu)地，所述本體數(shù)據(jù)模型的功能包括定義對(duì)象類型、定義關(guān)系類型和定義屬性類型；

其中，定義對(duì)象類型是指對(duì)一個(gè)對(duì)象詳細(xì)信息的定義；對(duì)象詳細(xì)信息包括對(duì)象名稱、隊(duì)形URI、對(duì)象屬性和子對(duì)象的定義；

定義屬性類型是指定義對(duì)象基本屬性；對(duì)象的基本屬性定義包括定義屬性顯示標(biāo)題、URI、數(shù)據(jù)格式、數(shù)據(jù)格式、數(shù)值類型及同義詞；

定義關(guān)系類型是指定義關(guān)系分類、關(guān)系類型以及關(guān)系的屬性信息。

更優(yōu)地，新建對(duì)象類型、關(guān)系類型和屬性類型的配置入口有如下兩種情況：

①、本體數(shù)據(jù)模型：通過(guò)本體數(shù)據(jù)模型管理中的對(duì)象類型、屬性類型和關(guān)系類型，新建業(yè)務(wù)邏輯對(duì)象、屬性及關(guān)系；

②、數(shù)據(jù)源：新建物理表到對(duì)象及關(guān)系的映射信息。

更優(yōu)地，該裝置的工作過(guò)程具體如下：