[發(fā)明專利]數(shù)據(jù)源數(shù)據(jù)自動建模方法

有效

• 申請?zhí)枺?/td>: 201510436270.1
• 申請日: 2015-07-23
• 公開（公告）號: CN105095436B
• 公開（公告）日: 2018-07-17
• 發(fā)明（設(shè)計）人: 馬曉東;馬小東;謝曉芳;王鵬
• 申請（專利權(quán)）人: 蘇州國云數(shù)據(jù)科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 蘇州創(chuàng)元專利商標(biāo)事務(wù)所有限公司 32103
• 代理人: 范晴;丁浩秋

本發(fā)明公開了一種數(shù)據(jù)源數(shù)據(jù)自動建模方法，包括如下步驟：多數(shù)據(jù)源接入及表結(jié)構(gòu)解析：接入不同的數(shù)據(jù)源中的數(shù)據(jù)，解析各數(shù)據(jù)源中所有表的表結(jié)構(gòu)；為數(shù)據(jù)源表中表結(jié)構(gòu)標(biāo)識業(yè)務(wù)對象：遍歷數(shù)據(jù)源中所有表，提取需要建模的屬性列表，為每個屬性列表中的屬性設(shè)置業(yè)務(wù)對象名稱、業(yè)務(wù)對象類型以及業(yè)務(wù)對象聚集方式；歸并同類項業(yè)務(wù)對象：對所有設(shè)置業(yè)務(wù)對象的屬性進(jìn)行匯總并歸并同類項；解析業(yè)務(wù)對象并建模生成建模結(jié)構(gòu)集：對設(shè)置業(yè)務(wù)對象的屬性按照設(shè)置參數(shù)進(jìn)行建模，對未設(shè)置業(yè)務(wù)對象的屬性按照建模規(guī)則進(jìn)行建模，建模規(guī)則包括數(shù)值型屬性標(biāo)記為度量，非數(shù)值型屬性標(biāo)記為維度，并歸并同類項業(yè)務(wù)對象。可以方便地進(jìn)行數(shù)據(jù)建模，有利于分析用戶海量數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)源數(shù)據(jù)自動建模方法，具體地涉及一種對復(fù)雜數(shù)據(jù)源數(shù)據(jù)進(jìn)行自動建模并展示的方法。

背景技術(shù)

很多存儲復(fù)雜數(shù)據(jù)的數(shù)據(jù)源，例如從社交數(shù)據(jù)庫、電商數(shù)據(jù)庫，到人類基因數(shù)據(jù)庫，都是基于復(fù)雜的多維、大數(shù)據(jù)量存儲的數(shù)據(jù)集。針對這種數(shù)據(jù)集進(jìn)行處理，存在一個巨大的挑戰(zhàn)是如何從海量的數(shù)據(jù)中發(fā)現(xiàn)隱含的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)關(guān)聯(lián)關(guān)系、并最終提取出有意義的數(shù)據(jù)。通常來說，分析師想不借助任何工具，從如此巨量的數(shù)據(jù)中提取出有意義的數(shù)據(jù)來是不太現(xiàn)實的。通常分析師會借助各種分析工具來幫助提取部分有意義的數(shù)據(jù)。但是依賴現(xiàn)有分析工具對復(fù)雜數(shù)據(jù)源數(shù)據(jù)進(jìn)行建模并展示必須要持續(xù)的人機(jī)交互。用戶需要很熟悉復(fù)雜數(shù)據(jù)集的特性，必須給計算機(jī)明確的指令來讓計算機(jī)調(diào)用相應(yīng)的算法來完成建模。在很多情況下，這種人機(jī)交互需要重復(fù)進(jìn)行多次。當(dāng)用戶處理的數(shù)據(jù)是以萬億計時，這樣的數(shù)據(jù)處理方式非常復(fù)雜和繁瑣。因此需要一種高級數(shù)據(jù)自動建模以及可視化方式。

發(fā)明內(nèi)容

針對上述技術(shù)問題，本發(fā)明目的是：提供一種數(shù)據(jù)源數(shù)據(jù)自動建模方法，在海量數(shù)據(jù)中建立分析模型，可以方便地為業(yè)務(wù)人員進(jìn)行數(shù)據(jù)建模，可以更快更好的分析用戶海量數(shù)據(jù)。

本發(fā)明的技術(shù)方案是：

一種數(shù)據(jù)源數(shù)據(jù)自動建模方法，包括如下步驟：

S01：多數(shù)據(jù)源接入及表結(jié)構(gòu)解析：接入不同的數(shù)據(jù)源中的數(shù)據(jù)，解析各數(shù)據(jù)源中所有表的表結(jié)構(gòu)；

S02：為數(shù)據(jù)源表中表結(jié)構(gòu)標(biāo)識業(yè)務(wù)對象：遍歷數(shù)據(jù)源中所有表，提取需要建模的屬性列表，為每個屬性列表中的屬性設(shè)置業(yè)務(wù)對象名稱、業(yè)務(wù)對象類型以及業(yè)務(wù)對象聚集方式；

S03：歸并同類項業(yè)務(wù)對象以及來源：對所有設(shè)置業(yè)務(wù)對象的屬性進(jìn)行匯總并歸并同類項；

S04：解析業(yè)務(wù)對象并建模生成建模結(jié)構(gòu)集：對設(shè)置業(yè)務(wù)對象的屬性按照設(shè)置參數(shù)進(jìn)行建模，對未設(shè)置業(yè)務(wù)對象的屬性按照建模規(guī)則進(jìn)行建模，所述建模規(guī)則包括數(shù)值型屬性標(biāo)記為度量，非數(shù)值型屬性標(biāo)記為維度，并歸并同類項業(yè)務(wù)對象。

優(yōu)選的，所述步驟S01中的表結(jié)構(gòu)包括表中的字段以及字段類型。

優(yōu)選的，所述步驟S01包括以下步驟：

獲取表連接及表結(jié)構(gòu)的元數(shù)據(jù)；

獲取表的表結(jié)構(gòu)屬性列表；

記錄表結(jié)構(gòu)屬性列表，并與步驟S02中生成的業(yè)務(wù)對象映射匹配。

與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)是：

1.該方法可以幫助用戶基于數(shù)據(jù)源中數(shù)據(jù)快速有效的建立起業(yè)務(wù)模型，還可以幫助用戶發(fā)現(xiàn)數(shù)據(jù)源中隱藏的數(shù)據(jù)之間的深層次關(guān)聯(lián)關(guān)系，比如基于用戶身份信息時可以挖掘用戶的年齡段以及對應(yīng)的消費(fèi)量、消費(fèi)習(xí)慣的關(guān)聯(lián)信息。

2.該方法為用戶在海量數(shù)據(jù)中建立分析模型提供了可行的基礎(chǔ)，可以嵌在魔鏡數(shù)據(jù)分析平臺中，可以方便的為業(yè)務(wù)人員進(jìn)行數(shù)據(jù)建模，可以更快更好的分析用戶海量數(shù)據(jù)。

附圖說明

下面結(jié)合附圖及實施例對本發(fā)明作進(jìn)一步描述：