[發(fā)明專(zhuān)利]一種多源聚合結(jié)構(gòu)的大數(shù)據(jù)分析方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010177474.9
• 申請(qǐng)日: 2020-03-13
• 公開(kāi)（公告）號(hào): CN111400569A
• 公開(kāi)（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專(zhuān)利權(quán)）人: 重慶特斯聯(lián)智慧科技股份有限公司
• 主分類(lèi)號(hào): G06F16/906
• 分類(lèi)號(hào): G06F16/906;G06F16/904
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 付婧

1.一種多源聚合結(jié)構(gòu)的大數(shù)據(jù)分析方法，其特征在于，包括：

采集同一對(duì)象的多個(gè)數(shù)據(jù)源，對(duì)所述多個(gè)數(shù)據(jù)源進(jìn)行聚合，生成聚合大數(shù)據(jù)集；

利用自適應(yīng)調(diào)整采樣步長(zhǎng)對(duì)所述聚合大數(shù)據(jù)集進(jìn)行樣本采集，生成采樣樣本；

根據(jù)所述采樣樣本對(duì)所述對(duì)象進(jìn)行特征分析。

2.如權(quán)利要求1所述的一種多源聚合結(jié)構(gòu)的大數(shù)據(jù)分析方法，其特征在于，采集同一對(duì)象的多個(gè)數(shù)據(jù)源，對(duì)所述多個(gè)數(shù)據(jù)源進(jìn)行聚合，生成聚合大數(shù)據(jù)集，包括：

采集同一對(duì)象的多個(gè)數(shù)據(jù)源，對(duì)所述多個(gè)數(shù)據(jù)源進(jìn)行預(yù)處理；

根據(jù)所述多個(gè)數(shù)據(jù)源獲取原始策略列表，對(duì)所述原始策略列表中的原始策略進(jìn)行排序，生成數(shù)據(jù)源間策略列表；

根據(jù)所述數(shù)據(jù)源間策略列表將所述多個(gè)數(shù)據(jù)源進(jìn)行聚合，生成所述聚合大數(shù)據(jù)集。

3.如權(quán)利要求2所述的一種多源聚合結(jié)構(gòu)的大數(shù)據(jù)分析方法，其特征在于，根據(jù)所述數(shù)據(jù)源間策略列表將所述多個(gè)數(shù)據(jù)源進(jìn)行聚合，生成所述聚合大數(shù)據(jù)集，包括：

分別對(duì)所述多個(gè)數(shù)據(jù)源的屬性進(jìn)行規(guī)范化表示；

基于所述多個(gè)數(shù)據(jù)源中的實(shí)體名稱(chēng)與實(shí)體屬性對(duì)實(shí)體進(jìn)行分塊聚合；

將同一分塊內(nèi)不同來(lái)源的實(shí)體作為候選實(shí)體對(duì)，計(jì)算所述實(shí)體之間的相似度；

根據(jù)所述實(shí)體之間的相似度，建立不同數(shù)據(jù)源之間同一實(shí)體的等價(jià)鏈接，并將所述實(shí)體屬性進(jìn)行合并，生成所述聚合大數(shù)據(jù)集。

4.如權(quán)利要求3所述的一種多源聚合結(jié)構(gòu)的大數(shù)據(jù)分析方法，其特征在于，基于所述多個(gè)數(shù)據(jù)源中的實(shí)體名稱(chēng)與實(shí)體屬性對(duì)實(shí)體進(jìn)行分塊聚合，包括：

將所述實(shí)體名稱(chēng)分解為二元模型序列；

將所述二元模型序列中的項(xiàng)作為倒排索引的key值，將所述實(shí)體插入到對(duì)應(yīng)的所述倒排索引中；

將所述倒排索引中的所述key值相對(duì)應(yīng)的所述實(shí)體，根據(jù)所述實(shí)體屬性進(jìn)行劃分；

若兩個(gè)不同數(shù)據(jù)源的所述實(shí)體具有兩個(gè)相同的所述實(shí)體屬性，則將所述兩個(gè)不同數(shù)據(jù)源的所述實(shí)體劃分到同一塊中。

5.如權(quán)利要求1所述的一種多源聚合結(jié)構(gòu)的大數(shù)據(jù)分析方法，其特征在于，利用自適應(yīng)調(diào)整采樣步長(zhǎng)對(duì)所述聚合大數(shù)據(jù)集進(jìn)行樣本采集，生成采樣樣本，包括：

設(shè)置所述聚合大數(shù)據(jù)集的采樣參數(shù)；

利用所述聚合大數(shù)據(jù)集中CPU核心總數(shù)，設(shè)置采樣范圍長(zhǎng)度與采樣步長(zhǎng)變化倍數(shù)；

根據(jù)所述采樣范圍長(zhǎng)度與所述采樣步長(zhǎng)變化倍數(shù)，確定執(zhí)行所述采樣參數(shù)所分配的采樣CPU核心數(shù)量；

根據(jù)所述采樣CPU核心數(shù)量，執(zhí)行所述采樣參數(shù)，生成作業(yè)執(zhí)行時(shí)間；

根據(jù)所述作業(yè)執(zhí)行時(shí)間與所述采樣CPU核心數(shù)量，生成所述采樣樣本。

6.一種多源聚合結(jié)構(gòu)的大數(shù)據(jù)分析系統(tǒng)，其特征在于，包括：

聚合模塊，用于采集同一對(duì)象的多個(gè)數(shù)據(jù)源，對(duì)所述多個(gè)數(shù)據(jù)源進(jìn)行聚合，生成聚合大數(shù)據(jù)集；

采集模塊，用于利用自適應(yīng)調(diào)整采樣步長(zhǎng)對(duì)所述聚合大數(shù)據(jù)集進(jìn)行樣本采集，生成采樣樣本；

分析模塊，用于根據(jù)所述采樣樣本對(duì)所述對(duì)象進(jìn)行特征分析。

7.如權(quán)利要求6所述的一種多源聚合結(jié)構(gòu)的大數(shù)據(jù)分析系統(tǒng)，其特征在于，所述聚合模塊，包括：

預(yù)處理子模塊，用于采集同一對(duì)象的多個(gè)數(shù)據(jù)源，對(duì)所述多個(gè)數(shù)據(jù)源進(jìn)行預(yù)處理；

排序子模塊，用于根據(jù)所述多個(gè)數(shù)據(jù)源獲取原始策略列表，對(duì)所述原始策略列表中的原始策略進(jìn)行排序，生成數(shù)據(jù)源間策略列表；

聚合子模塊，根據(jù)所述數(shù)據(jù)源間策略列表將所述多個(gè)數(shù)據(jù)源進(jìn)行聚合，生成所述聚合大數(shù)據(jù)集。

8.如權(quán)利要求7所述的一種多源聚合結(jié)構(gòu)的大數(shù)據(jù)分析系統(tǒng)，其特征在于，所述聚合子模塊，包括：

規(guī)范化表示單元，用于分別對(duì)所述多個(gè)數(shù)據(jù)源的屬性進(jìn)行規(guī)范化表示；

分塊聚合單元，用于基于所述多個(gè)數(shù)據(jù)源中的實(shí)體名稱(chēng)與實(shí)體屬性對(duì)實(shí)體進(jìn)行分塊聚合；

計(jì)算單元，將同一分塊內(nèi)不同來(lái)源的實(shí)體作為候選實(shí)體對(duì)，計(jì)算所述實(shí)體之間的相似度；

生成單元，根據(jù)所述實(shí)體之間的相似度，建立不同數(shù)據(jù)源之間同一實(shí)體的等價(jià)鏈接，并將所述實(shí)體屬性進(jìn)行合并，生成所述聚合大數(shù)據(jù)集。