[發(fā)明專利]一種多源聚合結(jié)構(gòu)的大數(shù)據(jù)分析方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010177474.9
• 申請日: 2020-03-13
• 公開（公告）號: CN111400569A
• 公開（公告）日: 2020-07-10
• 發(fā)明（設(shè)計）人: 不公告發(fā)明人
• 申請（專利權(quán)）人: 重慶特斯聯(lián)智慧科技股份有限公司
• 主分類號: G06F16/906
• 分類號: G06F16/906;G06F16/904
• 代理公司: 北京辰權(quán)知識產(chǎn)權(quán)代理有限公司 11619
• 代理人: 付婧

本發(fā)明公開了一種多源聚合結(jié)構(gòu)的大數(shù)據(jù)分析方法和系統(tǒng)，包括：采集同一對象的多個數(shù)據(jù)源，對所述多個數(shù)據(jù)源進(jìn)行聚合，生成聚合大數(shù)據(jù)集；利用自適應(yīng)調(diào)整采樣步長對所述聚合大數(shù)據(jù)集進(jìn)行樣本采集，生成采樣樣本；根據(jù)所述采樣樣本對所述對象進(jìn)行特征分析。該方法將針對同一對象的多個數(shù)據(jù)源進(jìn)行聚合，能夠?qū)⑨槍δ繕?biāo)對象的多個數(shù)據(jù)源中的有效數(shù)據(jù)進(jìn)行合并，形成對目標(biāo)特征進(jìn)行分析的完整數(shù)據(jù)源，實(shí)用性強(qiáng)；并且通過采用自適應(yīng)調(diào)整采樣步長實(shí)現(xiàn)對大數(shù)據(jù)集中樣本采集，減少了采樣樣本的計算量，降低了計算負(fù)荷，利用大數(shù)據(jù)集的采樣樣本快速準(zhǔn)確地對目標(biāo)對象的特征進(jìn)行分析。

技術(shù)領(lǐng)域

本發(fā)明涉及物聯(lián)網(wǎng)技術(shù)領(lǐng)域，具體是一種多源聚合結(jié)構(gòu)的大數(shù)據(jù)分析方法和系統(tǒng)。

背景技術(shù)

在智慧城市中廣域分布的物聯(lián)網(wǎng)環(huán)境下，加入物聯(lián)網(wǎng)的傳感器不斷感知關(guān)于目標(biāo)對象(例如一個建筑物、一個社區(qū))的數(shù)據(jù)，這些數(shù)據(jù)可以匯編為數(shù)據(jù)集。利用數(shù)據(jù)集可以實(shí)現(xiàn)大數(shù)據(jù)分析，挖掘獲得目標(biāo)對象的特征。例如，針對一個建筑物，可以將傳感器感知的溫度、濕度、光照度、空氣顆粒密度、能耗等內(nèi)部環(huán)境數(shù)據(jù)，匯編為數(shù)據(jù)集，進(jìn)而挖掘該建筑物內(nèi)部環(huán)境變化特征，為建筑物內(nèi)部的空調(diào)、通風(fēng)、照明等方面的設(shè)施控制提供依據(jù)。

并且，針對同一個對象，往往能夠從多個數(shù)據(jù)源，分別獲得針對該對象的多個數(shù)據(jù)集。例如，將建筑物中的傳感器按照其類型或者安裝位置劃分為多個群組，每個群組作為一個數(shù)據(jù)源，將每個群組的數(shù)據(jù)匯編，可以提供針對同一個對象的多個數(shù)據(jù)集。

然而，現(xiàn)有技術(shù)中，在廣域分布的物聯(lián)網(wǎng)針環(huán)境下，針對同一個對象的多個數(shù)據(jù)集中的數(shù)據(jù)過多，增加了計算負(fù)荷，無法快速準(zhǔn)確地根據(jù)數(shù)據(jù)對對象的特征進(jìn)行快速分析。

因此，如何利用大數(shù)據(jù)對目標(biāo)對象的特征進(jìn)行高效分析的是本領(lǐng)域技術(shù)人員亟待解決的問題。

發(fā)明內(nèi)容

鑒于上述問題，本發(fā)明的目的是解決目前針對同一個對象的多個數(shù)據(jù)集中的數(shù)據(jù)過多，增加了計算負(fù)荷，無法快速準(zhǔn)確地根據(jù)數(shù)據(jù)對對象的特征進(jìn)行快速分析的問題，實(shí)現(xiàn)了利用大數(shù)據(jù)對目標(biāo)對象的特征的高效分析。

本發(fā)明實(shí)施例提供一種多源聚合結(jié)構(gòu)的大數(shù)據(jù)分析方法，包括：

采集同一對象的多個數(shù)據(jù)源，對所述多個數(shù)據(jù)源進(jìn)行聚合，生成聚合大數(shù)據(jù)集；

利用自適應(yīng)調(diào)整采樣步長對所述聚合大數(shù)據(jù)集進(jìn)行樣本采集，生成采樣樣本；

根據(jù)所述采樣樣本對所述對象進(jìn)行特征分析。

在一個實(shí)施例中，采集同一對象的多個數(shù)據(jù)源，對所述多個數(shù)據(jù)源進(jìn)行聚合，生成聚合大數(shù)據(jù)集，包括：

采集同一對象的多個數(shù)據(jù)源，對所述多個數(shù)據(jù)源進(jìn)行預(yù)處理；

根據(jù)所述多個數(shù)據(jù)源獲取原始策略列表，對所述原始策略列表中的原始策略進(jìn)行排序，生成數(shù)據(jù)源間策略列表；

根據(jù)所述數(shù)據(jù)源間策略列表將所述多個數(shù)據(jù)源進(jìn)行聚合，生成所述聚合大數(shù)據(jù)集。

在一個實(shí)施例中，根據(jù)所述數(shù)據(jù)源間策略列表將所述多個數(shù)據(jù)源進(jìn)行聚合，生成所述聚合大數(shù)據(jù)集，包括：

分別對所述多個數(shù)據(jù)源的屬性進(jìn)行規(guī)范化表示；

基于所述多個數(shù)據(jù)源中的實(shí)體名稱與實(shí)體屬性對實(shí)體進(jìn)行分塊聚合；

將同一分塊內(nèi)不同來源的實(shí)體作為候選實(shí)體對，計算所述實(shí)體之間的相似度；

根據(jù)所述實(shí)體之間的相似度，建立不同數(shù)據(jù)源之間同一實(shí)體的等價鏈接，并將所述實(shí)體屬性進(jìn)行合并，生成所述聚合大數(shù)據(jù)集。

在一個實(shí)施例中，基于所述多個數(shù)據(jù)源中的實(shí)體名稱與實(shí)體屬性對實(shí)體進(jìn)行分塊聚合，包括：

將所述實(shí)體名稱分解為二元模型序列；