[發(fā)明專(zhuān)利]一種基于大數(shù)據(jù)環(huán)境下的多源數(shù)據(jù)聚合抽樣方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910373940.8
• 申請(qǐng)日: 2019-05-07
• 公開(kāi)（公告）號(hào): CN110147357A
• 公開(kāi)（公告）日: 2019-08-20
• 發(fā)明（設(shè)計(jì)）人: 云本勝;錢(qián)亞冠;胡月
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江科技學(xué)院
• 主分類(lèi)號(hào): G06F16/182
• 分類(lèi)號(hào): G06F16/182;G06F16/174;G06F16/11
• 代理公司: 重慶市信立達(dá)專(zhuān)利代理事務(wù)所(普通合伙) 50230
• 代理人: 包曉靜

1.一種基于大數(shù)據(jù)環(huán)境下的多源數(shù)據(jù)聚合抽樣方法，其特征在于，所述基于大數(shù)據(jù)環(huán)境下的多源數(shù)據(jù)聚合抽樣方法包括：

通過(guò)數(shù)據(jù)融合模塊利用融合程序?qū)⒉煌瑏?lái)源數(shù)據(jù)集進(jìn)行融合處理；在融合多個(gè)來(lái)源的實(shí)體數(shù)據(jù)時(shí)，分別對(duì)每個(gè)數(shù)據(jù)源的屬性進(jìn)行規(guī)范化表示，其中包括了同義屬性映射和對(duì)屬性值的數(shù)值單位的統(tǒng)一轉(zhuǎn)換；基于實(shí)體名和實(shí)體屬性對(duì)實(shí)體進(jìn)行分塊聚合；將同一分塊內(nèi)不同來(lái)源的實(shí)體作為候選實(shí)體對(duì)，采用實(shí)體對(duì)齊算法計(jì)算實(shí)體間的相似度，將匹配得到不同來(lái)源中描述同一客觀世界的實(shí)體對(duì)，建立不同數(shù)據(jù)源之間同一實(shí)體的等價(jià)鏈接，并進(jìn)行實(shí)體屬性的合并，而對(duì)于一個(gè)數(shù)據(jù)源中獨(dú)有的實(shí)體，直接添加到知識(shí)庫(kù)中；

通過(guò)分詞模塊將融合后的文件進(jìn)行分詞，形成文件詞語(yǔ)的二維詞頻矩陣；

s.t.X_i＝X_iA_i+E_i,i＝1,…,K

其中α是大于0的系數(shù)，用來(lái)度量正常詞語(yǔ)和異常詞語(yǔ)分詞帶來(lái)的誤差；

等價(jià)為以下模型：

2.如權(quán)利要求1所述基于大數(shù)據(jù)環(huán)境下的多源數(shù)據(jù)聚合抽樣方法，其特征在于，所述基于大數(shù)據(jù)環(huán)境下的多源數(shù)據(jù)聚合抽樣方法進(jìn)一步包括：

步驟一，通過(guò)數(shù)據(jù)源采集模塊采集多個(gè)原始數(shù)據(jù)源，每一原始數(shù)據(jù)源包括數(shù)據(jù)源名稱(chēng)和至少一個(gè)關(guān)聯(lián)域；

步驟二，中央控制模塊通過(guò)預(yù)處理模塊利用數(shù)據(jù)處理程序?qū)Σ杉臄?shù)據(jù)源進(jìn)行清洗、識(shí)別、去除冗余操作；

步驟三，通過(guò)策略列表構(gòu)建模塊利用構(gòu)建程序根據(jù)原始數(shù)據(jù)源，獲取原始策略列表，對(duì)原始策略列表中的原始策略進(jìn)行排序，形成數(shù)據(jù)源間策略列表；

步驟四，通過(guò)數(shù)據(jù)融合模塊利用融合程序?qū)⒉煌瑏?lái)源數(shù)據(jù)集進(jìn)行融合處理；

步驟五，通過(guò)分詞模塊將融合后的文件進(jìn)行分詞，形成文件詞語(yǔ)的二維詞頻矩陣；

步驟六，通過(guò)抽樣模塊利用抽樣程序選取數(shù)據(jù)目標(biāo)導(dǎo)向的種子根節(jié)點(diǎn)關(guān)鍵詞語(yǔ)，輸入滾雪球抽樣深度，在種子根節(jié)點(diǎn)數(shù)據(jù)的基礎(chǔ)上，設(shè)定均衡校驗(yàn)數(shù)值，循環(huán)匹對(duì)各個(gè)詞語(yǔ)，進(jìn)行滾雪球抽樣；

步驟七，通過(guò)顯示模塊利用顯示器顯示采集的多源數(shù)據(jù)。

3.如權(quán)利要求2所述基于大數(shù)據(jù)環(huán)境下的多源數(shù)據(jù)聚合抽樣方法，其特征在于，預(yù)處理模塊處理方法包括：

(1)根據(jù)預(yù)設(shè)條件抽取異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)上傳到分布式文件系統(tǒng)HDFS進(jìn)行存儲(chǔ)；

(2)采用Spark框架將分布式文件系統(tǒng)HDFS中的數(shù)據(jù)加載到內(nèi)存，清除重復(fù)數(shù)據(jù)、噪聲數(shù)據(jù)，進(jìn)行格式變換操作；

(3)對(duì)清洗后的數(shù)據(jù)，識(shí)別出同一個(gè)實(shí)體的不同表示方法，正確地識(shí)別出的所有不同實(shí)體，對(duì)同一實(shí)體的數(shù)據(jù)進(jìn)行合并；

(4)采用基于哈希值的重復(fù)數(shù)據(jù)刪除技術(shù)，去除冗余數(shù)據(jù)。

4.如權(quán)利要求3所述基于大數(shù)據(jù)環(huán)境下的多源數(shù)據(jù)聚合抽樣方法，其特征在于，所述步驟(1)中，從異構(gòu)數(shù)據(jù)源中讀取結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化大數(shù)據(jù)，上傳到分布式文件系統(tǒng)HDFS進(jìn)行存儲(chǔ)；

所述異構(gòu)數(shù)據(jù)源的格式包括：Txt、Csv、Xsl、數(shù)據(jù)庫(kù)數(shù)據(jù)、jpg、mp4，并提供接口標(biāo)準(zhǔn)以便擴(kuò)展新數(shù)據(jù)源；

對(duì)于文本文件，包括Txt、Csv，通過(guò)設(shè)計(jì)文本存儲(chǔ)函數(shù)，從文本文件中讀取文本數(shù)據(jù)，存儲(chǔ)到分布式文件系統(tǒng)HDFS中；

對(duì)于Xsl文件，通過(guò)設(shè)計(jì)Xsl存儲(chǔ)函數(shù)，從Excel文件中讀取excel數(shù)據(jù)，存儲(chǔ)到分布式文件系統(tǒng)HDFS中；

對(duì)于數(shù)據(jù)庫(kù)數(shù)據(jù)，包括MySQL、Oracle，通過(guò)數(shù)據(jù)庫(kù)訪問(wèn)接口ODBC或JDBC從數(shù)據(jù)庫(kù)中讀取，存儲(chǔ)到分布式文件系統(tǒng)HDFS中；

對(duì)于其他類(lèi)型的文件，包括jpg、mp4，通過(guò)設(shè)計(jì)相應(yīng)的文件存儲(chǔ)函數(shù)，讀取相應(yīng)的數(shù)據(jù)源中的數(shù)據(jù)，存儲(chǔ)到分布式文件系統(tǒng)HDFS中。