[發(fā)明專利]離散智能制造應(yīng)用的多源非結(jié)構(gòu)化數(shù)據(jù)清洗方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110286194.6
• 申請(qǐng)日: 2021-03-17
• 公開(kāi)（公告）號(hào): CN112905845B
• 公開(kāi)（公告）日: 2022-06-21
• 發(fā)明（設(shè)計(jì)）人: 李孝斌;廖喜年;石志立;尹超;劉宇杰;凌婕
• 申請(qǐng)（專利權(quán)）人: 重慶大學(xué)
• 主分類號(hào): G06F16/90
• 分類號(hào): G06F16/90;G06F16/40;G06N5/04;G06N7/00
• 代理公司: 重慶博凱知識(shí)產(chǎn)權(quán)代理有限公司 50212
• 代理人: 黃河

1.離散智能制造應(yīng)用的多源非結(jié)構(gòu)化數(shù)據(jù)清洗方法，其特征在于，包括如下步驟：

1)獲取多源非結(jié)構(gòu)化數(shù)據(jù)，對(duì)其進(jìn)行量化特征的提取，構(gòu)建多源非結(jié)構(gòu)化數(shù)據(jù)的量化描述特征，并對(duì)多源非結(jié)構(gòu)化數(shù)據(jù)的量化描述特征進(jìn)行屬性歸類，確定多源非結(jié)構(gòu)化數(shù)據(jù)的各種量化描述特征的特征屬性類別；

2)建立所述多源非結(jié)構(gòu)化數(shù)據(jù)的量化描述特征及其特征屬性類別與多源非結(jié)構(gòu)化數(shù)據(jù)的清洗類型之間的依賴關(guān)系，構(gòu)建具備相應(yīng)依賴關(guān)系的貝葉斯網(wǎng)絡(luò)，并利用已知清洗類型的多源非結(jié)構(gòu)化數(shù)據(jù)作為訓(xùn)練樣本，對(duì)貝葉斯網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

3)基于訓(xùn)練的貝葉斯網(wǎng)絡(luò)設(shè)計(jì)正向云發(fā)生器，生成清洗類型標(biāo)準(zhǔn)云，并根據(jù)所述正向云發(fā)生器設(shè)計(jì)相應(yīng)的逆向云發(fā)生器，針對(duì)待清洗的多源非結(jié)構(gòu)化數(shù)據(jù)利用逆向云發(fā)生器生成相應(yīng)的待清洗數(shù)據(jù)云，將所述待清洗數(shù)據(jù)云與所述清洗類型標(biāo)準(zhǔn)云進(jìn)行云滴分布對(duì)比，確定所述待清洗的多源非結(jié)構(gòu)化數(shù)據(jù)的清洗類型；

其中，清洗類型標(biāo)準(zhǔn)云的生成方式具體為：設(shè)計(jì)正向云發(fā)生器，以多源非結(jié)構(gòu)化數(shù)據(jù)的量化描述特征作為定量數(shù)據(jù)，以多源非結(jié)構(gòu)化數(shù)據(jù)的清洗類型作為定性指標(biāo)，并基于訓(xùn)練的貝葉斯網(wǎng)絡(luò)及其中各節(jié)點(diǎn)間的條件概率，確定定性指標(biāo)與定量數(shù)據(jù)之間的轉(zhuǎn)化關(guān)系和轉(zhuǎn)化概率，生成清洗類型標(biāo)準(zhǔn)云；所述清洗類型標(biāo)準(zhǔn)云表征了不同清洗類型各自對(duì)應(yīng)的云滴分布區(qū)域，清洗類型標(biāo)準(zhǔn)云中的云滴表征多源非結(jié)構(gòu)化數(shù)據(jù)的量化描述特征；

確定待清洗的多源非結(jié)構(gòu)化數(shù)據(jù)的清洗類型的具體方式為：根據(jù)所述正向云發(fā)生器設(shè)計(jì)相應(yīng)的逆向云發(fā)生器，提取待清洗的多源非結(jié)構(gòu)化數(shù)據(jù)的量化描述特征作為云滴，通過(guò)逆向云發(fā)生器生成待清洗數(shù)據(jù)云，確定待清洗的多源非結(jié)構(gòu)化數(shù)據(jù)的量化描述特征所對(duì)應(yīng)的云滴在待清洗數(shù)據(jù)云中的分布位置；將所述待清洗數(shù)據(jù)云與所述清洗類型標(biāo)準(zhǔn)云進(jìn)行云滴分布對(duì)比，確定待清洗的多源非結(jié)構(gòu)化數(shù)據(jù)的量化描述特征所對(duì)應(yīng)的云滴所在的分布位置所屬的清洗類型，判定為所述待清洗的多源非結(jié)構(gòu)化數(shù)據(jù)的清洗類型；

所述多源非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)類型包括視頻數(shù)據(jù)、圖片數(shù)據(jù)、音頻數(shù)據(jù)和文本數(shù)據(jù)；所述多源非結(jié)構(gòu)化數(shù)據(jù)的量化描述特征的特征屬性類別包括：

基本屬性類別，用于描述多源非結(jié)構(gòu)化數(shù)據(jù)的基礎(chǔ)信息特征；

紋理屬性類別，用于描述多源非結(jié)構(gòu)化數(shù)據(jù)的紋理信息特征；

語(yǔ)義屬性類別，用于描述多源非結(jié)構(gòu)化數(shù)據(jù)的語(yǔ)意描述特征；

4)按照所屬清洗類型預(yù)設(shè)的數(shù)據(jù)清洗策略，對(duì)所述待清洗的多源非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗。

2.根據(jù)權(quán)利要求1所述離散智能制造應(yīng)用的多源非結(jié)構(gòu)化數(shù)據(jù)清洗方法，其特征在于，所述步驟2)中，貝葉斯網(wǎng)絡(luò)的構(gòu)建方式具體為：

將多源非構(gòu)建貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)化數(shù)據(jù)的量化描述特征作為觀測(cè)節(jié)點(diǎn)，將多源非結(jié)構(gòu)化數(shù)據(jù)的各種量化描述特征所屬的特征屬性類別作為中間節(jié)點(diǎn)，將多源非結(jié)構(gòu)化數(shù)據(jù)的清洗類型作為目標(biāo)節(jié)點(diǎn)，構(gòu)建貝葉斯網(wǎng)絡(luò)的網(wǎng)絡(luò)構(gòu)架，該網(wǎng)絡(luò)構(gòu)架作為多源非結(jié)構(gòu)化數(shù)據(jù)的量化描述特征及其特征屬性類別與多源非結(jié)構(gòu)化數(shù)據(jù)的清洗類型之間的依賴關(guān)系。

3.根據(jù)權(quán)利要求2所述離散智能制造應(yīng)用的多源非結(jié)構(gòu)化數(shù)據(jù)清洗方法，其特征在于，所述步驟2)中，對(duì)貝葉斯網(wǎng)絡(luò)進(jìn)行訓(xùn)練的方式具體為：

獲取已知清洗類型的多源非結(jié)構(gòu)化數(shù)據(jù)作為訓(xùn)練樣本，提取訓(xùn)練樣本的量化描述特征及其所屬的特征屬性類別，分別輸入至所構(gòu)建的葉斯網(wǎng)絡(luò)的觀測(cè)節(jié)點(diǎn)和中間節(jié)點(diǎn)，將訓(xùn)練樣本所屬的清洗類型輸入至所構(gòu)建的葉斯網(wǎng)絡(luò)的目標(biāo)節(jié)點(diǎn)，對(duì)貝葉斯網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用訓(xùn)練后的貝葉斯網(wǎng)絡(luò)進(jìn)行概率推理，確定貝葉斯網(wǎng)絡(luò)中各節(jié)點(diǎn)間的條件概率，完成對(duì)貝葉斯網(wǎng)絡(luò)進(jìn)行訓(xùn)練的訓(xùn)練。

4.根據(jù)權(quán)利要求1所述離散智能制造應(yīng)用的多源非結(jié)構(gòu)化數(shù)據(jù)清洗方法，其特征在于，歸屬于所述基本屬性類別的量化描述特征包括多源非結(jié)構(gòu)化數(shù)據(jù)的名稱、創(chuàng)建設(shè)備、創(chuàng)建時(shí)間中的一種或多種；

歸屬于所述紋理屬性類別的量化描述特征包括多源非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)類型、視頻或圖片數(shù)據(jù)的色彩分布、視頻或圖片數(shù)據(jù)的亮度分布、視頻數(shù)據(jù)的關(guān)鍵幀特征、視頻數(shù)據(jù)或音頻數(shù)據(jù)的時(shí)間流、音頻數(shù)據(jù)的音調(diào)特征、音頻數(shù)據(jù)的音色特征、音頻數(shù)據(jù)的包絡(luò)特征、文本數(shù)據(jù)的關(guān)鍵字、文本數(shù)據(jù)的關(guān)鍵段落特征中的一種或多種；

歸屬于所述語(yǔ)義屬性類別的量化描述特征包括多源非結(jié)構(gòu)化數(shù)據(jù)的表現(xiàn)主題、作者信息、評(píng)價(jià)信息、狀態(tài)描述信息、分享討論信息、受眾群體信息中的一種或多種。

5.根據(jù)權(quán)利要求4所述離散智能制造應(yīng)用的多源非結(jié)構(gòu)化數(shù)據(jù)清洗方法，其特征在于，采用多源非結(jié)構(gòu)化數(shù)據(jù)量化描述模型，來(lái)表征多源非結(jié)構(gòu)化數(shù)據(jù)的量化描述特征及其歸屬的特征屬性類別；所述多源非結(jié)構(gòu)化數(shù)據(jù)量化描述模型通過(guò)基本屬性類別特征數(shù)據(jù)集合BD、紋理屬性類別特征數(shù)據(jù)集合LD和語(yǔ)義屬性類別特征數(shù)據(jù)集合SD來(lái)分別描述基本屬性類別、紋理屬性類別和語(yǔ)義屬性類別的量化描述特征；其中：

歸屬于基本屬性類別特征數(shù)據(jù)集合BD的每個(gè)量化描述特征所含有特征信息項(xiàng)包括基本屬性類別標(biāo)號(hào)BD_id、基本屬性類別特征項(xiàng)BD_set和基本屬性類別特征數(shù)據(jù)內(nèi)容BD_details；

歸屬于紋理屬性類別特征數(shù)據(jù)集合LD的每個(gè)量化描述特征所含有特征信息項(xiàng)包括紋理屬性類別標(biāo)號(hào)LD_id、紋理屬性特征名稱LD_name、多源非結(jié)構(gòu)化數(shù)據(jù)所屬數(shù)據(jù)類型LD_class、紋理屬性特征數(shù)據(jù)結(jié)構(gòu)LD_type和紋理屬性特征數(shù)據(jù)內(nèi)容LD_details；

歸屬于語(yǔ)義屬性類別特征數(shù)據(jù)集合SD的每個(gè)量化描述特征所含有特征信息項(xiàng)包括語(yǔ)義屬性類別標(biāo)號(hào)SD_id、語(yǔ)義屬性類別特征類型SD_type和多源非結(jié)構(gòu)化數(shù)據(jù)語(yǔ)義屬性類別關(guān)鍵詞SD_keyword。