[發(fā)明專(zhuān)利]一種將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201811289109.6
• 申請(qǐng)日: 2018-10-31
• 公開(kāi)（公告）號(hào): CN109344298A
• 公開(kāi)（公告）日: 2019-02-15
• 發(fā)明（設(shè)計(jì)）人: 黃文琦;明哲;許愛(ài)東;滑春波;陳華軍;楊航;關(guān)澤武
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南方電網(wǎng)科學(xué)研究院有限責(zé)任公司;中國(guó)南方電網(wǎng)有限責(zé)任公司
• 主分類(lèi)號(hào): G06F16/901
• 分類(lèi)號(hào): G06F16/901;G06F16/31
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

1.一種將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)的方法，包括將待轉(zhuǎn)化的非結(jié)構(gòu)化數(shù)據(jù)的目標(biāo)信息轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，其中，所述目標(biāo)信息至少包括除所述待轉(zhuǎn)化的非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容之外的文件標(biāo)題、存儲(chǔ)地址以及文件索引信息，其特征在于，還包括：

依據(jù)與所述待轉(zhuǎn)化的非結(jié)構(gòu)化數(shù)據(jù)的類(lèi)型所對(duì)應(yīng)的算法模型提取與所述待轉(zhuǎn)化的非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容對(duì)應(yīng)的第一目標(biāo)信息；

根據(jù)預(yù)定義規(guī)則將所述第一目標(biāo)信息轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)以將所述待轉(zhuǎn)化的非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)的方法，其特征在于，當(dāng)所述待轉(zhuǎn)化的非結(jié)構(gòu)化數(shù)據(jù)的類(lèi)型為文本文件時(shí)，所述算法模型具體為L(zhǎng)DA主題模型。

3.根據(jù)權(quán)利要求2所述的將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)的方法，其特征在于，所述依據(jù)與所述待轉(zhuǎn)化的非結(jié)構(gòu)化數(shù)據(jù)的類(lèi)型所對(duì)應(yīng)的算法模型提取與所述待轉(zhuǎn)化的非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容對(duì)應(yīng)的第一目標(biāo)信息具體包括：

確定所述文本文件的內(nèi)容中各數(shù)據(jù)的先驗(yàn)概率；

依據(jù)所述先驗(yàn)概率計(jì)算所述文本文件的內(nèi)容中各數(shù)據(jù)的相似度；

依據(jù)所述相似度確定出所述文本文件的內(nèi)容中各數(shù)據(jù)的類(lèi)型或語(yǔ)義，并采用聚類(lèi)算法對(duì)相同類(lèi)型或相同語(yǔ)義的數(shù)據(jù)進(jìn)行聚類(lèi)處理以得出所述第一目標(biāo)信息。

4.根據(jù)權(quán)利要求1所述的將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)的方法，其特征在于，當(dāng)所述待轉(zhuǎn)化的非結(jié)構(gòu)化數(shù)據(jù)的類(lèi)型為圖像文件或視頻文件時(shí)，所述算法模型具體為深度神經(jīng)網(wǎng)絡(luò)模型。

5.根據(jù)權(quán)利要求4所述的將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)的方法，其特征在于，所述依據(jù)與所述待轉(zhuǎn)化的非結(jié)構(gòu)化數(shù)據(jù)的類(lèi)型所對(duì)應(yīng)的算法模型提取與所述待轉(zhuǎn)化的非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容對(duì)應(yīng)的第一目標(biāo)信息具體為：

采用所述深度神經(jīng)網(wǎng)絡(luò)模型中的RBF徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)提取所述第一目標(biāo)信息。

6.根據(jù)權(quán)利要求5所述的將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)的方法，其特征在于，當(dāng)所述待轉(zhuǎn)化的非結(jié)構(gòu)化數(shù)據(jù)的類(lèi)型為圖像文件時(shí)，所述采用所述深度神經(jīng)網(wǎng)絡(luò)模型中的RBF徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)提取所述第一目標(biāo)信息具體包括：

對(duì)所述圖像文件進(jìn)行分割處理得出多個(gè)子圖像；

采用所述RBF徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)對(duì)各所述子圖像進(jìn)行特征提取，并對(duì)所提取的特征進(jìn)行聚類(lèi)分析以得出第二目標(biāo)信息，并將所述第二目標(biāo)信息作為所述第一目標(biāo)信息。

7.根據(jù)權(quán)利要求5所述的將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)的方法，其特征在于，當(dāng)所述待轉(zhuǎn)化的非結(jié)構(gòu)化數(shù)據(jù)的類(lèi)型為視頻文件時(shí)，所述采用所述深度神經(jīng)網(wǎng)絡(luò)模型中的RBF徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)提取所述第一目標(biāo)信息具體包括：

依據(jù)確定出的分割參數(shù)將所述視頻文件的內(nèi)容進(jìn)行分割處理得出多個(gè)子視頻；將各所述子視頻采用逐幀分析的方式轉(zhuǎn)換為子圖像；

采用所述RBF徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)對(duì)各所述子圖像進(jìn)行特征提取，并對(duì)所提取的特征進(jìn)行聚類(lèi)分析以得出第三目標(biāo)信息，并將所述第三目標(biāo)信息作為所述第一目標(biāo)信息。

8.根據(jù)權(quán)利要求1至7任意一項(xiàng)所述的將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)的方法，其特征在于，所述根據(jù)預(yù)定義規(guī)則將所述第一目標(biāo)信息轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)具體包括：

按照與所述待轉(zhuǎn)化的非結(jié)構(gòu)化數(shù)據(jù)的文件模板將所述第一目標(biāo)信息轉(zhuǎn)換為半結(jié)構(gòu)化數(shù)據(jù)；

對(duì)所述半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行MapReduce并行處理；

利用XML技術(shù)將所述MapReduce并行處理后的半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)。