[發(fā)明專利]一種基于自主進(jìn)化學(xué)習(xí)器的信息預(yù)測(cè)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011022909.9
• 申請(qǐng)日: 2020-09-25
• 公開（公告）號(hào): CN112163068B
• 公開（公告）日: 2022-11-01
• 發(fā)明（設(shè)計(jì)）人: 馬艷;鄒立達(dá);韓英昆;齊達(dá)立;馬雷;陳玉峰
• 申請(qǐng)（專利權(quán)）人: 國(guó)網(wǎng)山東省電力公司電力科學(xué)研究院;國(guó)家電網(wǎng)有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F40/284;G06N3/08;G06N3/12
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 李琳

本發(fā)明提供了一種基于自主進(jìn)化學(xué)習(xí)器的信息預(yù)測(cè)方法及系統(tǒng)，基于自主訓(xùn)練方法，可以為模型找到其所需要的數(shù)據(jù)維度，以及有效的模型網(wǎng)絡(luò)結(jié)構(gòu)，自動(dòng)完成各個(gè)模型訓(xùn)練，通過(guò)自主訓(xùn)練與遺傳相結(jié)合的方法，加快模型各類參數(shù)尋優(yōu)過(guò)程。本發(fā)明通過(guò)多模型訓(xùn)練的方式解決了信息挖掘中數(shù)據(jù)維度災(zāi)難的問題。

技術(shù)領(lǐng)域

本發(fā)明屬于信息預(yù)測(cè)技術(shù)領(lǐng)域，具體涉及一種基于自主進(jìn)化學(xué)習(xí)器的信息預(yù)測(cè)方法及系統(tǒng)。

背景技術(shù)

本部分的陳述僅僅是提供了與本發(fā)明相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

信息數(shù)據(jù)的有效提取和篩選對(duì)于信息推薦或預(yù)測(cè)領(lǐng)域來(lái)說(shuō)尤為重要。

但據(jù)發(fā)明人了解，目前互聯(lián)網(wǎng)中的數(shù)據(jù)量大，且很多數(shù)據(jù)來(lái)自不同的領(lǐng)域，每個(gè)數(shù)據(jù)源又有很多數(shù)據(jù)屬性，因此，這些數(shù)據(jù)的維度也是巨大的。面對(duì)過(guò)多的數(shù)據(jù)源，使用單一的學(xué)習(xí)器很難做到對(duì)信息準(zhǔn)確的處理，如果采用人工方式進(jìn)行信息預(yù)處理，則也是一個(gè)繁重工作，且對(duì)技術(shù)人員的專業(yè)能力要求高，可靠性也偏低。

發(fā)明內(nèi)容

本發(fā)明為了解決上述問題，提出了一種基于自主進(jìn)化學(xué)習(xí)器的信息預(yù)測(cè)方法及系統(tǒng)，本發(fā)明通過(guò)多模型訓(xùn)練的方式解決了信息挖掘中數(shù)據(jù)維度災(zāi)難的問題。

根據(jù)一些實(shí)施例，本發(fā)明采用如下技術(shù)方案：

一種基于自主進(jìn)化學(xué)習(xí)器的信息預(yù)測(cè)方法，包括以下步驟：

從數(shù)據(jù)源獲取文本數(shù)據(jù)，并對(duì)文本數(shù)據(jù)進(jìn)行向量表示與向量提取，確定熱點(diǎn)詞匯，對(duì)確定的熱點(diǎn)詞匯標(biāo)注和關(guān)聯(lián)，生成訓(xùn)練數(shù)據(jù)；

構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，利用訓(xùn)練數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

進(jìn)入自主進(jìn)化學(xué)習(xí)過(guò)程，刪除預(yù)測(cè)不準(zhǔn)確的詞匯，增加目標(biāo)領(lǐng)域詞匯，并對(duì)于預(yù)測(cè)沒有貢獻(xiàn)的數(shù)據(jù)維度進(jìn)行剪枝，更新訓(xùn)練數(shù)據(jù)；

利用更新后的訓(xùn)練數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，如果訓(xùn)練結(jié)果未達(dá)到設(shè)定條件，則重新進(jìn)入自主進(jìn)化學(xué)習(xí)過(guò)程，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行更新，直到滿足設(shè)定條件；

基于相似領(lǐng)域聚類的群體交叉對(duì)遺傳算法改進(jìn)，利用改進(jìn)的遺傳算法生成新的神經(jīng)網(wǎng)絡(luò)模型，再次進(jìn)入自主進(jìn)化學(xué)習(xí)過(guò)程，直到滿足設(shè)定條件；

利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型對(duì)獲取的文本數(shù)據(jù)進(jìn)行預(yù)測(cè)，有任一神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)某一信息為熱點(diǎn)詞匯，則將其作為熱點(diǎn)詞匯，得到預(yù)測(cè)結(jié)果。

作為可選擇的實(shí)施方式，對(duì)文本數(shù)據(jù)進(jìn)行向量表示與向量提取，確定熱點(diǎn)詞匯的具體過(guò)程包括：從數(shù)據(jù)源爬取相關(guān)文本數(shù)據(jù)，基于文本數(shù)據(jù)中詞匯出現(xiàn)的頻率、訪問量和主題詞，確定相應(yīng)的詞匯為熱點(diǎn)詞匯。

作為可選擇的實(shí)施方式，對(duì)確定的熱點(diǎn)詞匯標(biāo)注和關(guān)聯(lián)的具體過(guò)程包括：依據(jù)熱點(diǎn)詞匯出現(xiàn)的文本數(shù)據(jù)，標(biāo)記該熱點(diǎn)詞匯所屬技術(shù)領(lǐng)域，并隨機(jī)配置多個(gè)數(shù)據(jù)維度的數(shù)據(jù)進(jìn)行關(guān)聯(lián)。

作為可選擇的實(shí)施方式，構(gòu)建神經(jīng)網(wǎng)絡(luò)模型的具體過(guò)程包括：構(gòu)建多個(gè)深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，利用V_j＝V_r|r∈[0，R_j-1]表示一個(gè)深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其中R_j表示模型j的層數(shù)，V_r表示第r層的節(jié)點(diǎn)數(shù)量，R_j與V_r在一定范圍內(nèi)隨機(jī)生成，r為整數(shù)，對(duì)每個(gè)模型進(jìn)行編碼，利用D_j，V_j，W_j表示模型j的編碼，其中D_j是模型j訓(xùn)練時(shí)選用數(shù)據(jù)的維度，V_j則是其網(wǎng)絡(luò)結(jié)構(gòu)，W_j是其目標(biāo)領(lǐng)域詞匯集合。

作為可選擇的實(shí)施方式，所述自主進(jìn)化學(xué)習(xí)過(guò)程包括：

1)對(duì)于一個(gè)模型，在其測(cè)試數(shù)據(jù)中，刪去預(yù)測(cè)誤差超過(guò)設(shè)定值的詞匯；