[發(fā)明專(zhuān)利]一種電力領(lǐng)域文本分類(lèi)的方法和存儲(chǔ)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011070721.1
• 申請(qǐng)日: 2020-10-09
• 公開(kāi)（公告）號(hào): CN112328785A
• 公開(kāi)（公告）日: 2021-02-05
• 發(fā)明（設(shè)計(jì)）人: 陳江海;梁懿;蘇江文;宋立華
• 申請(qǐng)（專(zhuān)利權(quán)）人: 福建億榕信息技術(shù)有限公司;國(guó)網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)有限公司;國(guó)網(wǎng)信通億力科技有限責(zé)任公司
• 主分類(lèi)號(hào): G06F16/35
• 分類(lèi)號(hào): G06F16/35;G06N3/04;G06N3/08;G06K9/62;G06Q50/06
• 代理公司: 福州市景弘專(zhuān)利代理事務(wù)所(普通合伙) 35219
• 代理人: 林祥翔;魏小霞

1.一種電力領(lǐng)域文本分類(lèi)的方法，其特征在于，包括步驟：

構(gòu)建電力預(yù)訓(xùn)練模型；

獲取待訓(xùn)練數(shù)據(jù)，對(duì)所述待訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理；

選取L個(gè)深度學(xué)習(xí)框架，所述L值大于等于2；

對(duì)預(yù)處理后的待訓(xùn)練數(shù)據(jù)進(jìn)行隨機(jī)取樣生成K組訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括：模型訓(xùn)練數(shù)據(jù)和模型驗(yàn)證數(shù)據(jù)；

設(shè)置M個(gè)超參組合，結(jié)合所述電力預(yù)訓(xùn)練模型、所述L個(gè)深度學(xué)習(xí)框架和所述模型訓(xùn)練數(shù)據(jù)生成L*K*M個(gè)業(yè)務(wù)分類(lèi)子模型；

根據(jù)所述模型驗(yàn)證數(shù)據(jù)對(duì)所述L*K*M個(gè)業(yè)務(wù)分類(lèi)子模型進(jìn)行驗(yàn)證，得每個(gè)業(yè)務(wù)分類(lèi)子模型的模型評(píng)估數(shù)據(jù)；

根據(jù)所述模型評(píng)估數(shù)據(jù)調(diào)整模型參數(shù)，直至確定最佳超參使得獲得的業(yè)務(wù)分類(lèi)子模型符合預(yù)設(shè)條件，共生成L*K個(gè)符合預(yù)設(shè)條件的業(yè)務(wù)分類(lèi)子模型；

輸入待預(yù)測(cè)文本至符合預(yù)設(shè)條件的業(yè)務(wù)分類(lèi)子模型，得文本分類(lèi)結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種電力領(lǐng)域文本分類(lèi)的方法，其特征在于，所述“構(gòu)建電力預(yù)訓(xùn)練模型”，還包括步驟：

獲取電力語(yǔ)料；

獲取預(yù)設(shè)的預(yù)訓(xùn)練模型；

通過(guò)預(yù)設(shè)的預(yù)訓(xùn)練模型對(duì)所述電力語(yǔ)料進(jìn)行訓(xùn)練得電力預(yù)訓(xùn)練模型。

3.根據(jù)權(quán)利要求1所述的一種電力領(lǐng)域文本分類(lèi)的方法，其特征在于，所述“對(duì)所述待訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理”，還包括步驟：

對(duì)所述待訓(xùn)練數(shù)據(jù)進(jìn)行初步處理，所述初步處理包括：去除特殊字符、刪除重復(fù)數(shù)據(jù)；

對(duì)所述初步處理后的待訓(xùn)練數(shù)據(jù)進(jìn)行數(shù)據(jù)擴(kuò)增操作，所述數(shù)據(jù)擴(kuò)增操作包括以下中的一種或多種：同義詞替換、隨機(jī)插入、隨機(jī)交換、隨機(jī)刪除。

4.根據(jù)權(quán)利要求1所述的一種電力領(lǐng)域文本分類(lèi)的方法，其特征在于，所述“選取L個(gè)深度學(xué)習(xí)框架”，還包括步驟：

選取4個(gè)深度學(xué)習(xí)框架；

所述“輸入待預(yù)測(cè)文本至符合預(yù)設(shè)條件的業(yè)務(wù)分類(lèi)子模型，得文本分類(lèi)結(jié)果”，還包括步驟：

所述待預(yù)測(cè)文本在所述4K個(gè)符合預(yù)設(shè)條件的業(yè)務(wù)分類(lèi)子模型屬于分類(lèi)i的結(jié)果個(gè)數(shù)分別為：a、b、c、d，所述4個(gè)深度學(xué)習(xí)框架對(duì)應(yīng)的得分權(quán)重分別為：T、K、V、W，則所述待預(yù)測(cè)文本屬于分類(lèi)i的概率為：

P_i＝(aT+bK+cV+dW)/(4K)；

計(jì)算所述待預(yù)測(cè)文本的所有的分類(lèi)概率，得最終的分類(lèi)結(jié)果。

5.根據(jù)權(quán)利要求1所述的一種電力領(lǐng)域文本分類(lèi)的方法，其特征在于，所述深度學(xué)習(xí)框架包括以下中的一種或多種：Bert、paddle、xlnet、albert。

6.一種存儲(chǔ)設(shè)備，其中存儲(chǔ)有指令集，其特征在于，所述指令集用于執(zhí)行：構(gòu)建電力預(yù)訓(xùn)練模型；

獲取待訓(xùn)練數(shù)據(jù)，對(duì)所述待訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理；

選取L個(gè)深度學(xué)習(xí)框架，所述L值大于等于2；

對(duì)預(yù)處理后的待訓(xùn)練數(shù)據(jù)進(jìn)行隨機(jī)取樣生成K組訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括：模型訓(xùn)練數(shù)據(jù)和模型驗(yàn)證數(shù)據(jù)；

設(shè)置M個(gè)超參組合，結(jié)合所述電力預(yù)訓(xùn)練模型、所述L個(gè)深度學(xué)習(xí)框架和所述模型訓(xùn)練數(shù)據(jù)生成L*K*M個(gè)業(yè)務(wù)分類(lèi)子模型；

根據(jù)所述模型驗(yàn)證數(shù)據(jù)對(duì)所述L*K*M個(gè)業(yè)務(wù)分類(lèi)子模型進(jìn)行驗(yàn)證，得每個(gè)業(yè)務(wù)分類(lèi)子模型的模型評(píng)估數(shù)據(jù)；

根據(jù)所述模型評(píng)估數(shù)據(jù)調(diào)整模型參數(shù)，直至確定最佳超參使得獲得的業(yè)務(wù)分類(lèi)子模型符合預(yù)設(shè)條件，共生成L*K個(gè)符合預(yù)設(shè)條件的業(yè)務(wù)分類(lèi)子模型；

輸入待預(yù)測(cè)文本至符合預(yù)設(shè)條件的業(yè)務(wù)分類(lèi)子模型，得文本分類(lèi)結(jié)果。

7.根據(jù)權(quán)利要求6所述的一種存儲(chǔ)設(shè)備，其特征在于，所述指令集還用于執(zhí)行：所述“構(gòu)建電力預(yù)訓(xùn)練模型”，還包括步驟：

獲取電力語(yǔ)料；

獲取預(yù)設(shè)的預(yù)訓(xùn)練模型；

通過(guò)預(yù)設(shè)的預(yù)訓(xùn)練模型對(duì)所述電力語(yǔ)料進(jìn)行訓(xùn)練得電力預(yù)訓(xùn)練模型。