[發(fā)明專利]電力預(yù)案文本序列標注中集外詞處理方法

在審

• 申請?zhí)枺?/td>: 202010891713.7
• 申請日: 2020-08-28
• 公開（公告）號: CN112036163A
• 公開（公告）日: 2020-12-04
• 發(fā)明（設(shè)計）人: 楊群;黃香鴻;劉紹翰
• 申請（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號: G06F40/242
• 分類號: G06F40/242;G06F40/289;G06N3/04;G06N3/08;G06Q10/06;G06Q50/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于電力預(yù)案文本序列標注中集外詞處理方法，所述方法包括：

101.構(gòu)建電力預(yù)案文本中對應(yīng)詞的詞嵌入：生成電力預(yù)案文本的嵌入矩陣，用于模型訓(xùn)練；

102.構(gòu)建電力預(yù)案文本中的部首詞典：部首詞典用于后續(xù)進行部首特征提取；

103.提取訓(xùn)練模型所需要的特征：對訓(xùn)練模型所需要的部首特征、上下文特征和字符序特征進行提取；

104.訓(xùn)練集外詞處理模型：以上述提取的特征和101得到的詞嵌入為輸入，詞嵌入為目標，訓(xùn)練集外詞處理模型；

105.采用集外詞處理模型處理集外詞：訓(xùn)練好的集外詞處理模型能夠生成集外詞的詞嵌入，生成的詞嵌入可用于電力預(yù)案文本序列標注任務(wù)。

2.根據(jù)權(quán)利要求1所述的電力預(yù)案文本序列標注中集外詞處理方法，其特征在于所述構(gòu)建電力預(yù)案文本中對應(yīng)詞的詞嵌入的具體操作是：

使用Word2vec的模型訓(xùn)練原始的電力預(yù)案文本，對Word2vec中的超參數(shù)進行調(diào)整以提高模型的訓(xùn)練速度，并對原始的預(yù)案文本抽樣進行測試，使用效果最好的模型作為最終的Word2vec模型，使用訓(xùn)練好的Word2vec模型產(chǎn)生電力預(yù)案文本對應(yīng)的詞向量。

3.根據(jù)權(quán)利要求1所述的電力預(yù)案文本序列標注中集外詞處理方法，其特征在于所述構(gòu)建電力預(yù)案文本中的部首詞典的具體操作是：

部首詞典是從大量電力預(yù)案中先總結(jié)出每個漢字對應(yīng)的部首，然后人工進行校正，為電力預(yù)案文本中的每個字與其對應(yīng)的部首建立一一映射關(guān)系，以電力預(yù)案文本中的漢字為索引，部首為對應(yīng)的值建立部首詞典。

4.根據(jù)權(quán)利要求1所述的電力預(yù)案文本序列標注中集外詞處理方法，其特征在于所述提取訓(xùn)練模型所需要的特征的具體操作是：

使用輸入的電力預(yù)案文本序列為索引，找到其中組成漢字的對應(yīng)的部首作為模型的部首特征，以矩陣的形式進行保存。

對于輸入的電力預(yù)案文本序列，通過關(guān)鍵詞匹配找到需要提取上下文的單詞，將該單詞所處的句子轉(zhuǎn)換成對應(yīng)的上下文序列，將不同的上下文序列之間用中括號隔開，以矩陣的形式進行保存。

將電力預(yù)案文本中每個詞組成的漢字序列提取出來，以對應(yīng)的矩陣進行保存。

5.根據(jù)權(quán)利要求1所述的電力預(yù)案文本序列標注中集外詞處理方法，其特征在于所述訓(xùn)練集外詞處理模型的具體操作是：

使用Transformer Encoder作為訓(xùn)練模型，選擇合適的神經(jīng)網(wǎng)絡(luò)激活函數(shù)，配置相應(yīng)的神經(jīng)網(wǎng)絡(luò)隱層以防止過擬合現(xiàn)象的產(chǎn)生，使用詞嵌入，上下文特征，漢字序列特征，部首特征作為模型的輸入，訓(xùn)練集外詞處理模型。

6.根據(jù)權(quán)利要求1所述的電力預(yù)案文本序列標注中集外詞處理方法，其特征在于所述采用集外詞處理模型處理集外詞的具體操作是：

將訓(xùn)練好的模型作為電力預(yù)案序列標注模型的數(shù)據(jù)預(yù)處理模型，在遇到集外詞時先使用集外詞處理模型生成集外詞的詞嵌入，將生成的詞嵌入輸入到序列標注模型中，產(chǎn)生對應(yīng)每個詞的標簽，將產(chǎn)生的標簽數(shù)與真實的標簽數(shù)一并進行計算，得到集外詞處理的準確率。