[發明專利]一種電力語料標記模型構建方法及系統在審
| 申請號: | 202010547313.4 | 申請日: | 2020-06-16 |
| 公開(公告)號: | CN111831788A | 公開(公告)日: | 2020-10-27 |
| 發明(設計)人: | 田然;蘇楊;龐淵源;陳軒;顧彬;王磊;吳子辰;李霽軒;陳鑫;朱曉鴻;王鑫;于廣榮 | 申請(專利權)人: | 國網江蘇省電力有限公司信息通信分公司 |
| 主分類號: | G06F16/33 | 分類號: | G06F16/33;G06F40/247;G06F40/279;G06K9/62 |
| 代理公司: | 南京縱橫知識產權代理有限公司 32224 | 代理人: | 史俊軍 |
| 地址: | 210024 *** | 國省代碼: | 江蘇;32 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 一種 電力 語料 標記 模型 構建 方法 系統 | ||
本發明公開了一種電力語料標記模型構建方法,包括對訓練集中的已標記電力語料進行擴展,訓練初始的標記模型;判斷訓練的標記模型是否滿足預設要求,若不滿足預設要求,用該標記模型對未標記的電力語料進行標記,并將標記后的電力語料放入訓練集,對訓練集中的已標記電力語料進行擴展,重新訓練標記模型,重復該步驟,直到訓練的標記模型滿足預設要求。同時公開了相應的系統。本發明對訓練集中的已標記電力語料進行擴展,用不滿足預設要求的標記模型標記電力語料,并將標記后的電力語料加入訓練集,采用滾雪球的方式擴大訓練集,大大減少人工成本。
技術領域
本發明屬于電力領域文本語料標記領域,涉及一種電力語料標記模型構建方法及系統。
背景技術
在電力領域文本語料庫的構建中,最重要的是對真實語料的標注過程。早期,所有的數據都需要人工標注,成本很高且標注的一致性也較差。為解決傳統方法的這些問題,往往會使用半自動化標注的方法,其中主動學習的方法最為常用,主動學習方法利用學習器進行自動化語料標注,而選擇器則通過一定的算法從未標注樣本中選擇一部分交由專家手動標注,加入語料庫訓練學習器。然而在知識抽取這類復雜問題上,較少存在簡單的語料樣本,導致該方法選擇的樣本依然需要較多的時間和人力成本進行標注,無法大規模擴大學習器的訓練集。
發明內容
鑒于此,本發明提供了一種電力語料標記模型構建方法及系統,解決了現有方法無法大規模擴大訓練集的問題。
為了解決上述技術問題,本發明所采用的技術方案是:
一種電力語料標記模型構建方法,包括,
對訓練集中的已標記電力語料進行擴展,訓練初始的標記模型;
判斷訓練的標記模型是否滿足預設要求,若不滿足預設要求,用該標記模型對未標記的電力語料進行標記,并將標記后的電力語料放入訓練集,對訓練集中的已標記電力語料進行擴展,重新訓練標記模型,重復該步驟,直到訓練的標記模型滿足預設要求。
對訓練集中的已標記電力語料進行擴展,具體過程為,
以一句話作為序列,對已標記電力語料進行序列劃分;
基于同義詞詞典、電力領域專業詞典,對序列中的同義詞進行替換,將替換后的序列加入訓練集;
對原序列和替換后的序列進行回譯,將回譯后的序列加入訓練集;
對長度大于極大閾值的回譯后的序列進行裁剪,將裁剪后的序列加入訓練集;
對長度小于極小閾值的若干回譯后的序列進行拼接,將拼接后的序列加入訓練集。
裁剪和拼接之前的序列保留。
采用增量學習的方式,重新訓練標記模型。
一種電力語料標記模型構建系統,包括,
初始模塊:對訓練集中的已標記電力語料進行擴展,訓練初始的標記模型;
增量訓練模塊:判斷訓練的標記模型是否滿足預設要求,若不滿足預設要求,用該標記模型對未標記的電力語料進行標記,并將標記后的電力語料放入訓練集,對訓練集中的已標記電力語料進行擴展,重新訓練標記模型,重復該步驟,直到訓練的標記模型滿足預設要求。
初始模塊包括訓練樣本擴展模塊,訓練樣本擴展模塊:對訓練集中的已標記電力語料進行擴展;
訓練樣本擴展模塊包括,
序列劃分模塊:以一句話作為序列,對已標記電力語料進行序列劃分;
同義詞替換模塊:基于同義詞詞典、電力領域專業詞典,對序列中的同義詞進行替換,將替換后的序列加入訓練集;
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于國網江蘇省電力有限公司信息通信分公司,未經國網江蘇省電力有限公司信息通信分公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202010547313.4/2.html,轉載請聲明來源鉆瓜專利網。





