[發明專利]基于數據增強的中文語法糾錯方法及裝置

在審

• 申請號: 202110758581.5
• 申請日: 2021-07-05
• 公開（公告）號: CN113822054A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 孫邱杰;王凱;樊小偉;藍海波;閔睿;劉劍青;張銳;宋磊;劉曉敏;張昊;王明軒;高欣;耿艷;李思
• 申請（專利權）人: 國網冀北電力有限公司;國家電網有限公司;北京郵電大學
• 主分類號: G06F40/253
• 分類號: G06F40/253;G06F40/232;G06F40/58;G06F40/56;G06N3/08;G06N3/04
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 侯天印;郝博

本發明公開了一種基于數據增強的中文語法糾錯方法及裝置，其中該方法包括：在訓練神經語法糾錯模型過程中，以預設固定概率，將當前輪訓練批次的輸入源語句中的每個字通過BART噪聲函數進行映射處理，得到含有不同類型語法錯誤的句子；將含有不同語法錯誤的句子及對應的目標語句作為當前輪的含噪樣本對，訓練神經語法糾錯模型，得到數據增強處理后的神經語法糾錯模型；利用增強處理后的該模型進行中文語法糾錯處理。本發明可以通過基于BART噪聲器來實現數據增強，在模型訓練的過程中自動生成大量含有不同類型語法錯誤的含噪文本，進而得到高性能的神經語法糾錯模型，利用該高性能的神經語法糾錯模型可以實現高效準確地進行中文語法糾錯。

技術領域

本發明涉人工智能技術領域，尤其涉及一種基于數據增強的中文語法糾錯方法及裝置。

背景技術

本部分旨在為權利要求書中陳述的本發明實施例提供背景或上下文。此處的描述不因為包括在本部分中就承認是現有技術。

隨著計算機技術的發展，機器學習和深度學習的研究取得了一系列重要成果，自然語言處理逐漸得到了廣泛應用，例如通過情感分析技術挖掘商品評論中的用戶喜好，通過機器翻譯技術自動為用戶翻譯外文內容等。在如今信息量與日俱增的大數據時代，每天都會產生大量的文本信息，隨之而來的語法糾錯任務也越來越繁重。傳統的人工糾錯不僅周期長、勞動強度大，而且效率低，研究快速高效的自動糾錯方法是十分必要的。中文語法糾錯任務是近些年發展起來的一項自然語言理解任務，其目的是利用自然語言處理技術，自動識別并糾正文本包含中的缺失詞、冗余詞、選詞錯誤、語序錯誤等語法錯誤。中文語法糾錯在搜索、OCR、文章評分等領域有著廣泛應用。

早期，解決語法糾錯任務的主流方法是先檢測錯誤再利用大型的字典對錯誤處的文本進行匹配，得到更正文本。近年來，為了修正更多類型的錯誤，語法糾錯任務常被作為翻譯任務處理，并引入統計機器翻譯方法來提高語法糾錯任務的性能。最近，隨著深度學習的廣泛應用，基于神經機器翻譯的方法也被應用到語法糾錯領域，如循環神經網絡、卷積神經網絡、Transformer架構等，在語法糾錯任務的公開數據集上取得了不錯的效果。

然而，在中文語法糾錯任務中，錯誤數據的訂正標注難度較大，需要有專業語言學知識的人員才能準確標注，這使得中文語法糾錯任務中難以獲得大量的標注數據。因此，采用基于神經機器翻譯方法的語法糾錯模型難以得到充分的訓練，無法獲取高效的信息特征，使得模型糾錯的準確率不高。

發明內容

本發明實施例提供一種基于數據增強的中文語法糾錯方法，用以高效準確地進行中文語法糾錯，該方法包括：

在訓練神經語法糾錯模型過程中，以預設固定概率，將當前輪訓練批次的輸入源語句中的每個字通過BART噪聲器中的噪聲函數進行映射處理，得到含有不同類型語法錯誤的句子；

將含有不同類型語法錯誤的句子及輸入源語句對應的目標語句作為所述當前輪訓練批次的含噪樣本對，訓練所述神經語法糾錯模型，直至滿足預設訓練終止條件，得到數據增強處理后的神經語法糾錯模型；

利用增強處理后的神經語法糾錯模型進行中文語法糾錯處理。

本發明實施例還提供一種基于數據增強的中文語法糾錯裝置，用以高效準確地進行中文語法糾錯，該裝置包括：

數據增強單元，用于在訓練神經語法糾錯模型過程中，以預設固定概率，將當前輪訓練批次的輸入源語句中的每個字通過BART噪聲器中的噪聲函數進行映射處理，得到含有不同類型語法錯誤的句子，包括按照如下公式得到含有不同類型語法錯誤的句子；

訓練單元，用于將含有不同類型語法錯誤的句子及輸入源語句對應的目標語句作為所述當前輪訓練批次的含噪樣本對，訓練所述神經語法糾錯模型，直至滿足預設訓練終止條件，得到數據增強處理后的神經語法糾錯模型；

處理單元，用于利用增強處理后的神經語法糾錯模型進行中文語法糾錯處理。