[發明專利]文本通順度檢測方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 202011249740.0
• 申請日: 2020-11-10
• 公開（公告）號: CN112329433A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 鄭立穎;徐亮
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/289;G06F40/30
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 梁馨怡

本發明公開了一種文本通順度檢測方法、裝置、設備及計算機可讀存儲介質，該方法包括：獲取待檢測文本，將所述待檢測文本依次進行分詞和詞性分析，得到所述待檢測文本對應的詞性信息；基于待檢測文本對應的詞性信息，確定待檢測文本中詞語的詞性關聯信息，以及基于待檢測文本，確定待檢測文本中詞語的語義信息；融合所述待檢測文本對應的所述詞性關聯信息和所述語義信息，得到所述待檢測文本對應的句子特征信息；將所述句子特征信息輸入至預存的神經網絡分類器，以對所述待檢測文本進行通順度預測，得到所述待檢測文本的文本通順度結果。本發明解決了現有的文本通順度檢測技術精度較低的技術問題，提升了文本通順度的檢測精度。

技術領域

本發明涉及自然語言處理技術領域，尤其涉及一種文本通順度檢測方法、裝置、設備及計算機可讀存儲介質。

背景技術

文本通順度是指判斷一句話或者一段話是否符合人類說話方式，在語法語義上是否是可讀可理解的。文本通順度在自然語言處理領域中有很多相關應用，例如在機器翻譯中，判斷自動翻譯后的句子是否通順；在文本摘要生成中，判斷自動生成的摘要是否通順；在文書自動評審中，判斷書寫的一句話是否通順等。

目前，對文本通順度判斷方法有兩大類，一類是通過語言學制定出人類語言范式，例如陳述句是由主謂賓構成的、定語修飾語需要加在名詞前等，但由于語言的字詞組合具有非常大的靈活性，這種方法很難對多種復雜詞性組合以及一詞多義的問題進行解決；另一類是基于n-gram的統計語言模型方法，基本思想是將文本內容按照字節進行大小為n的滑動窗口操作，將各窗口內的連續字節出現概率相乘后作為句子出現的概率，但是該方法只考慮了詞之間的共現信息，缺乏語義層面信息的考慮。

上述內容僅用于輔助理解本發明的技術方案，并不代表承認上述內容是現有技術。

發明內容

本發明的主要目的在于提供一種文本通順度檢測方法、裝置、設備及計算機可讀存儲介質，旨在解決現有的文本通順度檢測技術精度較低的技術問題。

為實現上述目的，本發明提供一種文本通順度檢測方法，所述文本通順度檢測方法包括以下步驟：

獲取待檢測文本，將所述待檢測文本依次進行分詞和詞性分析，得到所述待檢測文本對應的詞性信息；

基于所述待檢測文本對應的詞性信息，確定所述待檢測文本中詞語的詞性關聯信息，以及基于所述待檢測文本，確定所述待檢測文本中詞語的語義信息；

融合所述待檢測文本對應的所述詞性關聯信息和所述語義信息，得到所述待檢測文本對應的句子特征信息；

將所述句子特征信息輸入至預存的神經網絡分類器，以對所述待檢測文本進行通順度預測，得到所述待檢測文本的文本通順度結果。

可選地，所述基于所述待檢測文本對應的詞性信息，確定所述待檢測文本中詞語的詞性關聯信息，以及基于所述待檢測文本，確定所述待檢測文本中詞語的語義信息的步驟包括：

將所述待檢測文本對應的詞性信息輸入至詞向量模型中，確定所述待檢測文本中詞語的詞性關聯信息；

將所述待檢測文本輸入至雙向轉換編碼模型，輸出所述待檢測文本中詞語的語義信息。

可選地，所述將所述待檢測文本對應的詞性信息輸入至詞向量模型中，確定所述待檢測文本中詞語的詞性關聯信息的步驟之前，還包括：

在通順度語料庫中獲取通順度語料集，對所述通順度語料集進行分詞處理，得到所述通順度語料集對應的通順度詞集；

對所述通順度詞集進行詞性分析，得到所述通順度詞集對應的詞性信息集；

將所述詞性信息集輸入至初始詞向量模型進行訓練，得到訓練所述初始詞向量模型完成時對應的所述詞向量模型。