[發明專利]一種文本處理方法及裝置

有效

• 申請號: 201611045923.4
• 申請日: 2016-11-22
• 公開（公告）號: CN108090098B
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 王棟;宋巍;付瑞吉;王士進;胡國平;秦兵;劉挺
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;許偉群

本發明實施例提供了一種文本處理方法及裝置，其中方法包括：獲取待處理文本數據；根據文本分類模型獲取所述文本數據屬于每個預設類別的概率，其中所述文本分類模型用于根據所述文本數據的標題及所述文本數據所包含的句子對所述文本數據分類；根據所述文本數據屬于每個預設類別的概率確定所述文本數據的類別。在本發明實施例中，使用文本分類模型從標題+全文這種篇章角度對待分類文本進行分類，得到當前文本屬于每個預設類別的概率，再在此基礎上最終確定文本的類別，這樣有效地提高了文本分類的效率，同時也提高了文本分類的準確性，降低了人的主觀性對分類結果的影響。

技術領域

本發明涉及自然語言處理領域，尤其涉及一種文本處理方法及裝置。

背景技術

隨著信息技術的發展，人們所面對的文本信息量也呈爆發式增長，有關文本信息的處理技術也在不斷進化。以教育領域為例，當前自動閱卷技術開始嶄露頭角，越來越多的學校或教育機構開始采用自動閱卷技術對學生的試卷進行自動批閱。很多試卷中包含作文，不過作文作為主觀性較強的試題，機器很難直接給出作文的得分。

發明人在實現本發明的過程中發現，在批改作文時，是否跑題是評分的主要關注點之一，因此對于作文的自動閱卷，評分之前先判斷出學生作文的類別很關鍵，而且不同類別的作文往往對應不同的評閱標準，因此可以說確定學生作文的類別是作文自動閱卷的基礎。在現有技術中，當需要對文章等文本進行分類時，一般采用的是人工方法，即由相關人員查看文章的內容后，給出文章的類別(如說明文、議論文等)，例如學生寫的作文，一般是需要老師查看作文內容后，給出每篇作文的文章類別。然而當文本數量較多時，人工工作量很大，分類效率很低，并且不同人對文本的理解可能會有偏差，對文本類別的標注存在主觀性。

發明內容

本發明提供一種文本處理方法及裝置，以提高文本分類的效率。

根據本發明實施例的第一方面，提供一種文本處理方法，所述方法包括：

獲取待處理文本數據；

根據文本分類模型獲取所述文本數據屬于每個預設類別的概率，其中所述文本分類模型用于根據所述文本數據的標題及所述文本數據所包含的句子對所述文本數據分類；

根據所述文本數據屬于每個預設類別的概率確定所述文本數據的類別。

可選的，所述文本分類模型為預先通過訓練得到的神經網絡模型；

所述根據文本分類模型獲取所述文本數據屬于每個預設類別的概率，包括：

獲取所述文本數據標題的語義矩陣和所述文本數據中每個句子的語義矩陣；

將所述標題的語義矩陣和每個句子的語義矩陣一并作為所述文本分類模型的輸入；

獲取所述文本分類模型所輸出的所述文本數據屬于每個預設類別的概率。

可選的，所述獲取所述文本數據標題的語義矩陣和所述文本數據中每個句子的語義矩陣，包括：

獲取所述標題及每個句子所包含的每個詞的詞向量；

將所述標題所包含的每個詞的詞向量為一行組成所述標題的語義矩陣；

將所述每個句子所包含的每個詞的詞向量為一行組成每個句子的語義矩陣。

可選的，所述文本分類模型包括句子編碼層、篇章編碼層、注意力層、加權求和層、輸出層；

所述句子編碼層，用于對標題的語義矩陣及每個句子的語義矩陣進行句子級編碼以得到句子級編碼特征；

所述篇章編碼層，用于以所述句子編碼層輸出的句子級編碼特征作為輸入，從整篇文本角度對所述標題及每個句子的句子級編碼特征重新進行篇章級編碼以得到篇章級編碼特征；