[發明專利]一種文本處理方法及裝置

有效

• 申請號: 201611045923.4
• 申請日: 2016-11-22
• 公開（公告）號: CN108090098B
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 王棟;宋巍;付瑞吉;王士進;胡國平;秦兵;劉挺
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;許偉群

1.一種文本處理方法，其特征在于，所述方法包括：

獲取待處理文本數據，所述文本數據包括標題的語義矩陣和每個句子的語義矩陣；

根據文本分類模型獲取所述文本數據屬于每個預設類別的概率，其中所述文本分類模型用于根據所述文本數據的標題及所述文本數據所包含的句子對所述文本數據分類；

根據所述文本數據屬于每個預設類別的概率確定所述文本數據的類別；其中，所述文本分類模型包括句子編碼層、篇章編碼層、注意力層、加權求和層、輸出層；

所述句子編碼層，用于對標題的語義矩陣及每個句子的語義矩陣進行句子級編碼以得到句子級編碼特征；

所述篇章編碼層，用于以所述句子編碼層輸出的句子級編碼特征作為輸入，從整篇文本角度對所述標題及每個句子的句子級編碼特征重新進行篇章級編碼以得到篇章級編碼特征；

所述注意力層，用于以所述篇章編碼層輸出的篇章級編碼特征作為輸入，根據所述標題及每個句子的篇章級編碼特征計算得到每個句子的重要度權重；

所述加權求和層，用于以所述注意力層輸出的每個句子的重要度權重及每個句子相應的篇章級編碼特征作為輸入，計算得到所述文本數據的語義矩陣，其中所述文本數據的語義矩陣為每個句子的重要度權重與相應的篇章級編碼特征乘積之和；

所述輸出層，用于以所述加權求和層輸出的所述文本數據的語義矩陣作為輸入，輸出為所述文本數據屬于每個預設類別的概率。

2.根據權利要求1所述的方法，其特征在于，所述文本分類模型為預先通過訓練得到的神經網絡模型；

所述根據文本分類模型獲取所述文本數據屬于每個預設類別的概率，包括：

獲取所述文本數據標題的語義矩陣和所述文本數據中每個句子的語義矩陣；

將所述標題的語義矩陣和每個句子的語義矩陣一并作為所述文本分類模型的輸入；

獲取所述文本分類模型所輸出的所述文本數據屬于每個預設類別的概率。

3.根據權利要求2所述的方法，其特征在于，所述獲取所述文本數據標題的語義矩陣和所述文本數據中每個句子的語義矩陣，包括：

獲取所述標題及每個句子所包含的每個詞的詞向量；

將所述標題所包含的每個詞的詞向量為一行組成所述標題的語義矩陣；

將所述每個句子所包含的每個詞的詞向量為一行組成每個句子的語義矩陣。

4.根據權利要求1所述的方法，其特征在于，所述注意力層根據所述標題及每個句子的篇章級編碼特征計算得到每個句子的重要度權重，包括：

根據每個句子的篇章級編碼特征與注意力層的注意力向量，計算每個句子的注意力值；

計算每個句子的篇章級編碼特征與所述標題的篇章級編碼特征相似度，以作為每個句子的主線權重；

根據每個句子的注意力值和主線權重，計算得到每個句子的重要度權重。