[發明專利]語言信息的處理方法、裝置、存儲介質及電子設備

在審

• 申請號: 201911315545.0
• 申請日: 2019-12-19
• 公開（公告）號: CN111062217A
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 陶超;沙韜偉;李旭澤
• 申請（專利權）人: 江蘇滿運軟件科技有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種語言信息的處理方法，其特征在于，包括：

獲取待處理的語言信息文本內容，并對所述文本內容進行預處理，得到帶有詞性標注的漢字內容；

將所述帶有詞性標注的漢字內容輸入至BERT模型，得到漢字內容的編碼向量；

將所述編碼向量通過全連接層映射到詞性集合中，得到漢字內容的各漢字的目標詞性以及目標詞性概率，作為所述漢字內容的狀態特征；

通過CRF層來計算標簽之間的轉移特征概率，根據所述狀態特征以及所述轉移特征概率，確定漢字內容的各漢字所屬的詞性標簽。

2.根據權利要求1所述的方法，其特征在于，將所述帶有詞性標注的漢字內容輸入至BERT模型，得到漢字內容的編碼向量，包括：

從語言信息中區分所述語言信息文本內容中的贅語，并做刪除處理；

保留刪除贅語后的漢字內容的位置信息；

確定漢字內容的編碼向量。

3.根據權利要求1所述的方法，其特征在于，對所述文本內容進行預處理，得到帶有詞性標注的漢字內容，包括：

去除所述文本內容中的特殊符號、生僻字以及繁體字；

根據目標領域的自定義詞典進行切詞，并對切詞之后的漢字內容進行拼音糾錯，以完成預處理；

對預處理結果進行詞性標注。

4.根據權利要求3所述的方法，其特征在于，對預處理結果進行詞性標注，包括：

獲取切詞結果中每個漢字的詞性信息；

將每個漢字的詞性信息添加至該漢字的詞性標志位，得到詞性標注結果。

5.根據權利要求1所述的方法，其特征在于，獲取待處理的語言信息文本內容，包括：

獲取服務器中存儲的離線對話內容，并將所述離線對話內容通過轉譯工具轉譯得到文本內容。

6.根據權利要求3所述的方法，其特征在于，所述目標領域包括貨運領域。

7.一種語言信息的處理裝置，其特征在于，包括：

預處理模塊，用于獲取待處理的語言信息文本內容，并對所述文本內容進行預處理，得到帶有詞性標注的漢字內容；

編碼向量確定模塊，用于將所述帶有詞性標注的漢字內容輸入至BERT模型，得到漢字內容的編碼向量；

狀態特征確定模塊，用于將所述編碼向量通過全連接層映射到詞性集合中，得到漢字內容的各漢字的目標詞性以及目標詞性概率，作為所述漢字內容的狀態特征；

詞性標簽確定模塊，用于通過CRF層來計算標簽之間的轉移特征概率，根據所述狀態特征以及所述轉移特征概率，確定漢字內容的各漢字所屬的詞性標簽。

8.根據權利要求7所述的裝置，其特征在于，所述編碼向量確定模塊，具體用于：

從語言信息中區分所述語言信息文本內容中的贅語，并做刪除處理；

保留刪除贅語后的漢字內容的位置信息；

確定漢字內容的編碼向量。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-6中任一項所述的語言信息的處理方法。

10.一種電子設備，包括存儲器，處理器及存儲在存儲器上并可在處理器運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1-6中任一項所述的語言信息的處理方法。