[發(fā)明專利]一種文本處理方法、裝置及計算設(shè)備

有效

• 申請?zhí)枺?/td>: 201610171019.1
• 申請日: 2016-03-24
• 公開（公告）號: CN107229627B
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計）人: 賈應(yīng)波;周文禮;劉若曦
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06K9/62
• 代理公司: 北京億騰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽

1.一種文本處理方法，其特征在于，所述方法運(yùn)行于文本處理系統(tǒng)，所述文本處理系統(tǒng)包括至少一個計算設(shè)備，所述方法包括：

獲取源文本，所述源文本包括樣本文本和測試文本；

對所述樣本文本進(jìn)行分詞，獲取所述樣本文本中的至少一個關(guān)鍵詞以及每個關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞；

根據(jù)所述至少一個關(guān)鍵詞以及所述每個關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞，訓(xùn)練第一模型；

對所述測試文本進(jìn)行分詞，獲取所述測試文本中的待修正關(guān)鍵詞以及所述待修正關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞；

將所述待修正關(guān)鍵詞以及所述待修正關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞輸入所述第一模型，獲取所述待修正關(guān)鍵詞對應(yīng)的修正后關(guān)鍵詞；

根據(jù)所述待修正關(guān)鍵詞對應(yīng)的修正后關(guān)鍵詞和所述待修正關(guān)鍵詞，訓(xùn)練第二模型；

對待修正文本進(jìn)行分詞，將所述待修正文本的分詞結(jié)果輸入所述第二模型，修正所述待修正文本。

2.如權(quán)利要求1所述的方法，其特征在于，所述對所述樣本文本進(jìn)行分詞，獲取所述樣本文本中的至少一個關(guān)鍵詞以及每個關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞包括：

對所述樣本文本進(jìn)行分詞，獲取所述樣本文本的分詞結(jié)果，所述樣本文本的分詞結(jié)果中包括至少一個樣本文本詞；

從所述至少一個樣本文本詞中獲取所述至少一個關(guān)鍵詞，所述至少一個關(guān)鍵詞在所述樣本文本中的詞頻大于第一閾值；

獲取所述每個所述關(guān)鍵詞的待選關(guān)聯(lián)詞，從所述每個關(guān)鍵詞的待選關(guān)聯(lián)詞中獲取所述每個關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞，所述每個關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞與所述每個關(guān)鍵詞的聯(lián)合概率大于第二閾值。

3.如權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述至少一個關(guān)鍵詞以及所述每個關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞，訓(xùn)練第一模型包括：

根據(jù)所述至少一個關(guān)鍵詞、所述每個關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞以及所述每個關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞與所述每個關(guān)鍵詞的聯(lián)合概率，訓(xùn)練所述第一模型。

4.如權(quán)利要求1至3任一所述方法，其特征在于，所述將所述待修正關(guān)鍵詞以及所述待修正關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞輸入所述第一模型，獲取所述待修正關(guān)鍵詞對應(yīng)的修正后關(guān)鍵詞，包括：

利用所述第一模型將所述待修正關(guān)鍵詞修正為至少一個待選修正關(guān)鍵詞；

從所述至少一個待選修正關(guān)鍵詞中選取與所述待修正關(guān)鍵詞對應(yīng)的所述修正后關(guān)鍵詞，其中，所述修正后關(guān)鍵詞所對應(yīng)的修正概率值，為所述至少一個待選修正關(guān)鍵詞對應(yīng)的修正概率值中的最大值，每個待選修正關(guān)鍵詞對應(yīng)的修正概率值為該待選修正關(guān)鍵詞和所述待修正關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞之間的聯(lián)合概率。

5.如權(quán)利要求4所述方法，其特征在于，根據(jù)所述待修正關(guān)鍵詞對應(yīng)的修正后關(guān)鍵詞和所述待修正關(guān)鍵詞，訓(xùn)練第二模型，包括：

根據(jù)所述待修正關(guān)鍵詞對應(yīng)的修正后關(guān)鍵詞，所述待修正關(guān)鍵詞以及所述修正后關(guān)鍵詞對應(yīng)的修正概率值，訓(xùn)練所述第二模型。

6.如權(quán)利要求1-3或5任一項所述的方法，其特征在于，所述方法還包括：

獲取查詢?nèi)罩局械娜罩娟P(guān)鍵詞，所述日志關(guān)鍵詞為所述查詢?nèi)罩局性~頻大于第三閾值的詞；

將所述日志關(guān)鍵詞作為所述樣本文本的關(guān)鍵詞。

7.一種文本處理裝置，其特征在于，所述裝置包括：

分詞模塊，用于獲取源文本，所述源文本包括樣本文本和測試文本；

對所述樣本文本進(jìn)行分詞，獲取所述樣本文本中的至少一個關(guān)鍵詞以及 每個關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞；

處理模塊，用于根據(jù)所述至少一個關(guān)鍵詞以及所述每個關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞，訓(xùn)練第一模型；

所述分詞模塊還用于，對所述測試文本進(jìn)行分詞，獲取所述測試文本中的待修正關(guān)鍵詞以及所述待修正關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞；

所述處理模塊還用于，將所述待修正關(guān)鍵詞以及所述待修正關(guān)鍵詞對應(yīng)的關(guān)聯(lián)詞輸入所述第一模型，獲取所述待修正關(guān)鍵詞對應(yīng)的修正后關(guān)鍵詞；

根據(jù)所述待修正關(guān)鍵詞對應(yīng)的修正后關(guān)鍵詞和所述待修正關(guān)鍵詞，訓(xùn)練第二模型；

所述分詞模塊還用于，對待修正文本進(jìn)行分詞；

所述處理模塊還用于，將所述待修正文本的分詞結(jié)果輸入所述第二模型，修正所述待修正文本。