[發(fā)明專利]一種文本關(guān)鍵詞處理方法、裝置及設(shè)備

在審

• 申請?zhí)枺?/td>: 202010412802.9
• 申請日: 2020-05-15
• 公開（公告）號: CN111339751A
• 公開（公告）日: 2020-06-26
• 發(fā)明（設(shè)計）人: 劉凡
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/289;G06F40/253;G06F16/35
• 代理公司: 北京國昊天誠知識產(chǎn)權(quán)代理有限公司 11315
• 代理人: 許振新

1.一種文本關(guān)鍵詞處理方法，包括：

基于分詞及詞性標(biāo)注后的語句文本進行依存句法分析，得到所述語句文本內(nèi)各分詞的句法依存關(guān)系；

基于所述語句文本中各分詞的句法依存關(guān)系和詞性，生成所述語句文本中各分詞對應(yīng)的分詞樣本；

分別將所述各分詞對應(yīng)的分詞樣本作為關(guān)鍵詞識別模型的輸入，以得到各分詞對應(yīng)的關(guān)鍵詞標(biāo)簽，所述關(guān)鍵詞識別模型基于批量的語句文本對應(yīng)的訓(xùn)練分詞樣本及訓(xùn)練分詞樣本對應(yīng)的關(guān)鍵詞標(biāo)簽訓(xùn)練得到，所述訓(xùn)練分詞樣本具有與所述分詞樣本相同維度的特征；

基于各分詞及對應(yīng)的關(guān)鍵詞標(biāo)簽，得到所述語句文本的關(guān)鍵詞信息。

2.根據(jù)權(quán)利要求1所述的方法，所述關(guān)鍵詞標(biāo)簽包括關(guān)鍵標(biāo)簽和非關(guān)鍵標(biāo)簽，所述關(guān)鍵標(biāo)簽和非關(guān)鍵標(biāo)簽分別用于表征標(biāo)簽對應(yīng)的分詞為關(guān)鍵詞和非關(guān)鍵詞；

其中，所述基于各分詞及對應(yīng)的關(guān)鍵詞標(biāo)簽，得到所述語句文本的關(guān)鍵詞信息，包括：

確定各分詞中關(guān)鍵標(biāo)簽對應(yīng)的關(guān)鍵分詞；

基于各關(guān)鍵分詞，得到所述語句文本的關(guān)鍵詞信息。

3.根據(jù)權(quán)利要求2所述的方法，所述關(guān)鍵標(biāo)簽包括多個關(guān)鍵級別標(biāo)簽，所述多個關(guān)鍵級別標(biāo)簽用于表征分詞的多個關(guān)鍵級別；

其中，所述基于各關(guān)鍵分詞，得到所述語句文本的關(guān)鍵詞信息，包括：

基于各關(guān)鍵分詞對應(yīng)的關(guān)鍵級別標(biāo)簽，確定各關(guān)鍵分詞的關(guān)鍵級別；

基于所述各關(guān)鍵分詞及對應(yīng)的關(guān)鍵級別，得到所述語句文本的關(guān)鍵詞信息。

4.根據(jù)權(quán)利要求3所述的方法，所述訓(xùn)練分詞樣本對應(yīng)的關(guān)鍵級別標(biāo)簽包括：

第一類分詞或否定助詞的第二類分詞對應(yīng)的第一關(guān)鍵級別標(biāo)簽，所述第一類分詞用于表達語句文本的語義，所述第二類分詞用于修飾所述第一類分詞；

非否定助詞的所述第二類分詞對應(yīng)的第二關(guān)鍵級別標(biāo)簽；

第三類分詞對應(yīng)的第三關(guān)鍵級別標(biāo)簽，所述第三類分詞用于修飾所述第二分詞；

其中，所述第一關(guān)鍵級別標(biāo)簽、所述第二關(guān)鍵級別標(biāo)簽、第三關(guān)鍵級別標(biāo)簽表征的分詞的關(guān)鍵級別依次降低。

5.根據(jù)權(quán)利要求4所述的方法，所述訓(xùn)練分詞樣本對應(yīng)的關(guān)鍵級別標(biāo)簽還包括：

屬于同一復(fù)句的主句中的第一目標(biāo)分詞對應(yīng)的第n關(guān)鍵級別標(biāo)簽，以及從句中的第二目標(biāo)分詞對應(yīng)的第n+1關(guān)鍵級別標(biāo)簽；

其中，所述第一目標(biāo)分詞和所述第二目標(biāo)分詞屬于同一類分詞，n大于或等于1，所述第n關(guān)鍵級別標(biāo)簽表征的分詞的關(guān)鍵級別大于第n+1關(guān)鍵級別標(biāo)簽表征的分詞的關(guān)鍵級別。

6.根據(jù)權(quán)利要求1所述的方法，所述訓(xùn)練分詞樣本還包括：分詞在語句文本中的位置。

7.根據(jù)權(quán)利要求6所述的方法，所述訓(xùn)練分詞樣本還包括：分詞的詞距特征，所述詞距特征用于表征同一語句文本中各分詞的位置與核心詞的位置之間的距離，所述核心詞為各分詞的句法依存關(guān)系中處于支配地位的分詞。

8.一種文本關(guān)鍵詞處理方法，包括：

對批量的語句文本進行分詞及詞性標(biāo)注處理；

基于分詞及詞性標(biāo)注處理后的語句文本進行依存句法分析，得到每個語句文本內(nèi)各分詞的句法依存關(guān)系；

基于每個語句文本中各分詞的句法依存關(guān)系和詞性，生成每個語句文本中各分詞對應(yīng)的訓(xùn)練分詞樣本；

將每個語句文本中各分詞對應(yīng)的訓(xùn)練分詞樣本作為關(guān)鍵詞識別模型的輸入，將分詞的關(guān)鍵詞標(biāo)簽作為所述關(guān)鍵詞識別模型的輸出，對所述關(guān)鍵詞識別模型進行訓(xùn)練。