[發(fā)明專利]文本處理方法、裝置及其智能電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201910825661.0
• 申請(qǐng)日: 2019-09-03
• 公開（公告）號(hào): CN110532393B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計(jì)）人: 繆暢宇
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F16/332;G06F16/33;G06N20/00
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 王娟

1.一種基于人工智能的文本處理方法，包括：

構(gòu)建給定文本的候選樣本集，所述候選樣本集中的每個(gè)候選樣本包括所述給定文本和候選匹配文本；

對(duì)于每個(gè)候選樣本，提取所述候選匹配文本的關(guān)鍵詞集以及所述給定文本的關(guān)鍵詞集；

基于所述候選匹配文本的關(guān)鍵詞集以及所述給定文本的關(guān)鍵詞集，確定所述給定文本的關(guān)鍵詞集和所述候選匹配文本的關(guān)鍵詞集中關(guān)鍵詞的覆蓋率，以及

基于所述給定文本的關(guān)鍵詞集和所述候選匹配文本的關(guān)鍵詞集中關(guān)鍵詞的覆蓋率和預(yù)定閾值的比較，從所述候選樣本集中提取出目標(biāo)負(fù)樣本集。

2.如權(quán)利要求1所述的文本處理方法，其中，所述基于所述候選匹配文本的關(guān)鍵詞集從所述候選樣本集中提取出目標(biāo)負(fù)樣本集包括：

基于所述給定文本的關(guān)鍵詞集和所述候選匹配文本的關(guān)鍵詞集的關(guān)聯(lián)程度來提取目標(biāo)負(fù)樣本集。

3.如權(quán)利要求2所述的文本處理方法，其中，所述給定文本的關(guān)鍵詞集和所述候選匹配文本的關(guān)鍵詞集中關(guān)鍵詞的覆蓋率被計(jì)算為：

R＝N_com/N_total，

其中，R為關(guān)鍵詞的覆蓋率，N_com為所述給定文本的關(guān)鍵詞集和所述候選匹配文本的關(guān)鍵詞集中的公共關(guān)鍵詞的數(shù)量，N_total為所述給定文本的關(guān)鍵詞集和所述候選匹配文本的關(guān)鍵詞集中的所有關(guān)鍵詞的數(shù)量；

其中，從所述候選樣本集中提取出關(guān)鍵詞的覆蓋率R大于第一閾值且小于第二閾值的候選樣本，作為所述目標(biāo)負(fù)樣本集中的目標(biāo)負(fù)樣本。

4.如權(quán)利要求1所述的文本處理方法，其中，所述基于所述候選匹配文本的關(guān)鍵詞集從所述候選樣本集中提取出目標(biāo)負(fù)樣本集包括：

獲取所述給定文本的目標(biāo)匹配文本；

基于所述給定文本的目標(biāo)匹配文本的關(guān)鍵詞集和所述候選匹配文本的關(guān)鍵詞集的關(guān)聯(lián)程度來提取目標(biāo)負(fù)樣本集。

5.如權(quán)利要求4所述的文本處理方法，其中，所述給定文本的目標(biāo)匹配文本的關(guān)鍵詞集和所述候選匹配文本的關(guān)鍵詞集的關(guān)聯(lián)程度為所述給定文本的目標(biāo)匹配文本的關(guān)鍵詞集和所述候選匹配文本的關(guān)鍵詞集中關(guān)鍵詞的覆蓋率：

R＝N_com/N_total，

其中，R為關(guān)鍵詞的覆蓋率，N_com為所述給定文本的目標(biāo)匹配文本的關(guān)鍵詞集和所述候選匹配文本的關(guān)鍵詞集中的公共關(guān)鍵詞的數(shù)量，N_total為所述給定文本的目標(biāo)匹配文本的關(guān)鍵詞集和所述候選匹配文本的關(guān)鍵詞集中的所有關(guān)鍵詞的數(shù)量；

其中，從所述候選樣本集中提取出關(guān)鍵詞的覆蓋率R大于第一閾值且小于第二閾值的候選樣本，作為所述目標(biāo)負(fù)樣本集中的目標(biāo)負(fù)樣本。

6.如權(quán)利要求1-5中的任一項(xiàng)所述的文本處理方法，還包括：

對(duì)所述目標(biāo)負(fù)樣本集中的每個(gè)目標(biāo)負(fù)樣本進(jìn)行預(yù)測(cè)；以及

基于預(yù)測(cè)結(jié)果從所述目標(biāo)負(fù)樣本集中提取出第二目標(biāo)負(fù)樣本集。

7.如權(quán)利要求6所述的文本處理方法，其中，對(duì)所述目標(biāo)負(fù)樣本集中的每個(gè)目標(biāo)負(fù)樣本進(jìn)行預(yù)測(cè)包括：

通過二分類模型預(yù)測(cè)所述目標(biāo)負(fù)樣本集中的每個(gè)目標(biāo)負(fù)樣本的得分值，所述得分值表示所述目標(biāo)負(fù)樣本被識(shí)別為正樣本的概率；以及

從所述目標(biāo)負(fù)樣本集中提取出得分值大于預(yù)定得分閾值的目標(biāo)負(fù)樣本，作為所述第二目標(biāo)負(fù)樣本集中的目標(biāo)負(fù)樣本。

8.如權(quán)利要求7所述的文本處理方法，其中，所述二分類模型是采用隨機(jī)采樣負(fù)樣本方法進(jìn)行訓(xùn)練的。