[發明專利]文本過濾方法、裝置、設備和介質

有效

• 申請號: 202010081748.4
• 申請日: 2020-02-06
• 公開（公告）號: CN113221550B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 連義江;劉文強;賈靜
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/30;G06F40/247
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種文本過濾方法，其特征在于，包括：

對目標文本進行切詞，得到候選詞序列；

對所述候選詞序列中的詞語進行詞性標注；

根據詞性標注結果，過濾所述候選詞序列中的冗余詞，以生成目標詞序列；

根據所述目標詞序列，確定所述目標文本的同義文本；

若所述目標文本為待檢索文本，則匹配待檢索文本的同義文本與經過冗余過濾的關鍵文本；

計算所述待檢索文本和未經冗余過濾的關鍵文本的相似度；

若所述待檢索文本的同義文本與經過冗余過濾的關鍵文本匹配一致，且相似度計算結果大于設定相似度閾值，則展示關鍵文本關聯的待投放信息；其中，所述關鍵文本是待投放信息中的關鍵詞。

2.根據權利要求1所述的方法，其特征在于，所述根據詞性標注結果，過濾所述候選詞序列中的冗余詞，包括：

根據詞性標注結果，從所述候選詞序列中確定候選冗余詞；

根據已知的非冗余詞，對所述候選冗余詞進行過濾，以得到目標冗余詞；

過濾所述候選詞序列中的所述目標冗余詞。

3.根據權利要求2所述的方法，其特征在于，所述根據詞性標注結果，從所述候選詞序列中確定候選冗余詞，包括：

將所述候選詞序列中，詞性標注結果為連詞、嘆詞、擬聲詞、介詞、助詞和語氣詞中至少一種的詞語，作為候選冗余詞。

4.根據權利要求1所述的方法，其特征在于，所述計算所述待檢索文本和未經冗余過濾的關鍵文本的相似度包括：

將所述待檢索文本和未經冗余過濾的關鍵文本輸入預先訓練的相似度計算模型，輸出所述待檢索文本和未經冗余過濾的關鍵文本的相似度；

其中，所述相似度計算模型的訓練包括兩個階段，第一階段中基于第一樣本數據集對初始模型進行訓練；

第二階段中基于第二樣本數據集，對經過第一階段訓練的初始模型進行訓練，所述第一樣本數據集的樣本數量大于所述第二樣本數據集的樣本數量，且所述第一樣本數據集的準確率低于所述第二樣本數據集的準確率。

5.一種文本過濾裝置，其特征在于，包括：

切詞模塊，用于對目標文本進行切詞，得到候選詞序列；

詞性標注模塊，用于對所述候選詞序列中的詞語進行詞性標注；

冗余過濾模塊，用于根據詞性標注結果，過濾所述候選詞序列中的冗余詞，以生成目標詞序列；

目標文本確定模塊，用于所述根據詞性標注結果，過濾所述候選詞序列中的冗余詞，以生成目標詞序列之后，根據所述目標詞序列，確定所述目標文本的同義文本；

文本匹配模塊，用于所述根據所述目標詞序列，確定所述目標文本的同義文本之后，若所述目標文本為待檢索文本，則匹配待檢索文本的同義文本與經過冗余過濾的關鍵文本；

信息展示模塊，用于根據匹配結果，展示關鍵文本關聯的待投放信息；其中，所述關鍵文本是待投放信息中的關鍵詞；

其中，所述信息展示模塊，包括：

相似度計算單元，用于計算所述待檢索文本和未經冗余過濾的關鍵文本的相似度；

信息展示單元，用于若所述待檢索文本的同義文本與經過冗余過濾的關鍵文本匹配一致，且相似度計算結果大于設定相似度閾值，則展示關鍵文本關聯的待投放信息。

6.根據權利要求5所述的裝置，其特征在于，所述冗余過濾模塊，包括：

候選冗余詞確定單元，用于根據詞性標注結果，從所述候選詞序列中確定候選冗余詞；

目標冗余詞確定單元，用于根據已知的非冗余詞，對所述候選冗余詞進行過濾，以得到目標冗余詞；

冗余詞過濾單元，用于過濾所述候選詞序列中的所述目標冗余詞。

7.根據權利要求6所述的裝置，其特征在于，所述候選冗余詞確定單元具體用于：

將所述候選詞序列中，詞性標注結果為連詞、嘆詞、擬聲詞、介詞、助詞和語氣詞中至少一種的詞語，作為候選冗余詞。