[發明專利]實時文本流信息檢索方法及系統

有效

• 申請號: 202010127825.5
• 申請日: 2020-02-28
• 公開（公告）號: CN111309869B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 熊俊杰;張樹誠
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/335
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王濤;孫乳筍

1.一種實時文本流信息檢索方法，其特征在于，包括：

根據預先獲取的多個檢索內容確定所述多個檢索內容的關鍵詞集合、近義詞集合和擴展語料集合；

根據所述關鍵詞集合和所述近義詞集合對實時文本流信息進行過濾，得到多個過濾文本；

根據所述擴展語料集合中擴展文本的特征向量和所述多個過濾文本的特征向量確定每個過濾文本與所述擴展語料集合中每個檢索內容之間的相似度；

當所述相似度的最大值大于預設相似度閾值時，將所述過濾文本放入所述最大值對應的檢索內容下的檢索結果集；

輸出所述多個檢索內容的檢索結果集；

將所述過濾文本放入所述最大值對應的檢索內容下的檢索結果集之前，還包括：

對所述過濾文本進行分詞處理，得到當前詞集合；

對所述檢索結果集中的每個過濾文本進行分詞處理，得到歷史詞集合；

確定所述當前詞集合與所述歷史詞集合的交集和并集；

當所述交集與所述并集的比小于預設冗余閾值時，將所述過濾文本放入所述最大值對應的檢索內容下的檢索結果集。

2.根據權利要求1所述的實時文本流信息檢索方法，其特征在于，還包括：

對文本進行分詞處理，生成每個詞的詞向量和所述詞中每個字的字向量；其中，所述文本為擴展文本或過濾文本；

根據每個詞的詞向量和所述詞中每個字的字向量得到所述文本的字詞混合向量；

將所述文本輸入預訓練模型中得到所述文本的句向量；

拼接所述文本的字詞混合向量和句向量，得到所述文本的特征向量。

3.根據權利要求2所述的實時文本流信息檢索方法，其特征在于，確定所述多個檢索內容的關鍵詞集合和近義詞集合包括：

確定所述多個檢索內容的預關鍵詞集合和所述多個檢索內容的檢索主旨的預關鍵詞集合；

檢索所述檢索內容的預關鍵詞集合和所述檢索主旨的預關鍵詞集合，得到第一預擴展語料集合；

將所述第一預擴展語料集合中的關鍵詞集合作為所述多個檢索內容的關鍵詞集合，將所述第一預擴展語料集合中的近義詞集合作為所述多個檢索內容的近義詞集合。

4.根據權利要求3所述的實時文本流信息檢索方法，其特征在于，確定所述多個檢索內容的擴展語料集合包括：

將所述第一預擴展語料集合中的關鍵詞替換為所述關鍵詞對應的近義詞，得到第二預擴展語料集合；

將所述第一預擴展語料集合和所述第二預擴展語料集合合并，得到所述擴展語料集合。

5.一種實時文本流信息檢索系統，其特征在于，包括：

集合確定單元，用于根據預先獲取的多個檢索內容確定所述多個檢索內容的關鍵詞集合、近義詞集合和擴展語料集合；

過濾單元，用于根據所述關鍵詞集合和所述近義詞集合對實時文本流信息進行過濾，得到多個過濾文本；

相似度單元，用于根據所述擴展語料集合中擴展文本的特征向量和所述多個過濾文本的特征向量確定每個過濾文本與所述擴展語料集合中每個檢索內容之間的相似度；

檢索結果單元，用于當所述相似度的最大值大于預設相似度閾值時，將所述過濾文本放入所述最大值對應的檢索內容下的檢索結果集；

輸出單元，用于輸出所述多個檢索內容的檢索結果集；

所述實時文本流信息檢索系統還包括：

第二分詞單元，用于對所述過濾文本進行分詞處理，得到當前詞集合；

第三分詞單元，用于對所述檢索結果集中的每個過濾文本進行分詞處理，得到歷史詞集合；

確定單元，用于確定所述當前詞集合與所述歷史詞集合的交集和并集；

所述檢索結果單元還用于：當所述交集與所述并集的比小于預設冗余閾值時，將所述過濾文本放入所述最大值對應的檢索內容下的檢索結果集。