[發明專利]一種文本數據統計方法、裝置和服務器

在審

• 申請號: 201711436235.5
• 申請日: 2017-12-26
• 公開（公告）號: CN108197102A
• 公開（公告）日: 2018-06-22
• 發明（設計）人: 雍倩;尹存祥;吳偉佳;黎愛坤;鄢勝利;韋庭
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 王珺;徐瑞紅

1.一種文本數據統計方法，其特征在于，包括：

獲取目標文本和第一待比對文本集合；其中，所述第一待比對文本集合包括多個待比對文本，每個待比對文本為用戶在一次搜索中輸入的搜索文本；

根據短文本語義相似度算法，計算每個待比對文本與所述目標文本之間的文本相似度，并且將所述文本相似度大于第一閾值的待比對文本作為待分析對象；和

基于用戶的至少一個屬性，對所述待分析對象對應的用戶進行統計，生成并輸出統計結果。

2.根據專利要求1所述的方法，其特征在于，所述根據短文本語義相似度算法，計算每個待比對文本與所述目標文本之間的文本相似度，并且將所述文本相似度大于第一閾值的待比對文本作為待分析對象包括：

利用Elasticsearch，計算每個待比對文本和所述目標文本之間的第一相似度；

從所述第一待比對文本集合中篩選出所述第一相似度大于第二閾值的待比對文本，并且將剩余的待比對文本作為第二待比對文本集合；

針對所述目標文本和所述第二待比對文本集合中的每個文本進行分詞，得到用于每個文本的至少一個關鍵詞；

利用word2vec模型對所述至少一個關鍵詞進行向量表示，并且將用于每個文本的向量進行累加，得到相應的累加結果；和

根據用于所述目標文本的累加結果和用于所述第二待比對文本集合中的每個待比對文本的累加結果，計算所述第二待比對文本集合中的每個待比對文本和所述目標文本之間的文本相似度，并且將所述文本相似度大于第一閾值的待比對文本作為待分析對象。

3.根據權利要求2所述的方法，其特征在于，所述文本相似度為余弦相似度，并且利用以下公式來計算所述余弦相似度：

其中，x和y均為向量，sim(X,Y)為向量x和y之間的相似度。

4.根據權利要求1所述的方法，其特征在于，基于用戶的至少一個屬性對所述待分析對象對應的用戶進行統計分析，生成并輸出統計結果包括：

獲取每個待分析對象對應的用戶的屬性；

利用預設屬性庫，對所獲取的屬性進行篩選，選擇置信度大于第三閾值的至少一個屬性；和

基于所述至少一個屬性，對所述待分析對象對應的用戶進行統計分析，生成并輸出統計結果。

5.根據權利要求1所述的方法，其特征在于，每個待比對文本為預設時間段內用戶在一次搜索中輸入的搜索文本。

6.一種文本數據統計裝置，其特征在于，包括：

獲取模塊，用于獲取目標文本和第一待比對文本集合；其中，所述第一待比對文本集合包括多個待比對文本，每個待比對文本為用戶在一次搜索中輸入的搜索文本；

相似度計算模塊，用于根據短文本語義相似度算法，計算每個待比對文本與所述目標文本之間的文本相似度，并且將所述文本相似度大于第一閾值的待比對文本作為待分析對象；和

統計模塊，用于基于用戶的至少一個屬性，對所述待分析對象對應的用戶進行統計，生成并輸出統計結果。

7.根據權利要求6所述的裝置，其特征在于，所述相似度計算模塊包括：

第一相似度計算單元，用于利用Elasticsearch，計算每個待比對文本和所述目標文本之間的第一相似度；

篩選單元，用于從所述第一待比對文本集合中篩選出所述第一相似度大于第二閾值的待比對文本，并且將剩余的待比對文本作為第二待比對文本集合；

分詞單元，用于針對所述目標文本和所述第二待比對文本集合中的每個文本進行分詞，得到用于每個文本的至少一個關鍵詞；

向量計算單元，用于利用word2vec模型對所述至少一個關鍵詞進行向量表示，并且將用于每個文本的向量進行累加，得到相應的累加結果；和

文本相似度計算單元，用于根據用于所述目標文本的累加結果和用于所述第二待比對文本集合中的每個待比對文本的累加結果，計算所述第二待比對文本集合中的每個待比對文本和所述目標文本之間的文本相似度，并且將所述文本相似度大于第一閾值的待比對文本作為待分析對象。