[發明專利]預估新詞文檔頻率的方法及裝置

有效

• 申請號: 201210566103.5
• 申請日: 2012-12-24
• 公開（公告）號: CN103885989B
• 公開（公告）日: 2017-12-01
• 發明（設計）人: 蔡兵
• 申請（專利權）人: 騰訊科技(武漢)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙)44285
• 代理人: 王仲凱

1.一種預估新詞文檔頻率的方法，其特征在于，包括：

獲取第一文檔集和第二文檔集；所述第一文檔集所包含的文檔數據產生時間早于所述第二文檔集；

分別統計每一預設常用詞在所述第一文檔集和第二文檔集中的文檔頻率；統計每一預設新詞在所述第二文檔集中的文檔頻率；

獲取所述預設常用詞在所述第一文檔集和第二文檔集中的文檔頻率的對應擬合關系；

根據所述對應擬合關系以及預設新詞在所述第二文檔集中的文檔頻率，獲取所述預設新詞在所述第一文檔集中的文檔頻率。

2.根據權利要求1所述的方法，其特征在于，所述獲取預設常用詞在所述第一文檔集和第二文檔集中的文檔頻率的對應擬合關系的步驟包括：

將所有預設常用詞在所述第一文檔集中的文檔頻率從小至大進行排序，得到排序序列；

對所述排序序列以組為單位進行分段；

計算每一組中所有預設常用詞在所述第二文檔集中的平均文檔頻率；

以每一組的所述平均文檔頻率為橫坐標，以該組中心處的排序值為縱坐標，繪制得到文檔頻率擬合曲線。

3.根據權利要求2所述的方法，其特征在于，所述根據對應擬合關系以及預設新詞在所述第二文檔集中的文檔頻率，獲取所述預設新詞在所述第一文檔集中的文檔頻率的步驟包括：

以所述預設新詞在所述第二文檔集中的文檔頻率為橫坐標，從所述文檔頻率擬合曲線中查找對應的縱坐標，即為該預設新詞在所述第一文檔集中的文檔頻率。

4.根據權利要求1、2或3所述的方法，其特征在于，所述獲取第一文檔集和第二文檔集的步驟包括：

從給定的全量文檔中隨機挑選第一預定數量的海量文檔，作為所述第一文檔集；從預定的門戶網站首頁中抓取第二預定數量的新文檔，作為所述第二文檔集；所述第一預定數量大于所述第二預定數量。

5.根據權利要求4所述的方法，其特征在于，所述第一文檔集中的文檔數據產生時間至少為兩年以上；所述第二文檔集中的文檔數據產生時間在一月之內。

6.一種預估新詞文檔頻率的裝置，其特征在于，包括：

文檔集獲取模塊，用于獲取第一文檔集和第二文檔集；所述第一文檔集所包含的文檔數據產生時間早于所述第二文檔集；

統計模塊，用于分別統計每一預設常用詞在所述第一文檔集和第二文檔集中的文檔頻率；統計每一預設新詞在所述第二文檔集中的文檔頻率；

擬合關系獲取模塊，用于獲取所述預設常用詞在所述第一文檔集和第二文檔集中的文檔頻率的對應擬合關系；

新詞文檔頻率獲取模塊，用于根據所述對應擬合關系以及預設新詞在所述第二文檔集中的文檔頻率，獲取所述預設新詞在所述第一文檔集中的文檔頻率。

7.根據權利要求6所述的裝置，其特征在于，所述擬合關系獲取模塊包括：

排序單元，用于將所有預設常用詞在所述第一文檔集中的文檔頻率從小至大進行排序，得到排序序列；

分段單元，用于對所述排序序列以組為單位進行分段；

計算單元，用于計算每一組中所有預設常用詞在所述第二文檔集中的平均文檔頻率；

繪制單元，用于以每一組的所述平均文檔頻率為橫坐標，以該組中心處的排序值為縱坐標，繪制得到文檔頻率擬合曲線。

8.根據權利要求7所述的裝置，其特征在于，所述新詞文檔頻率獲取模塊還用于以所述預設新詞在所述第二文檔集中的文檔頻率為橫坐標，從所述文檔頻率擬合曲線中查找對應的縱坐標，即為該預設新詞在所述第一文檔集中的文檔頻率。

9.根據權利要求6、7或8所述的裝置，其特征在于，所述文檔集獲取模塊還用于從給定的全量文檔中隨機挑選第一預定數量的海量文檔，作為所述第一文檔集；從預定的門戶網站首頁中抓取第二預定數量的新文檔，作為所述第二文檔集；所述第一預定數量大于所述第二預定數量。

10.根據權利要求9所述的裝置，其特征在于，所述第一文檔集中的文檔數據產生時間至少為兩年以上；所述第二文檔集中的文檔數據產生時間在一月之內。