[發(fā)明專利]數(shù)據(jù)處理方法、推薦源信息組織和信息推薦方法及裝置

在審

• 申請?zhí)枺?/td>: 201410080600.3
• 申請日: 2014-03-06
• 公開（公告）號: CN104899215A
• 公開（公告）日: 2015-09-09
• 發(fā)明（設計）人: 郭奇;肖鏡輝;商勝;崔華
• 申請（專利權）人: 北京搜狗科技發(fā)展有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q30/02
• 代理公司: 北京華沛德權律師事務所 11302
• 代理人: 劉杰

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

對收集到的多個用戶進行網(wǎng)絡訪問的行為記錄數(shù)據(jù)進行過濾，以從所述收集到的行為記錄數(shù)據(jù)中獲取帶類別的樣本數(shù)據(jù)；

針對所述帶類別的樣本數(shù)據(jù)，對各類別的樣本數(shù)據(jù)分別進行特征詞抽取；

存儲所述抽取的特征詞與相應的類別之間的對應關系。

2.如權利要求1所述的方法，其特征在于，所述對收集到的多個用戶進行網(wǎng)絡訪問的行為記錄數(shù)據(jù)進行過濾包括：

根據(jù)各行為記錄數(shù)據(jù)中的統(tǒng)一資源定位符URL是否符合模板來對所述多個用戶的行為記錄數(shù)據(jù)進行過濾，并獲得帶類別的樣本數(shù)據(jù)；

其中，所述行為記錄數(shù)據(jù)中的URL包括：用戶訪問的當前頁面的URL；

或者所述行為記錄數(shù)據(jù)中的URL包括：用戶訪問的當前頁面的URL和用戶訪問的當前頁面的前一頁面的URL。

3.如權利要求2所述的方法，其特征在于，所述根據(jù)各行為記錄數(shù)據(jù)中的統(tǒng)一資源定位符URL是否符合模板來對所述多個用戶的行為記錄數(shù)據(jù)進行過濾包括：

利用帶類別的最終頁URL模板分別判斷每個行為記錄數(shù)據(jù)中的用戶訪問的當前頁面的URL是否有所屬的類別；和/或

利用帶類別的前一頁URL模板分別判斷每個行為記錄數(shù)據(jù)中的用戶訪問的當前頁面的前一頁面的URL是否有所屬的類別，利用通用的最終頁URL模板分別判斷每個行為記錄數(shù)據(jù)中的用戶訪問的沒有所屬的類別的當前頁面的URL是否屬于通用的最終頁，且在沒有所屬的類別的當前頁的URL屬于通用的最終頁的情況下，將用戶訪問的當前頁面的前一頁面的URL所屬的類別確定為用戶訪問的當前頁的URL所屬的類別。

4.如權利要求3所述的方法，其特征在于，所述對收集到的多個用戶進行網(wǎng)絡訪問的行為記錄數(shù)據(jù)進行過濾還包括：

從各行為記錄數(shù)據(jù)中分別獲取具有所屬類別的當前頁面的URL所對應的標題，并對所述標題進行前后綴過濾；和/或者，

在各行為記錄數(shù)據(jù)中的用戶訪問的當前頁面的前一頁面的URL具有所屬類別、用戶訪問的當前頁面的URL沒有所屬類別且屬于通用的最終頁的情況下，從行為記錄數(shù)據(jù)中獲取當前頁面的前一頁面的URL所對應的鏈接標題，對所述鏈接標題進行前后綴過濾；

且所述對收集到的多個用戶進行網(wǎng)絡訪問的行為記錄數(shù)據(jù)進行過濾還包括：將所述過濾后的各標題和/或者所述過濾后的各鏈接標題中的重復內容去重，獲得所述帶類別的樣本數(shù)據(jù)。

5.如權利要求1所述的方法，其特征在于，所述對各類別的樣本數(shù)據(jù)分別進行特征詞抽取包括：

針對每一個類別中的所有樣本數(shù)據(jù)，分別進行分詞處理，以獲得每一個類別的詞集合；

根據(jù)每一個類別的詞集合中的每個詞的屬性確定詞集合中的特征詞。

6.如權利要求5所述的方法，其特征在于，所述詞的屬性包括：

詞在所屬類別中的詞頻逆向文件頻率、詞在所屬類別中出現(xiàn)的次數(shù)、詞在所屬類別中出現(xiàn)的次數(shù)與詞在樣本數(shù)據(jù)中出現(xiàn)的總的次數(shù)的比例、詞在所屬類別中作為獨立搜索詞及非獨立搜索詞的比例以及詞作為獨立搜索詞與從用戶群體角度講的輸入頻率的比例中的至少一個。

7.如權利要求6所述的方法，其特征在于，其中，所述根據(jù)每一個類別的詞集合中的每個詞的屬性確定詞集合中的特征詞包括：

當詞在所屬類別中的詞頻逆向文件頻率大于第一預置閾值，或者，

詞在所屬類別中出現(xiàn)的次數(shù)大于第二預置閾值且詞在所屬類別中出現(xiàn)的次數(shù)與詞在樣本數(shù)據(jù)中出現(xiàn)的總的次數(shù)的比例大于第三預置閾值，

則確定該詞為所屬類別的特征詞；

或者

所述根據(jù)每一個類別的詞集合中的每個詞的屬性確定詞集合中的特征詞在包括：

當詞在所屬類別中的詞頻逆向文件頻率大于第一預置閾值，或者，

詞在所屬類別中出現(xiàn)的次數(shù)大于第二預置閾值且詞在所屬類別中出現(xiàn)的次數(shù)與詞在樣本數(shù)據(jù)中出現(xiàn)的總的次數(shù)的比例大于第三預置閾值，的情況下，

還包括：

詞在所屬類別中作為獨立搜索詞及非獨立搜索詞的比例大于第四預置閾值和/或詞作為獨立搜索詞與從用戶群體角度講的輸入頻率的比例大于第五預置閾值的情況下，則確定該詞為所屬類別的特征詞。