[發明專利]一種基于用戶本體的初始URLs選擇方法

無效

• 申請號: 201110436136.3
• 申請日: 2011-12-23
• 公開（公告）號: CN102591926A
• 公開（公告）日: 2012-07-18
• 發明（設計）人: 杜亞軍;李曦;王玉婷;韓保川
• 申請（專利權）人: 西華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于用戶本體的初始URLs選擇方法，其特征在于，包括以下步驟：

第一步：提交用戶關鍵詞給搜索引擎，獲得用戶日志；該用戶日志主要用來構建用戶本體和用戶興趣特征向量。

第二步：處理用戶特征文件，提取特征詞匯，并向量化；

第三步：構建用戶本體，利用提取的特征詞并結合WordNet來構建用戶本體；

第四步：用戶提交關鍵詞到Google，并得到搜索結果，通過HITS算法，可以得到根集，包含了權威網頁和中心網頁集合，從而，得到候選頁面；

第五步：用戶關鍵詞提交給用戶本體，進行加權擴展，得到擴展的特征向量，結合候選頁面，得到語義化的頁面向量；

第六步：計算第二步得到的用戶興趣特征向量和語義化的頁面向量的相似度，排序，選擇相似度高的加入根集得到基礎集；

第七步：對得到的基礎集，通過改進的HITS算法，獲取二分圖；

第八步：針對于二分圖，采用完全二分有向圖獲取算法得到完全二分圖；

第九步：通過選取完全二分圖中的URLs作為初始URLs，具體實現步驟：

D1、通過第八步從二分圖中提取完全二分圖，得到權威網頁集和中心網頁集兩個集合；

D2、從中心網頁集合中選擇一個網頁作為爬行蟲的一個初始URL；

D3、使用中心網頁和權威網頁存在鏈接，發現完全二分圖的其他部分，作為初始URLs加入到結果集中；

D4、把發現的中心網頁和權威網頁分別從兩個集合中刪除，更新集合中權威網頁和中心網頁的權威值和中心值；

D5、如果初始URLs結果集的數量不夠，再次返回步驟1；否則，結束。

2.根據權利要求1所述的基于用戶本體的初始URLs選擇方法，其特征在于，所述第七步，改進的HITS算法，獲取二分圖的方法為：

B1、搜集特定關鍵詞的網頁集合，存儲網頁鏈接關系；

B2、針對于每一個網頁分為鏈入和鏈出頁面集合，通過語義化頁面構建方法重新構建頁面；

B3、計算語義化頁面和返回結果的相似度，滿足條件的作為候選集合，并得到基礎集；

B4、通過迭代算法計算基礎集每個網頁的權威值和中心值，由此得到二分圖。

3.根據權利要求1所述的基于用戶本體的初始URLs選擇方法，其特征在于，所述第八步，所述完全二分有向圖獲取算法：

C1、按照權威值大小依次選取網頁，并通過對應頁面得到鏈接中心值網頁；選取的網頁標記，以防止再次選取；

C2、按照中心值大小依次選取網頁；并通過對應頁面得到權威值網頁；選取的網頁標記，以防止再次選取；

C3、重復C1-C2操作，直到遍歷完所有網頁為止，得到完全二分圖。