[發明專利]一種基于元搜索的內網信息采集方法

無效

• 申請號: 201110350811.0
• 申請日: 2011-11-08
• 公開（公告）號: CN102426600A
• 公開（公告）日: 2012-04-25
• 發明（設計）人: 楊更
• 申請（專利權）人: 軍工思波信息科技產業有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南昌新天下專利商標代理有限公司 36115
• 代理人: 施秀瑾

1.?一種基于元搜索的內網信息采集方法,其特征在于：它包含如下步驟：分時啟動采集程序，根據敏感詞對內網信息系統內置搜索引擎的搜索條件構建，自動采集搜索結果；

其中分時啟動采集線程：在采集前先根據當前采集周期和焦點數量n，計算兩個焦點線程啟動的時間間隔m秒，m=50*60/n，在構造下一個焦點線程前主進程睡眠?m秒，在此采集周期內會間隔性的有線程啟動和退出，確保在同一時間點不會有過多線程同時進行，在最后一個線程啟動后m秒，每隔20秒檢查一次當前活動線程數，如果線程數大于1，繼續執行20秒，如果線程數小于1，采集程序退出；

構造搜索引擎鏈接：系統配置的焦點組合分為兩個字段存儲，包含詞和不包含詞，首先從焦點組合中將詞提取出來轉化成URL編碼，加上搜索引擎的與非組合方式，構成焦點詞的重新組合，然后構造搜索引擎鏈接；

模擬瀏覽器訪問網頁：使用模擬瀏覽器訪問頁面的模式，模擬瀏覽器代理User-Agent為Mozilla/4.0?(compatible;?MSIE?8.0)，設置為不自動執行HTTP重定向，循環最多5次累加獲取cookie，直至HTTP連接狀態正常，此時獲取到的累加cookie記錄了模擬瀏覽器的重定向操作，使用這個cookie再次模擬瀏覽器打開鏈接，就可以獲得正確的頁面；

采集結果頁面內容解析：?頁面源碼的解析主要依靠于前期配置的正則表達式組合，將頁面源碼中信息字段的起始和結尾處具有標記性的html標簽做成正則表達式，通過正則表達式來獲取包含所需信息的字符串。