[發明專利]一種應用爬取方法及系統

在審

• 申請號: 201710120705.0
• 申請日: 2017-03-02
• 公開（公告）號: CN106886602A
• 公開（公告）日: 2017-06-23
• 發明（設計）人: 雷建朝
• 申請（專利權）人: 上海斐訊數據通信技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州千克知識產權代理有限公司33246
• 代理人: 周希良,吳輝輝

1.一種爬取應用方法，應用于應用爬取系統中，其特征在于：包括以下步驟，

1)獲取應用的包名；

2)將所述應用的包名通過布隆過濾器處理生成一爬取數組；

3)利用所述爬取數組與已存儲在應用爬取系統中的爬取數組做比較，判斷所述應用是否已爬取；

若所述應用未爬取，對所述應用進行爬取，并將所述爬取數組存儲在所述應用爬取系統中。

2.根據權利要求1所述的一種爬取應用方法，其特征在于，所述將所述應用的包名通過布隆過濾器處理生成一爬取數組，包括：

創建一個多位的數組，將數組中的所有位均設置為0；

選取一個以上哈希函數，獲取所述應用的包名對應不同哈希函數的不同結果值；

根據所述結果值所對應的數組的相應位均設置為1。

3.根據權利要求1所述的一種爬取應用方法，其特征在于，所述哈希函數的個數可以通過計算式k＝ln(2)*m/n獲得，其中，k表示哈希函數的個數，m表示爬取數組的位數，n表示應用的數量。

4.根據權利要求1所述的一種爬取應用方法，其特征在于，還包括，將所述應用的特征信息與白名單進行比較，所述白名單中記錄已爬取應用的特征信息。

5.根據權利要求4所述的應用爬取方法，其特征在于：如果某一應用在步驟3)中判定為已爬取，則將所述應用的特征信息與所述白名單中對應應用的特征信息做相似度對比，如果相似度大于一定閾值，則將所述應用判定為絕對已爬取；否則，將所述應用重新判定為未爬取。

6.根據權利要求4所述的一種應用爬取方法，其特征在于：所述應用特征信息包括應用的名稱、類型、描述、大小和關健詞。

7.一種應用爬取系統，其特征在于：包括，

爬取數組存儲模塊，用以存儲已爬取應用的爬取數組；

包名獲取單元，用于通過應用的安裝包獲取應用的包名；

應用檢測單元，用于通過包名檢測應用的爬取情況。

8.根據權利要求7所述的一種應用爬取系統，其特征在于：所述應用檢測單元包括，

布隆過濾器，用于根據應用的包名生成一爬取數組；

對比單元，用于將新生成的爬取數組與爬取系統中的爬取數組做對比以判斷應用是否已爬取。

9.根據權利要求7所述的一種應用爬取系統，其特征在于：所述應用爬取系統還包括白名單，用于記錄已爬取應用的特征信息。

10.根據權利要求8所述的一種應用爬取系統，其特征在于：所述布隆過濾器包括數組創建單元，哈希函數選取單元和數組位值設定單元。