[發明專利]一種應用爬取方法及系統

在審

• 申請號: 201710120705.0
• 申請日: 2017-03-02
• 公開（公告）號: CN106886602A
• 公開（公告）日: 2017-06-23
• 發明（設計）人: 雷建朝
• 申請（專利權）人: 上海斐訊數據通信技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州千克知識產權代理有限公司33246
• 代理人: 周希良,吳輝輝

技術領域

本發明涉及數據信息檢索技術領域，具體為一種應用爬取方法及系統。

背景技術

隨著移動互聯網的日益興盛以及“互聯網+”的提出，移動互聯網的便捷性與高效性越來越為人們所熟知。O2O(OnlineToOffline，線上到線下)概念的提出及各種線上線下的應用，不僅快速促進了商品的買賣，也極大的豐富了人們的生活。

在大眾的“互聯網+”的生活中，海量的移動應用(MobileApplications，簡稱app)占據著舉足重要的地位。國內各大移動應用市場為大眾的app需求提供了強有力的支撐。在移動互聯網的時代，盛產apk，推廣各個apk也會在各大android市場上架。我們做應用市場的時候爬取應用如果不局限于一個應用市場，比如要從應用寶，360的橙子市場，百度輕運用爬取apk，很多apk會在多家市場發布，海量的apk其中有些重復的apk，怎樣保證重復量不高的情況下爬取一個全量的apk包，是一個急需解決的難題。

其中，apk的相似度計算是極其重要的一步。對于應用的相似性計算，有基于app內容的相似性計算方法。大部分的基于內容的相似性計算方法是基于app的描述信息，因為描述信息是能夠描述一個app本身比較權威的資料。但是，現有的描述信息的計算方法一般是基于詞袋模型來做的。詞袋模型沒有考慮詞與詞之間的順序，這樣就忽略了很多詞的上下文關系，在計算向量間的相似性時，比如兩個近義詞，由于不是同一個詞，很有可能使得相似性變小而出現很大的誤差。

同時，計算相似性應用時，現有大多數方法并未將app的其他諸如名稱、類別及大小等信息考慮在內。而現有的方法又將諸如app的評論信息也加入其中。據我們觀察發現，app的評論信息的質量非常差，一般無法反應出app的真實內容。

發明內容

本發明針對現有技術存在的問題，提出了一種應用爬取的方法及系統。

本發明解決其技術問題所采用的技術方案是：一種爬取應用方法，應用于應用爬取系統中，包括以下步驟，

1)獲取應用的包名；

2)將所述應用的包名通過布隆過濾器處理生成一爬取數組；

3)利用所述爬取數組與已存儲在應用爬取系統中的爬取數組做比較，判斷所述應用是否已爬取；

若所述應用未爬取，對所述應用進行爬取，并將所述爬取數組存儲在所述應用爬取系統中。

作為優選，所述將所述應用的包名通過布隆過濾器處理生成一爬取數組，包括：

創建一個多位的數組，將數組中的所有位均設置為0；

選取一個以上哈希函數，獲取所述應用的包名對應不同哈希函數的不同結果值；

根據所述結果值所對應的數組的相應位均設置為1。

作為優選，所述哈希函數的個數可以通過計算式k＝ln(2)*m/n獲得，其中，k表示哈希函數的個數，m表示爬取數組的位數，n表示應用的數量。

作為優選，還包括，將所述應用的特征信息與白名單進行比較，所述白名單中記錄已爬取應用的特征信息。

作為優選，如果某一應用在步驟3)中判定為已爬取，則將所述應用的特征信息與所述白名單中對應應用的特征信息做相似度對比，如果相似度大于一定閾值，則將所述應用判定為絕對已爬取；否則，將所述應用重新判定為未爬取。

作為優選，所述應用特征信息包括應用的名稱、類型、描述、大小和關健詞。

一種應用爬取系統，包括，

爬取數組存儲模塊，用以存儲已爬取應用的爬取數組；

包名獲取單元，用于通過應用的安裝包獲取應用的包名；

應用檢測單元，用于通過包名檢測應用的爬取情況。

作為優選，所述應用檢測單元包括，

布隆過濾器，用于根據應用的包名生成一爬取數組；

對比單元，用于將新生成的爬取數組與爬取系統中的爬取數組做對比以判斷應用是否已爬取。

作為優選，所述應用爬取系統還包括白名單，用于記錄已爬取應用的特征信息。

作為優選，所述布隆過濾器包括數組創建單元，哈希函數選取單元和數組位值設定單元。

本發明的有益效果是，在需要爬取大量應用時，可通過布隆過濾器對應用進行過濾爬取以保證在重復量不高的情況下爬取一個全量的應用，采用布隆過濾器可大大節省應用的爬取時間，能夠節省大量的存儲空間，并且通過白名單機制將已判定為已爬取應用的應用與相似應用做相似度對比，以進一步確定應用是否真的已爬取，從而降低了應用爬取的錯誤率。

附圖說明

圖1為一種應用爬取方法的流程示意圖；