[發明專利]一種敏感數據接口爬蟲識別方法及裝置

在審

• 申請號: 202111100833.1
• 申請日: 2021-09-18
• 公開（公告）號: CN113821754A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 葛勝利;魏國富;夏玉明
• 申請（專利權）人: 上海觀安信息技術股份有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F21/55;H04L29/06;H04L29/08
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 丁瑞瑞

本發明公開了一種敏感數據接口爬蟲識別方法及裝置，所述方法包括：獲取網站的web訪問日志；根據web訪問日志對爬蟲進行識別；判斷爬蟲類型；按照不同的爬蟲類型使用爬蟲的參數向網站發起請求，獲取請求響應的內容并按照請求url歸集請求響應的內容，將網站返回的內容的文本部分按照歸集域名分組進行存儲；提取存儲的文本的特征數據，每個域名下的文本對應提取出重要鏈接地址、文本關鍵詞結果；識別文本關鍵詞結果中是否敏感信息，輸出是否涉敏，涉敏數據類型；本發明的優點在于：對爬蟲動機進行有效識別，識別出涉及敏感信息的爬蟲行為，保障網絡信息安全。

技術領域

本發明涉及爬蟲識別領域，更具體涉及一種敏感數據接口爬蟲識別方法及裝置。

背景技術

現有技術中，可以通過網絡爬蟲等手段來獲取網絡中的數據，按照一定的規則，自動地抓緊去網站信息的程序或者腳本。現有技術大部分是針對爬蟲的攔截，但爬蟲還是可以通過改變程序或者模擬真實用戶的行為進行繞過，尤其是網站的接口存在一定有價值的敏感信息。

現有技術爬蟲識別方法可以大致歸為兩類，其中一類為專家規則引擎方案，通過對業務日志采集數據，并配置單個或多個屬性的事件進行數量累加，通過閾值類規則對超過閾值的事件進行攔截；或通過屬性、IP、useragent等屬性采集的黑名單進行攔截。由于技術逐漸提升，黑產使用模擬器，特殊軟件進行風控規則引擎試探并繞過，難以持續保證網站信息安全，尤其是網站的接口存在一定有價值的敏感信息的情況下，更加難以維持網站的信息安全。

另一類是基于用戶行為序列的異常檢測識別爬蟲方案，通過構建用戶訪問行為路徑，使用概率模型等技術方案計算行為路徑概率，使用無監督學習方法輸出異常的用戶及相關用戶的訪問路徑。但該技術方案存在大量的誤報，人工二次分析的工作量更加大和復雜，導致難以維持存在敏感信息的網站接口的信息安全。

中國專利授權公告號CN108712426B，公開了一種基于用戶行為埋點的爬蟲識別方法及系統，其中方法包括：S1、客戶端接收用戶發起的訪問請求，并將訪問請求向后端服務系統異步發送；S2、后端服務系統在接收到訪問請求后，同步用戶的訪問日志，訪問日志包括用戶的訪問行為數據；S3、后端服務系統通過規則引擎聚合訪問行為數據；S4、后端服務系統根據聚合后的訪問行為數據判斷用戶是否屬于爬蟲，若是則根據訪問日志聚合出用于標識用戶為爬蟲的爬蟲特征數據，然后將爬蟲特征數據通過消息隊列異步推送至所述客戶端中的爬蟲列表；S5、客戶端根據爬蟲列表響應訪問請求。該發明通過同步訪問日志，并聚合日志中的訪問行為數據后識別爬蟲，提高爬蟲識別率和準確。但是并不是所有的爬蟲都需要攔截，該方案只是對爬蟲進行識別，并不能識別具有敏感數據的爬蟲。

綜上所述，現有技術大部分是針對爬蟲的攔截，不能識別具有敏感數據的爬蟲，從而導致難以保證網絡信息安全。

發明內容

本發明所要解決的技術問題在于現有技術缺乏對具有敏感信息的接口進行爬蟲識別的方法。

本發明通過以下技術手段實現解決上述技術問題的：一種敏感數據接口爬蟲識別方法，所述方法包括以下步驟：

步驟一：獲取網站的web訪問日志；

步驟二：根據web訪問日志對爬蟲進行識別；

步驟三：判斷爬蟲類型；

步驟四：按照不同的爬蟲類型使用爬蟲的參數向網站發起請求，獲取請求響應的內容并按照請求url歸集請求響應的內容，將網站返回的內容的文本部分按照歸集域名分組進行存儲；

步驟五：提取存儲的文本的特征數據，每個域名下的文本對應提取出重要鏈接地址、文本關鍵詞結果；

步驟六：使用敏感數據發現技術識別文本關鍵詞結果中是否存在敏感信息，并輸出對應的結果。