[發明專利]一種基于主被動數據的互聯網接入網站數量的計算方法

有效

• 申請號: 201810618363.X
• 申請日: 2018-06-15
• 公開（公告）號: CN108880883B
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 陳曉光;張振濤;王小華;李金宇;金紅;楊滿智;劉長永
• 申請（專利權）人: 恒安嘉新（北京）科技股份公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F16/951;G06F16/2458;G06F16/28
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 黃玉東

本發明公開了一種基于主被動數據的互聯網接入網站數量的計算方法，所述方法包括：被動采集全國及各省互聯網網站報備數據信息和IP地址報備信息，獲得全國及各省互聯網網站備案的域名信息、IP地址分布庫；被動采集全國及各省活躍域名信息，獲得全國及各省采集到的活躍域名信息；主動分布式采集以上兩種方式采集的域名對應的網站信息，獲得網站連接狀態、標題、首頁靜態數據、接入IP地址信息；基于以上三類數據，通過數學建模，分析出全國及各省互聯網網站的數量。本發明公開的統計方法能夠在很大程度上反應全國互聯網網站的總體數量情況、各省互聯網網站的總體數量情況、所占比重情況，以及總體變化情況，具有較好的應用前景。

技術領域

本發明屬于互聯網和大數據應用技術領域，具體涉及一種基于主被動數據的互聯網接入網站數量的計算方法。

背景技術

互聯網迅猛發展，互聯網網站作為互聯網信息的重要傳播載體備受關注，互聯網網站的數量在一定程度上能否反應互聯網的發展狀況。我國已經逐步建設了備案系統和IDC信安系統，要求各互聯網網站接入商對所接入的網站進行報備，對現網訪問的網站域名進行監測。

備案系統采用人工填報的方式將各個接入商接入的網站信息報備到系統中，存在報備審核時延較長、未備案網站無法發現等問題，從而造成報備網站數量少于真實接入網站數量的情況；IDC信安系統采用探針設備對流量進行監測的技術方法實時探測流經的域名信息，并每天上報一次活躍域名，雖然很好地補充和解決了備案系統中的網站報備不全、數量偏少的問題，但由于流量監測的復雜性和實時性要求，所監測和捕獲的域名并不一定是網站的域名，即使是網站的域名，也存在大量不在國內接入的情況(比如，代理跳轉)，這些都導致了所統計的網站域名數量遠遠多于真實接入的網站數量。

如何采用技術手段有效地監測、統計和分析現網中接入的網站真實數量，目前還未見到相對有效的方法、技術和產品。

發明內容

本發明所要解決的技術問題在于，提供一種基于主被動數據的互聯網接入網站數量的計算方法，以解決現有的

為解決上述技術問題，本發明所采用的技術方案如下：

一種基于主被動數據的互聯網接入網站數量的計算方法，所述方法包括：

被動采集全國及各省互聯網網站報備數據信息和IP地址報備信息，獲得全國及各省互聯網網站備案的域名信息、IP地址分布庫；

被動采集全國及各省活躍域名信息，獲得全國及各省采集到的活躍域名信息；

主動分布式采集以上兩種方式采集的域名對應的網站信息，獲得網站連接狀態、標題、首頁靜態數據、接入IP地址信息；

基于以上三類數據，通過數學建模，分析出全國及各省互聯網網站的數量。

進一步地，所述的互聯網網站備案的域名信息包括：備案網站名稱、備案網站數量、備案網站域名、備案網站的IP地址、備案網站接入省份、備案網站接入企業、備案網站上報時間；所述的IP地址分布庫包括：IP地址、省份、報備時間；對全國及各省互聯網網站報備數據信息和IP地址報備信息的被動采集方式為：由ICP/IP地址和/或域名備案管理系統進行數據報備。

進一步地，所述的活躍域名信息包括：活躍域名、活躍域名數量、活躍域名采集的省份、活躍域名采集的接入商、活躍域名采集的時間；對全國及各省活躍域名信息的被動采集方式為：由IDC/ISP信息安全管理系統進行數據報備。

進一步地，所述的主動分布式采集方式為：通過爬蟲模塊主動爬取以上兩種方式確定的域名列表并主動獲取以上網站的信息；在全國各省及各運營商線路上設置多個爬蟲探測點進行分布式探測。

進一步地，分析出全國及各省互聯網網站的數量具體包括：