[發(fā)明專利]一種基于主被動數(shù)據(jù)的互聯(lián)網(wǎng)接入網(wǎng)站數(shù)量的計(jì)算方法

有效

• 申請?zhí)枺?/td>: 201810618363.X
• 申請日: 2018-06-15
• 公開（公告）號: CN108880883B
• 公開（公告）日: 2021-11-05
• 發(fā)明（設(shè)計(jì)）人: 陳曉光;張振濤;王小華;李金宇;金紅;楊滿智;劉長永
• 申請（專利權(quán)）人: 恒安嘉新（北京）科技股份公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F16/951;G06F16/2458;G06F16/28
• 代理公司: 北京市萬慧達(dá)律師事務(wù)所 11111
• 代理人: 黃玉東

1.一種基于主被動數(shù)據(jù)的互聯(lián)網(wǎng)接入網(wǎng)站數(shù)量的計(jì)算方法，其特征在于，所述方法包括：

被動采集全國及各省互聯(lián)網(wǎng)網(wǎng)站報(bào)備數(shù)據(jù)信息和IP地址報(bào)備信息，獲得全國及各省互聯(lián)網(wǎng)網(wǎng)站備案的域名信息、IP地址分布庫；

被動采集全國及各省活躍域名信息，獲得全國及各省采集到的活躍域名信息；

主動分布式采集以上兩種方式采集的域名對應(yīng)的網(wǎng)站信息，獲得網(wǎng)站連接狀態(tài)、標(biāo)題、首頁靜態(tài)數(shù)據(jù)、接入IP地址信息；

對獲取的上述三種方式中的數(shù)據(jù)通過數(shù)學(xué)建模模型分別進(jìn)行去重處理、歸并處理、關(guān)聯(lián)處理，分析出全國及各省接入的網(wǎng)站的總體數(shù)量，所述的網(wǎng)站數(shù)量包括基期、當(dāng)期兩個(gè)維度；

其中，所述去重處理包括：

對采集的備案網(wǎng)站信息數(shù)據(jù)庫D1按照域名維度進(jìn)行去重，形成D11庫；

對采集的活躍域名信息數(shù)據(jù)庫D2按照域名維度進(jìn)行去重，形成D21庫；

針對D11庫與D21庫進(jìn)行歸并，再按照域名維度進(jìn)行去重，形成去重后的域名庫D3；

所述主動分布式采集通過設(shè)置1個(gè)總控節(jié)點(diǎn)和93個(gè)探測驗(yàn)證節(jié)點(diǎn)來實(shí)現(xiàn)對全國及各省的探測，總控節(jié)點(diǎn)把D3中的域名列表發(fā)給各個(gè)探測驗(yàn)證節(jié)點(diǎn)進(jìn)行驗(yàn)證，并搜集所有探測驗(yàn)證節(jié)點(diǎn)返回的結(jié)果數(shù)據(jù)，形成本地探測驗(yàn)證知識庫D4；

在形成本地探測驗(yàn)證知識庫D4后，對數(shù)據(jù)進(jìn)行分類歸并，借助于D1庫，針對D4中的每個(gè)域名進(jìn)行分類，按照不可解析不在D1庫、可解析不可訪問不在D1庫、不可解析在D1庫、可解析不可訪問在D1庫、可訪問在D1庫、可訪問不在D1庫，分成S1、S2、T1、T2、T3、T4共六個(gè)庫，在T1、T2中針對域名進(jìn)行IP地址的歸并，在T3、T4中針對首頁靜態(tài)內(nèi)容的MD5值進(jìn)行IP地址的歸并，并關(guān)聯(lián)上接入域名信息；

基于T1、T2中不同的域名數(shù)量，和T3、T4中不同的MD5值數(shù)量進(jìn)行求和，即得到全國接入的網(wǎng)站數(shù)量CS；基于T1、T2中域名對應(yīng)的IP地址所屬省份，統(tǒng)計(jì)相應(yīng)的省份在T1、T2中的網(wǎng)站數(shù)量，基于T3、T4中MD5對應(yīng)的IP地址所屬省份，統(tǒng)計(jì)相應(yīng)的省份在T3、T4中的網(wǎng)站數(shù)量，然后將每個(gè)省在T1、T2、T3、T4中的網(wǎng)站數(shù)量求和即得到每個(gè)省接入的網(wǎng)站數(shù)量。

2.如權(quán)利要求1所述的計(jì)算方法，其特征在于，所述的互聯(lián)網(wǎng)網(wǎng)站備案的域名信息包括：備案網(wǎng)站名稱、備案網(wǎng)站數(shù)量、備案網(wǎng)站域名、備案網(wǎng)站的IP地址、備案網(wǎng)站接入省份、備案網(wǎng)站接入企業(yè)、備案網(wǎng)站上報(bào)時(shí)間；所述的IP地址分布庫包括：IP地址、省份、報(bào)備時(shí)間；對全國及各省互聯(lián)網(wǎng)網(wǎng)站報(bào)備數(shù)據(jù)信息和IP地址報(bào)備信息的被動采集方式為：通過ICP/IP地址和/或域名備案管理系統(tǒng)進(jìn)行數(shù)據(jù)報(bào)備。

3.如權(quán)利要求1所述的計(jì)算方法，其特征在于，所述的活躍域名信息包括：活躍域名、活躍域名數(shù)量、活躍域名采集的省份、活躍域名采集的接入商、活躍域名采集的時(shí)間；對全國及各省活躍域名信息的被動采集方式為：由IDC/ISP信息安全管理系統(tǒng)進(jìn)行數(shù)據(jù)報(bào)備。

4.如權(quán)利要求1所述的計(jì)算方法，其特征在于，所述的主動分布式采集方式為：通過爬蟲模塊主動爬取上述兩種方式確定的域名列表并主動獲取以上網(wǎng)站的信息。