[發(fā)明專利]一種批量CDN資源緩存自動(dòng)化裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010421718.3
• 申請(qǐng)日: 2020-05-18
• 公開（公告）號(hào): CN111741065B
• 公開（公告）日: 2022-03-08
• 發(fā)明（設(shè)計(jì)）人: 徐巍;唐慧;徐如峰
• 申請(qǐng)（專利權(quán)）人: 北京直真科技股份有限公司
• 主分類號(hào): H04L67/568
• 分類號(hào): H04L67/568;H04L61/4511;G06F16/951
• 代理公司: 北京海虹嘉誠知識(shí)產(chǎn)權(quán)代理有限公司 11129
• 代理人: 吳小燦

1.一種批量CDN資源緩存自動(dòng)化裝置，其特征在于，包括軟件系統(tǒng)，所述軟件系統(tǒng)通過大數(shù)據(jù)技術(shù)自動(dòng)分析出大流量出網(wǎng)域名，針對(duì)所述大流量出網(wǎng)域名建立批量引入任務(wù)，針對(duì)所述批量引入任務(wù)中的域名通過調(diào)用爬蟲工具第一次從所述域名下爬取到第一次資源信息及其第一次資源指標(biāo)數(shù)據(jù)，針對(duì)所述第一次資源信息生成CDN緩存表達(dá)式，調(diào)用CDN緩存工具按照所述CDN緩存表達(dá)式對(duì)所述第一次資源信息執(zhí)行測(cè)試引入緩存操作以標(biāo)明第一次測(cè)試合格資源信息，調(diào)用爬蟲工具第二次爬取所述第一次測(cè)試合格資源信息，調(diào)用爬蟲工具第三次爬取所述第一次測(cè)試合格資源信息，通過所述第二次爬取和所述第三次爬取確保觸發(fā)所述第一次測(cè)試合格資源信息CDN緩存生效，從所述第三次爬取形成的CDN日志信息中提取緩存測(cè)試資源指標(biāo)數(shù)據(jù)，對(duì)所述緩存測(cè)試資源指標(biāo)數(shù)據(jù)與所述第一次資源指標(biāo)數(shù)據(jù)的變化情況進(jìn)行校驗(yàn)，調(diào)用CDN緩存工具對(duì)校驗(yàn)達(dá)到閾值的資源信息執(zhí)行正式引入緩存操作。

2.根據(jù)權(quán)利要求1所述的批量CDN資源緩存自動(dòng)化裝置，其特征在于，所述資源指標(biāo)包括首字節(jié)時(shí)延和/或下載速率。

3.根據(jù)權(quán)利要求1所述的批量CDN資源緩存自動(dòng)化裝置，其特征在于，所述校驗(yàn)采用的閾值為資源指標(biāo)提升比率閾值。

4.根據(jù)權(quán)利要求3所述的批量CDN資源緩存自動(dòng)化裝置，其特征在于，所述資源指標(biāo)提升比率閾值為首字節(jié)時(shí)延提升比率≥50％，和/或，下載速率≥100％。

5.根據(jù)權(quán)利要求1所述的批量CDN資源緩存自動(dòng)化裝置，其特征在于，所述通過大數(shù)據(jù)技術(shù)自動(dòng)分析出大流量出網(wǎng)域名包括通過統(tǒng)一數(shù)據(jù)包深度檢測(cè)DPI采集平臺(tái)接口獲取包含統(tǒng)一資源定位符URL的信令話單數(shù)據(jù)，所述信令話單數(shù)據(jù)包括 以下一種或多種字段信息：源端IP地址，目的端IP地址，URL，上行流量，下行流量，接口方式，話單類型；調(diào)用Hadoop的數(shù)據(jù)倉庫工具對(duì)周期內(nèi)的所述信令話單數(shù)據(jù)進(jìn)行自動(dòng)分析以獲得大流量出網(wǎng)域名。

6.根據(jù)權(quán)利要求1所述的批量CDN資源緩存自動(dòng)化裝置，其特征在于，所述通過大數(shù)據(jù)技術(shù)自動(dòng)分析出大流量出網(wǎng)域名包括以下步驟：步驟A1，數(shù)據(jù)提取；步驟A2，出網(wǎng)域名數(shù)據(jù)判斷篩選；步驟A3，出網(wǎng)域名指標(biāo)統(tǒng)計(jì)；步驟A4，輸出大流量出網(wǎng)域名。

7.根據(jù)權(quán)利要求6所述的批量CDN資源緩存自動(dòng)化裝置，其特征在于，所述出網(wǎng)域名數(shù)據(jù)判斷篩選包括以下條件：接口方式取省網(wǎng)出口，源地址歸屬于本省運(yùn)營(yíng)商并且目的地址歸屬于其他運(yùn)營(yíng)商，不取URL為空的數(shù)據(jù)，取URL主機(jī)映射為域名的數(shù)據(jù)而不取主機(jī)映射為IP的數(shù)據(jù)；所述出網(wǎng)域名指標(biāo)統(tǒng)計(jì)包括以下各項(xiàng)技術(shù)要求：按域名將取上行流量、下行流量并分別求和，計(jì)算總流量＝上行流量+下行流量，統(tǒng)計(jì)數(shù)據(jù)條數(shù)作為點(diǎn)擊次數(shù)；所述輸出大流量出網(wǎng)域名包括以下確定方式：按總流量取TOP1000的域名數(shù)據(jù)。

8.根據(jù)權(quán)利要求1所述的批量CDN資源緩存自動(dòng)化裝置，其特征在于，在所述建立批量引入任務(wù)之前包括以下判斷步驟：判斷域名是否已CDN緩存，若是則不做CDN測(cè)試緩存處理，若否則按域名建立批量引入任務(wù)；所述判斷步驟還能夠另外接收人工獲取的批量域名，所述人工獲取包括合作或任務(wù)方式獲取。

9.根據(jù)權(quán)利要求1所述的批量CDN資源緩存自動(dòng)化裝置，其特征在于，所述第一次資源信息包括域名的資源路徑及其是否支持緩存，所述第一次資源指標(biāo)數(shù)據(jù)包括首字節(jié)時(shí)延和下載速率數(shù)據(jù)，所述生成CDN緩存表達(dá)式包括以下步驟：步驟B1，分析爬蟲數(shù)據(jù)；步驟B2，判斷資源路徑是否支持緩存，若否則不做處理，若是則進(jìn)入步驟B3；步驟B3，調(diào)用安全審計(jì)工具；步驟B4，抓幀匹配判斷資源內(nèi)容是否安全，若否則不做處理，若是則進(jìn)入步驟B5；步驟B5，使用正則表達(dá)式截取資源路徑的域名和后綴；步驟B6，判斷資源路徑是否已全部處理，若否則返回步驟B1，若是則進(jìn)入步驟B7；步驟B7，根據(jù)生成的正則表達(dá)式拼裝報(bào)文；步驟B8，輸出緩存表達(dá)式。