[發(fā)明專利]一種基于大數(shù)據(jù)挖掘的互聯(lián)網(wǎng)資源質(zhì)量評估方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201310467352.3
• 申請日: 2013-10-09
• 公開（公告）號: CN103530347A
• 公開（公告）日: 2014-01-22
• 發(fā)明（設計）人: 劉巖松;徐信信
• 申請（專利權）人: 北京東方網(wǎng)信科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京法思騰知識產(chǎn)權代理有限公司 11318
• 代理人: 楊小蓉;楊青

1.一種基于大數(shù)據(jù)挖掘的互聯(lián)網(wǎng)資源質(zhì)量評估方法，所述方法包含：

步驟101）采集互聯(lián)網(wǎng)數(shù)據(jù)，采用抽樣或隨機的方式得到海量樣本數(shù)據(jù)；

步驟102）通過數(shù)據(jù)挖掘去除樣本數(shù)據(jù)的噪聲點，使樣本數(shù)據(jù)具有平滑性；

步驟103）使用K-Means算法得出樣本數(shù)據(jù)的及格值和刻度，從而確定樣本數(shù)據(jù)的若干指標的分數(shù)，所述指標包含：DNS解析時間、TCP建鏈時間、第一字節(jié)時間和剩余時間；

步驟104）依據(jù)得到的及格值和刻度進行網(wǎng)絡資源質(zhì)量評估；

其中，所述DNS解析時間、TCP建鏈時間、第一字節(jié)時間以及剩余時間均以秒為單位。

2.根據(jù)權利要求1所述的基于大數(shù)據(jù)挖掘的互聯(lián)網(wǎng)資源質(zhì)量評估方法，其特征在于，所述步驟102）進一步包含：

步驟102-1）依據(jù)互聯(lián)網(wǎng)資源質(zhì)量評估相關指標項，選取所需的數(shù)據(jù)，并將選取的數(shù)據(jù)整合成用于數(shù)據(jù)挖掘的數(shù)據(jù)集，所述相關指標包含DNS解析時間、TCP建鏈時間、第一字節(jié)時間和剩余時間；

步驟102-2）基于數(shù)據(jù)集通過清理和歸約操作，生成供挖掘核心使用的目標數(shù)據(jù)。

3.根據(jù)權利要求1所述的基于大數(shù)據(jù)挖掘的互聯(lián)網(wǎng)資源質(zhì)量評估方法，其特征在于，所述步驟103）進一步包含：

步驟103-1）從n個數(shù)據(jù)對象中，任意選擇k個對象作為初始聚類中心；而對于所剩下其它數(shù)據(jù)對象，根據(jù)剩余數(shù)據(jù)對象與這些初始聚類中心的相似度，分別將剩余數(shù)據(jù)對象中的每一個數(shù)據(jù)對象分配至與數(shù)據(jù)對象最相似的某個初始聚類中心中；

步驟103-2）計算每個所獲新聚類的聚類中心，不斷重復這一過程直到標準測度函數(shù)開始收斂為止，得到及格值和刻度值，所述及格值為標準測度函數(shù)開始收斂為止所對應的聚類中心的重心點，所述刻度值為標準測度函數(shù)開始收斂為止所對應的聚類中心的半徑與某一設定值的商，所述設定值的取值范圍為：0-100；

步驟103-3）基于得到的及格值和刻度值得到各指標的分數(shù)，公式為：

各指標的分數(shù)=閾值-(指標項-及格值)/刻度；

其中，指標項的取值為對互聯(lián)網(wǎng)資源進行質(zhì)量評估而采集的實際的各指標項的數(shù)值大小，該指標項的數(shù)值大小是由專門的互聯(lián)網(wǎng)資源質(zhì)量探測系統(tǒng)采集獲得，所述指標項包含：DNS解析時間、TCP建鏈時間、第一字節(jié)時間和剩余字節(jié)時間；所述閾值的大小與計算指標分數(shù)時采用的分制相關，具體為該閾值為滿分的百分之六十，即當采用百分制時該處的閾值為60，當采用150分值時該處固定值為90。

4.根據(jù)權利要求3所述的基于大數(shù)據(jù)挖掘的互聯(lián)網(wǎng)資源質(zhì)量評估方法，其特征在于，

數(shù)據(jù)對象與聚類中心的相似度通過數(shù)據(jù)對象與聚類中心的距離進行衡量；

所述新聚類的聚類中心是指該聚類中心所包含的所有數(shù)據(jù)對象的均值。

5.根據(jù)權利要求3所述的基于大數(shù)據(jù)挖掘的互聯(lián)網(wǎng)資源質(zhì)量評估方法，其特征在于，所述標準測度函數(shù)采用均方差。

6.根據(jù)權利要求1所述的直觀顯示互聯(lián)網(wǎng)資源質(zhì)量評分的方法，其特征在于，所述步驟104）進一步包含：

步驟104-1）依據(jù)互聯(lián)網(wǎng)資源質(zhì)量評估的相關指標，確定互聯(lián)網(wǎng)資源的質(zhì)量評估模型，并設定質(zhì)量評估模型中各指標的權重值；

步驟104-2）基于得到的各指標的分數(shù)和質(zhì)量評估模型，確定互聯(lián)網(wǎng)資源質(zhì)量的評估結(jié)果。

7.根據(jù)權利要求6所述的直觀顯示互聯(lián)網(wǎng)資源質(zhì)量評分的方法，其特征在于，所述步驟104-1）采用如下質(zhì)量評估模型得出互聯(lián)網(wǎng)資源質(zhì)量的評分：

最終得分=DNS解析分數(shù)S1*DNS解析權重W1+TCP建鏈分數(shù)S2*TCP建鏈權重W2+第一字節(jié)S3*第一字節(jié)權重W3+剩余字節(jié)分數(shù)S4*剩余字節(jié)權重W4；

其中，DNS解析權重S1、TCP建鏈權重W2、第一字節(jié)權重W3和剩余字節(jié)權重W4是設置的各指標的權重值，這些權重值均是個百分數(shù)，且四個權重值之和為百分之一百。