[發(fā)明專利]一種結(jié)合差異特征分布與鏈接特征的網(wǎng)頁排序方法

有效

• 申請?zhí)枺?/td>: 201210215860.8
• 申請日: 2012-06-27
• 公開（公告）號: CN102750380A
• 公開（公告）日: 2012-10-24
• 發(fā)明（設(shè)計）人: 張化祥;張悅童;劉陽
• 申請（專利權(quán)）人: 山東師范大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 張勇

1.一種結(jié)合差異特征分布與鏈接特征的網(wǎng)頁排序方法，其特征是，首先通過TrustRank算法計算網(wǎng)頁信任值；分析已標記為正常與垃圾網(wǎng)頁的特征分布，選擇正常網(wǎng)頁與垃圾網(wǎng)頁特征分布有明顯差異的特征，稱為差異特征；然后根據(jù)差異特征分布，計算網(wǎng)頁差異特征信任貢獻值；結(jié)合網(wǎng)頁信任值與網(wǎng)頁內(nèi)容特征值計算網(wǎng)頁信任度；根據(jù)網(wǎng)頁信任度對網(wǎng)頁排序。

2.如權(quán)利要求1所述的結(jié)合差異特征分布與鏈接特征的網(wǎng)頁排序方法，其特征是，具體步驟如下：

步驟1.利用TrustRank算法計算web圖中每個網(wǎng)頁的信任值；

步驟2.統(tǒng)計web圖中已經(jīng)標記為正常及垃圾的網(wǎng)頁內(nèi)容特征，根據(jù)統(tǒng)計信息分析正常網(wǎng)頁特征分布與垃圾網(wǎng)頁特征分布的不同，確定正常網(wǎng)頁與垃圾網(wǎng)頁特征分布有明顯差異的特征，稱為差異特征，同時確定正常頁面各差異特征的近似分布函數(shù)；

步驟3.根據(jù)差異特征分布計算網(wǎng)頁p差異特征的信任貢獻值；

步驟4.利用步驟1得到的網(wǎng)頁p信任值與步驟3得到的網(wǎng)頁p的差異特征信任貢獻值，計算web圖中網(wǎng)頁p的信任度；

步驟5.根據(jù)步驟4得到的網(wǎng)頁信任度對web圖中的網(wǎng)頁進行排序，信任度大的排序靠前，信任度小的排序靠后；網(wǎng)頁信任度越高表示網(wǎng)頁是正常網(wǎng)頁的概率越大，網(wǎng)頁信任度越小，表示網(wǎng)頁是垃圾網(wǎng)頁的概率越大。

3.權(quán)利要求2所述的結(jié)合差異特征分布與鏈接特征的網(wǎng)頁排序方法，其特征是，所述步驟2中的差異特征選擇為：網(wǎng)頁字數(shù)、網(wǎng)頁標題字數(shù)、網(wǎng)頁錨文本字數(shù)占網(wǎng)頁內(nèi)容的比例、網(wǎng)頁可視內(nèi)容占網(wǎng)頁內(nèi)容的比例、網(wǎng)頁內(nèi)容的壓縮率。正常頁面上述5種特征基本服從正態(tài)分布，而垃圾網(wǎng)頁上述5種特征的分布沒有較為明顯的分布規(guī)律。所述步驟2中，正常頁面各差異特征的近似分布函數(shù)以正態(tài)分布函數(shù)近似，統(tǒng)計己標記的正常頁面各差異特征的均值及方差，得到各差異特征對應(yīng)的正態(tài)分布函數(shù)。

4.權(quán)利要求2所述的結(jié)合差異特征分布與鏈接特征的網(wǎng)頁排序方法，其特征是，所述步驟3中，網(wǎng)頁p的內(nèi)容特征信任貢獻值計算公式為：

g|p|=Πi=1n|fi(x)-ypi(x)|---(7)]]>

其中為網(wǎng)頁第i個差異特征對應(yīng)的正態(tài)分布函數(shù)，μ_i為網(wǎng)頁第i個差異特征的均值，σ_i為網(wǎng)頁第j個差異特征的標準差。y_pi(x)為網(wǎng)頁p的第i個差異特征值為刀的網(wǎng)頁所占比例，n＝5為差異特征個數(shù)。

5.權(quán)利要求2所述的結(jié)合差異特征分布與鏈接特征的網(wǎng)頁排序方法，其特征是，所述步驟4，網(wǎng)頁p的信任度計算為：

td(p)=TR(p)1+λ(1+1nn)·g(p)---(8)]]>

其中TR(p)表示網(wǎng)頁p的信任值，由步驟1得到，λ為參數(shù)，控制g(p)值對網(wǎng)頁信任值的懲罰，取值為9；1nn表示以e為底n的自然對數(shù)。