[發(fā)明專利]URL的合法性識別方法及裝置

在審

• 申請?zhí)枺?/td>: 201510729115.9
• 申請日: 2015-10-30
• 公開（公告）號: CN105426759A
• 公開（公告）日: 2016-03-23
• 發(fā)明（設計）人: 王巍巍;彭程;黃慶偉;張軍宏;羅雪峰
• 申請（專利權(quán)）人: 百度在線網(wǎng)絡技術(北京)有限公司
• 主分類號: G06F21/56
• 分類號: G06F21/56
• 代理公司: 北京鴻德海業(yè)知識產(chǎn)權(quán)代理事務所(普通合伙) 11412
• 代理人: 袁媛

1.一種URL的合法性識別方法，其特征在于，包括：

獲取待識別URL；

根據(jù)所述待識別URL，獲得與所述待識別URL所對應的合法URL，以作為比對對象；

計算所述待識別URL與所述比對對象之間的相似度；

根據(jù)所述相似度，識別所述待識別URL的合法性。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述待識別URL，獲得與所述待識別URL所對應的合法URL，以作為比對對象，包括：

根據(jù)所述待識別URL和合法URL倒排索引，獲得與所述待識別URL所對應的合法URL，以作為所述比對對象。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述待識別URL和合法URL倒排索引，獲得與所述待識別URL所對應的合法URL，以作為所述比對對象之前，還包括：

采集至少一個合法URL；

利用N-Gram模型，對所述至少一個合法URL中每個合法URL進行分詞處理，以獲得分詞結(jié)果；

根據(jù)所述每個合法URL和所述每個合法URL的分詞結(jié)果，獲得合法URL倒排索引。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述利用N-Gram模型，對所述至少一個合法URL中每個合法URL進行分詞處理，以獲得分詞結(jié)果，包括：

根據(jù)所述每個合法URL，獲得所述每個合法URL的域名；

刪除所述每個合法URL的域名的前綴和后綴，以獲得所述每個合法URL的中心詞；

利用N-Gram模型，對所述每個合法URL的中心詞進行分詞處理，以獲得所述分詞結(jié)果。

5.根據(jù)權(quán)利要求1～4任一權(quán)利要求所述的方法，其特征在于，所述根據(jù)所述相似度，識別所述待識別URL的合法性，包括：

若所述相似度等于1，且所述待識別URL的后綴與所述比對對象的后綴一致，識別所述待識別URL為合法URL；或者

若所述相似度等于1，且所述待識別URL的后綴與所述比對對象的后綴不一致，識別所述待識別URL為疑似不合法URL；或者

若所述相似度大于或等于第一閾值且小于1，識別所述待識別URL為不合法URL；或者

若所述相似度大于或等于第二閾值且小于所述第一閾值，識別所述待識別URL為疑似不合法URL；所述第二閾值小于所述第一閾值；或者

若所述相似度小于所述第二閾值或等于1，識別所述待識別URL為合法URL。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述相似度，識別所述待識別URL的合法性之前，還包括：

利用所述至少一個合法URL，對至少一個樣本URL進行合法性識別處理，以獲得識別結(jié)果；

根據(jù)所述識別結(jié)果和所述至少一個樣本URL中每個樣本URL的標注結(jié)果，獲得所述第一閾值和所述第二閾值。

7.根據(jù)權(quán)利要求1～4任一權(quán)利要求所述的方法，其特征在于，所述根據(jù)所述相似度，識別所述待識別URL的合法性之后，包括：

向終端發(fā)送所述識別的結(jié)果，以使得

所述終端展示所述識別的結(jié)果；和/或

所述終端根據(jù)所述識別的結(jié)果，允許或禁止根據(jù)所述待識別URL執(zhí)行訪問操作。

8.一種URL的合法性識別裝置，其特征在于，包括：

獲取單元，用于獲取待識別URL；

匹配單元，用于根據(jù)所述待識別URL，獲得與所述待識別URL所對應的合法URL，以作為比對對象；

計算單元，用于計算所述待識別URL與所述比對對象之間的相似度；

識別單元，用于根據(jù)所述相似度，識別所述待識別URL的合法性。

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述匹配單元，具體用于

根據(jù)所述待識別URL和合法URL倒排索引，獲得與所述待識別URL所對應的合法URL，以作為所述比對對象。

10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置還包括預處理單元，用于

采集至少一個合法URL；

利用N-Gram模型，對所述至少一個合法URL中每個合法URL進行分詞處理，以獲得分詞結(jié)果；以及

根據(jù)所述每個合法URL和所述每個合法URL的分詞結(jié)果，獲得合法URL倒排索引。