[發明專利]一種對爬蟲種子打標簽的方法及裝置

有效

• 申請號: 201610987244.2
• 申請日: 2016-11-09
• 公開（公告）號: CN108062337B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 賀達;曹志明;陳曉敏
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王雪;王寶筠

1.一種對爬蟲種子打標簽的方法，其特征在于，所述方法包括：

預先建立標簽與關鍵詞數組的關聯關系；其中，所述關鍵詞數組包括關鍵詞與位置標識的對應關系，所述位置標識是根據與所述位置標識具有對應關系的關鍵詞確定；所述標簽與關鍵詞數組的關聯關系是利用預設有標簽的爬蟲種子建立的；所述位置標識用于表征所述關鍵詞在網頁內容中的詞頻排序；

接收任一待打標簽的爬蟲種子，利用所述爬蟲種子爬取網頁內容；

從所述網頁內容中提取關鍵詞，并根據所述關鍵詞生成各個關鍵詞對應的位置標識；

將具有位置標識的關鍵詞分別與所述標簽與關鍵詞數組的關聯關系中的各個關鍵詞數組進行匹配；所述將具有位置標識的關鍵詞分別與所述標簽與關鍵詞數組的關聯關系中的各個關鍵詞數組進行匹配，具體為：將所述具有位置標識的關鍵詞及該關鍵詞對應的位置標識，與所述標簽與關鍵詞數組的關聯關系中的各個關鍵詞數組包括的具有對應關系的關鍵詞及位置標識進行匹配；

將與匹配度最高的關鍵詞數組具有關聯關系的標簽，作為所述爬蟲種子的標簽。

2.根據權利要求1所述的對爬蟲種子打標簽的方法，其特征在于，所述根據所述關鍵詞生成各個關鍵詞對應的位置標識，包括：

對所述關鍵詞進行聚合后得到各個關鍵詞的詞頻；

根據各個關鍵詞的詞頻對關鍵詞進行排序，生成各個關鍵詞的位置標識。

3.根據權利要求1所述的對爬蟲種子打標簽的方法，其特征在于，所述預先建立標簽與關鍵詞數組的關聯關系；其中，所述關鍵詞數組包括關鍵詞與位置標識的對應關系，所述位置標識是根據與所述位置標識具有對應關系的關鍵詞確定，包括：

利用預設有標簽的爬蟲種子爬取網頁內容；

從所述網頁內容中提取關鍵詞，并對屬于同一組標簽的各個關鍵詞進行聚合后得到各個關鍵詞的詞頻；

根據各個關鍵詞的詞頻對屬于同一組標簽的關鍵詞進行排序，生成各個關鍵詞的位置標識；

將屬于同一組標簽的關鍵詞與位置標識的對應關系作為關鍵詞數組，與所述標簽建立關聯關系。

4.根據權利要求1所述的對爬蟲種子打標簽的方法，其特征在于，所述從所述網頁內容中提取關鍵詞，包括：

通過自然語言處理技術對所述網頁內容進行分詞處理；

利用TF-IDF算法提取所述網頁內容中的關鍵詞。

5.根據權利要求2所述的對爬蟲種子打標簽的方法，其特征在于，所述對所述關鍵詞進行聚合后得到各個關鍵詞的詞頻之前，還包括：

通過同義詞、近義詞詞表，將提取到的所述關鍵詞中的同義詞、近義詞規范化為統一的關鍵詞。

6.根據權利要求1所述的對爬蟲種子打標簽的方法，其特征在于，所述將具有位置標識的關鍵詞分別與所述標簽與關鍵詞數組的關聯關系中的各個關鍵詞數組進行匹配，包括：

按照對關鍵詞進行排序得到的順序，將各個關鍵詞與所述關鍵詞數組中的各個關鍵詞進行匹配；

判斷匹配成功的關鍵詞具有的位置標識是否一致；如果一致，則將匹配度增加第一設定值；如果不一致，則將匹配度增加第二設定值；其中，所述第一設定值大于所述第二設定值。