[發明專利]一種基于網頁的圖像獲取方法及裝置

有效

• 申請號: 201710744731.0
• 申請日: 2017-08-25
• 公開（公告）號: CN110020042B
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 管國辰;劉中軍
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/958
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 張聰聰;項京

1.一種基于網頁的圖像獲取方法，其特征在于，包括：

確定待獲取圖像的第一圖像主題；

在網絡中抓取網頁信息；

確定所述網頁信息中的每張圖像的位置；

針對所確定的每個位置，以該位置為起點，前后搜索預設數量個邏輯行；針對搜索到的每個邏輯行，判斷該邏輯行是否為正文內容；如果是，將該邏輯行作為與該位置相關聯的正文內容；

針對所述正文內容中的每個邏輯行，根據該邏輯行的文本字節數和/或標簽文本比率和/或超鏈接比率、以及所述邏輯行與該圖像的距離，確定該邏輯行的權重；根據所述正文內容中的每個邏輯行的內容及權重，確定該位置處的圖像的第二圖像主題；

計算所述第二圖像主題與所述第一圖像主題的關聯度；若所述關聯度滿足預設規則，獲取該位置處的圖像。

2.根據權利要求1所述的方法，其特征在于，所述判斷該邏輯行是否為正文內容，包括：

確定該邏輯行中包含超文本標記語言標簽的文本字節數；

如果所述文本字節數小于第一預設閾值，表示該邏輯行為正文內容；

或者，

確定該邏輯行的標簽文本比率，所述標簽文本比率為：包含超文本標記語言標簽的文本字節數與邏輯行總字節數的比率；

如果所述標簽文本比率小于第二預設閾值，表示該邏輯行為正文內容；

或者，

確定該邏輯行的超鏈接比率，所述超鏈接比率為：超鏈接字節數與總字節數的比率；

如果所述超鏈接比率小于第三預設閾值，表示該邏輯行為正文內容；

或者，

確定該邏輯行的所述文本字節數、所述標簽文本比率及所述超鏈接比率；

如果所述文本字節數小于第一預設閾值，所述標簽文本比率小于第二預設閾值，并且所述超鏈接比率小于第三預設閾值，表示該邏輯行為正文內容。

3.根據權利要求1所述的方法，其特征在于，所述根據所述正文內容，確定該位置處的圖像的第二圖像主題，包括：

獲取以下內容中的一種或多種：所抓取網頁信息的網頁標題、所述網頁信息中各張圖像的圖像標題、所述各張圖像的圖像標簽屬性；

將所獲取的內容、以及所述正文內容輸入預先構建的向量模型，得到該位置處的圖像的第二圖像主題；其中，所述向量模型中包含各個輸入項對應的權重。

4.根據權利要求1所述的方法，其特征在于，所述計算所述第二圖像主題與所述第一圖像主題的關聯度，包括：

計算所述第二圖像主題與所述第一圖像主題的直接關聯度；

獲取所述第二圖像主題與所述第一圖像主題的間接關聯度，所述間接關聯度為：所述網頁信息的上級網頁信息與所述第一圖像主題的關聯度；

結合所述直接關聯度及所述間接關聯度，計算所述第二圖像主題與所述第一圖像主題的關聯度。

5.根據權利要求1所述的方法，其特征在于，所述確定所述網頁信息中的每張圖像的位置，包括：

過濾所述網頁信息中的噪音信息；

在過濾后的網頁信息中，確定每張圖像的位置。

6.一種基于網頁的圖像獲取裝置，其特征在于，包括：

第一確定模塊，用于確定待獲取圖像的第一圖像主題；

抓取模塊，用于在網絡中抓取網頁信息；

第二確定模塊，用于確定所述網頁信息中的每張圖像的位置；

識別模塊，用于針對所確定的每個位置，識別與該位置相關聯的正文內容；

第三確定模塊，針對所述正文內容中的每個邏輯行，根據該邏輯行的文本字節數和/或標簽文本比率和/或超鏈接比率、以及所述邏輯行與該圖像的距離，確定該邏輯行的權重；

根據所述正文內容中的每個邏輯行的內容及權重，確定該位置處的圖像的第二圖像主題

計算模塊，用于計算所述第二圖像主題與所述第一圖像主題的關聯度；

獲取模塊，用于在所述關聯度滿足預設規則的情況下，獲取該位置處的圖像；

其中，所述識別模塊，包括：

確定子模塊，用于針對所確定的每個位置，以該位置為起點，前后搜索預設數量個邏輯行；

識別子模塊，針對搜索到的每個邏輯行，判斷該邏輯行是否為正文內容；如果是，將該邏輯行作為與該位置相關聯的正文內容。