[發明專利]訓練數據集生成方法及裝置

有效

• 申請號: 201910288423.0
• 申請日: 2019-04-11
• 公開（公告）號: CN110147817B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 龔艷麗
• 申請（專利權）人: 北京搜狗科技發展有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/9532;G06K9/32
• 代理公司: 北京華圣典睿知識產權代理有限公司 11510
• 代理人: 趙景平

1.一種訓練數據集生成方法，其特征在于，所述方法包括：

抓取網頁正文；

檢測所述正文中是否包含圖片；

如果是，則獲取所述圖片，標記所述圖片在所述正文中的位置；

對所述圖片進行識別，得到圖片文本數據，將所述圖片文本數據回插到所述正文中標記的圖片的位置；

依序提取所述正文中的文本數據及回插到所述正文中的圖片文本數據，生成訓練數據集；

如果否，則根據所述正文中的文本數據，生成訓練數據集。

2.根據權利要求1所述的方法，其特征在于，所述獲取所述圖片包括：

根據所述正文中包含的圖片標簽獲取所述圖片；或者

通過對所述正文所在頁面截圖獲取所述圖片。

3.根據權利要求1所述的方法，其特征在于，所述對所述圖片進行識別，得到圖片文本數據包括：

對所述圖片進行文字識別，得到所述圖片中包含的文本信息；和/或

對所述圖片進行內容識別，得到所述圖片對應的描述信息。

4.根據權利要求3所述的方法，其特征在于，所述對所述圖片進行內容識別，得到所述圖片對應的描述信息包括：

利用預先建立的圖片內容學習模型對所述圖片進行內容識別，得到所述圖片對應的描述信息。

5.根據權利要求3所述的方法，其特征在于，所述對所述圖片進行識別，得到圖片文本數據還包括：

對所述圖片中包含的文本信息進行廣告信息過濾。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在對所述圖片進行識別之前，對所述圖片進行檢測，并刪除未檢測通過的圖片；

所述對所述圖片進行識別包括：

對檢測通過的圖片進行識別。

7.根據權利要求6所述的方法，其特征在于，所述對所述圖片進行檢測包括以下任意一種或多種：涉黃檢測、廣告檢測、暴恐檢測、違禁檢測。

8.一種訓練數據集生成裝置，其特征在于，所述裝置包括：

網頁抓取模塊，用于抓取網頁正文；

正文檢測模塊，用于檢測所述正文中是否包含圖片；

圖片獲取模塊，用于獲取所述圖片；

位置標記模塊，用于標記所述圖片在所述正文中的位置；

圖片識別模塊，用于對所述圖片獲取模塊獲取的圖片進行識別，得到圖片文本數據；

回插處理模塊，用于將所述圖片文本數據回插到所述正文中標記的圖片的位置；

訓練集生成模塊，用于在所述正文中包含圖片情況下，依序提取所述正文中的文本數據及回插到所述正文中的圖片文本數據，生成訓練數據集；在所述正文中不包含圖片的情況下，根據所述正文中的文本數據，生成訓練數據集。

9.根據權利要求8所述的裝置，其特征在于，

所述圖片獲取模塊，具體用于根據所述正文中包含的圖片標簽獲取所述圖片；或者通過對所述正文所在頁面截圖獲取所述圖片。

10.根據權利要求8所述的裝置，其特征在于，所述圖片識別模塊包括：

文字識別單元，用于對所述圖片進行文字識別，得到所述圖片中包含的文本信息；和/或

內容識別單元，用于對所述圖片進行內容識別，得到所述圖片對應的描述信息。

11.根據權利要求10所述的裝置，其特征在于，

所述內容識別單元，具體用于利用預先建立的圖片內容學習模型對所述圖片進行內容識別，得到所述圖片對應的描述信息。

12.根據權利要求10所述的裝置，其特征在于，所述圖片識別模塊還包括：

信息過濾單元，用于對所述文字識別單元輸出的圖片中的文本信息進行廣告信息過濾。