[發明專利]平面設計物料生成的方法和裝置

在審

• 申請號: 201811051386.3
• 申請日: 2018-09-10
• 公開（公告）號: CN110909506A
• 公開（公告）日: 2020-03-24
• 發明（設計）人: 劉芬;張堯
• 申請（專利權）人: 北京京東金融科技控股有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;張效榮

1.一種平面設計物料生成的方法，其特征在于，包括：

提取原始圖像的圖像特征向量；將所述圖像特征向量輸入訓練好的前景檢測模型，獲取原始圖像的前景圖像；所述前景檢測模型是基于區域推薦網絡RPN訓練得到的；

提取原始圖像的文本特征向量；將所述文本特征向量輸入訓練好的文本檢測模型，獲取原始圖像的文本圖像；所述文本檢測模型是基于雙向長短期記憶神經網絡BLSTM訓練得到的；

將所述前景圖像和所述文本圖像與模板圖像融合，得到平面設計物料。

2.如權利要求1所述的方法，其特征在于，提取原始圖像的圖像特征向量包括：將原始圖像輸入訓練好的前景特征提取器，得到原始圖像的圖像特征向量；其中，所述前景調整提取器是基于卷積神經網絡CNN訓練得到的，包括卷積層和全連通層，所述卷積層采用深度可分離卷積結構。

3.如權利要求2所述的方法，其特征在于，所述卷積層的數量為20層。

4.如權利要求1所述的方法，其特征在于，按照如下方法訓練得到所述前景檢測模型：

以橫幅廣告和/或海報圖片作為樣本，對所有樣本進行聚類，確定各個樣本的分類標簽和所述訓練樣本中前景圖像的包圍邊框；

以分類后的樣本作為分類樣本，根據每個訓練樣本的分類標簽和所述訓練樣本中前景圖像的包圍邊框，基于區域推薦網絡RPN進行模型訓練，得到訓練好的所述前景檢測模型。

5.如權利要求1所述的方法，其特征在于，提取原始圖像的文本特征向量包括：將原始圖像輸入訓練好的文本特征提取器，得到原始圖像的文本特征向量；其中，所述文本特征提取器是采用卷積神經網絡訓練得到的，具有19層卷積層。

6.一種平面設計物料生成的裝置，其特征在于，包括：

前景提取模塊，提取原始圖像的圖像特征向量；將所述圖像特征向量輸入訓練好的前景檢測模型，獲取原始圖像的前景圖像；所述前景檢測模型是基于區域推薦網絡RPN訓練得到的；

文本提取模塊，提取原始圖像的文本特征向量；將所述文本特征向量輸入訓練好的文本檢測模型，獲取原始圖像的文本圖像；所述文本檢測模型是基于雙向長短期記憶神經網絡BLSTM訓練得到的；

圖像融合模塊，將所述前景圖像和所述文本圖像與模板圖像融合，得到平面設計物料。

7.如權利要求6所述的裝置，其特征在于，前景提取模塊提取原始圖像的圖像特征向量包括：將原始圖像輸入訓練好的前景特征提取器，得到原始圖像的圖像特征向量；其中，所述前景調整提取器是基于卷積神經網絡CNN訓練得到的，包括卷積層和全連通層，所述卷積層采用深度可分離卷積結構。

8.如權利要求7所述的裝置，其特征在于，所述卷積層的數量為20層。

9.如權利要求6所述的裝置，其特征在于，前景提取模塊按照如下方法訓練得到所述前景檢測模型：

以橫幅廣告和/或海報圖片作為樣本，對所有樣本進行聚類，確定各個樣本的分類標簽和所述訓練樣本中前景圖像的包圍邊框；

以分類后的樣本作為分類樣本，根據每個訓練樣本的分類標簽和所述訓練樣本中前景圖像的包圍邊框，基于區域推薦網絡RPN進行模型訓練，得到訓練好的所述前景檢測模型。

10.如權利要求6所述的裝置，其特征在于，文本提取模塊提取原始圖像的文本特征向量包括：將原始圖像輸入訓練好的文本特征提取器，得到原始圖像的文本特征向量；其中，所述文本特征提取器是采用卷積神經網絡訓練得到的，具有19層卷積層。

11.一種平面設計物料生成的電子設備，其特征在于，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-5中任一所述的方法。

12.一種計算機可讀介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現如權利要求1-5中任一所述的方法。