[發明專利]一種采用深度神經網絡的縮略圖自動生成的方法

在審

• 申請號: 201611252938.8
• 申請日: 2016-12-30
• 公開（公告）號: CN106651765A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種采用深度神經網絡的縮略圖自動生成的方法，其特征在于，主要包括數據集訓練(一)；邊界框的預測(二)；輸入圖像和縮略尺寸對(三)；模型訓練(四)；快速自動縮略圖生成FATG實現(五)。

2.基于權利要求書1所述的數據集訓練(一)，其特征在于，采用互聯網圖片建立數據庫，稱為互聯網圖片庫，其中收集了包括人物、動物、建筑、風景、運動等類別，總數高達100000張圖片；對于每張圖片，數據集中給出了圖片的原圖、縮略圖，縮略圖大小為130*130左右。

3.基于權利要求書1所述的邊界框的預測(二)，其特征在于，采用深度卷積神經網絡學習最優邊界框來產生縮略圖，包含RPN(區域建議網絡)和R-FCN(基于區域的全卷積網絡)。

4.基于權利要求書3所述的RPN(區域建議網絡)，其特征在于，可使計算時間顯著減少，此外通過引入一個由特定類別的位置敏感濾波器組成的卷積層來減少建議特征前向傳播的計算成本；

具體來說，若有C類物體要檢測，那么這個新的卷積層將產生k²(C+1)個特征圖，k²個位置敏感分數圖對應于目標的k×k個均勻分割的單元，這k²個特征圖對應不同相對位置的空間網格，對于每個類別諸如(左上，...，左下)；k＝3，則對應于一個3×3的空間網格、以及每個類有9個位置敏感濾波器，每個類(包括背景)，將關聯k²個特征圖，不是通過兩個全連接層前向傳播，而是正敏感池化后分數平均，生成一個(C+1)-d向量并且用于預測各個類別的softmax結果。

5.基于權利要求書3所述的R-FCN(基于區域的全卷積網絡)，其特征在于，通過引入一組特定寬高比的濾波器組來修改R-FCN用于縮略圖創建；引入一組A點，寬高比在[0.5，2]的范圍內，以恒定因子(幾何序列)增長，例如，

$S=\{\frac{1}{2}c,\frac{1}{2}{c}^2,...,\frac{1}{2}{c}^A\}---\left(1\right)$

此處可求得

最后一個卷積層的濾波器組在R-FCN中被修改成A個對，每一對共具有k²個濾波器，每一對均與集合S中的單個元素相關聯，與R-FCN類似，位置敏感池化、計算均值，然后用這兩個值產生softmax代表性預測。

6.基于權利要求書3所述的縮略圖生成，其特征在于，生成縮略圖的架構應完全卷積，因為包括完全連接層也需要固定的輸入尺寸，如果圖像的寬高比和固定輸入尺寸之間不匹配，圖像除了縮放外，還必須裁剪，縮略圖裁剪(邊界框)可以達到圖像的邊界甚至延伸到整個圖像，所以裁剪圖像區域的預處理可能導致次優預測，因為圖像的一些部分已被刪除。

7.基于權利要求書1所述的輸入圖像和縮略尺寸對(三)，其特征在于，與目標檢測不同，此縮略圖生成網絡接收兩個輸入：圖像和縮略圖的寬高比。

8.基于權利要求書1所述的模型訓練(四)，其特征在于，接收圖像、縮略圖尺寸對，圖像通過卷積層前向傳播直到最后一個卷積層；計算縮略圖的寬高比，從S中挑選出與其值最接近的元素，將這個對關聯到訓練的要素，忽略其他部分；這個對，接收建議，然后與目標檢測類似，基于它們和真實數據的交集(IoU)，將正/負標簽分配給建議；

具體來說，如果IoU≥0.5即標為正，否則為負，類似地，A個特定寬高比的回歸器被訓練，與S中的每個元素一一對應；這些類似于特定類的回歸器。