[發明專利]一種基于深度學習的圖像場景標注方法

有效

• 申請號: 201810525276.X
• 申請日: 2018-05-28
• 公開（公告）號: CN108681752B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 郝玉潔;林劼;陳炳泉;鐘德建;杜亞偉;馬俊;楊晨
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V10/776
• 分類號: G06V10/776;G06V10/82;G06N3/0464
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 袁英

1.一種基于深度學習的圖像場景識別方法，其特征在于，包括下列步驟：

S1.?建立場景圖像數據集：建立包含豐富場景的圖像樣本的數據集，其中，每張圖像樣本都具有準確的場景標注，每個場景類別包含N張圖像樣本，生成訓練圖像集；

S2.?構建卷積神經網絡模型：構建由特征提取模塊、候選區域生成模塊、全局區域得分模塊、關鍵區域選擇模塊、候選區域調優模塊組成的卷積神經網絡模型；

S3.?訓練模型：使用其它已訓練好的模型參數對卷積神經網絡模型的參數進行初始化，采用BP算法和批量梯度下降法利用訓練圖像集調優模型參數，反復迭代直至求得最小測試誤差值的模型參數；

S4.?圖像標注：將待標注的圖像輸入已訓練好的模型，得到圖像的場景標注詞匯，把詞匯寫入圖像的屬性中；

所述步驟S2包括以下子步驟：

S21.?特征提取模塊使用VGG16模型構成圖像特征提取網絡，并完成圖像特征的提取，得到圖像的特征圖；

S22.?候選區域生成模塊使用基于圖的圖像分割將圖像分割為n個區域，組成區域集R，分別計算區域集R中每兩個相鄰區域的相似度，相似度的計算方法為，其中分別是區域集R的區域g和區域j，是顏色相似度，是紋理相似度，是尺寸相似度，是交疊相似度，是權重值，；然后根據每兩個區域的相似度，相似度大的兩個區域優先進行聚合，直到聚合為整張圖像為止，聚合過程中出現過的區域組成圖像的候選區域，每張圖像生成2000多個候選區域（RoIs），將候選區域的位置和大小保存到文件中；

S23.全局區域得分模塊是將步驟S21得到的圖像特征圖的整個特征分別經過兩個全連接層和兩個Relu激活函數得到全局區域的特征向量，計算全局區域屬于場景類別的分數；

S24.?關鍵區域選擇模塊是選擇候選區域大小占全局區域指定比例以上的區域，經過兩個全連接層和兩個Relu激活函數得到特征向量，計算所選候選區域屬于場景類別的分數，選擇其中分數最大的若干個候選區域作為關鍵區域與全局區域相加得到圖像屬于場景的分數，然后使用Softmax回歸函數計算圖像屬于某類場景的概率，最后利用概率預測圖像是何種場景；

S25.?候選區域調優模塊是將所有關鍵區域對應的場景類別和經過步驟S22得到的區域位置和大小，經過兩個全連接層和兩個Relu激活函數得到特征向量，特征向量再經過一個全連接層后輸入到邊框回歸函數中調整候選框的位置和大小。

2.如權利要求1所述的一種基于深度學習的圖像場景識別方法，其特征在于，所述步驟S1包括以下子步驟：

S11.?對場景圖像樣本進行圖像預處理，預處理過程包括：數據類型轉換、直方圖均衡化、歸一化、幾何校正和銳化；

S12.?隨機抽取80%圖像樣本組成訓練圖像集，用于模型的訓練，其余20%圖像樣本用于模型測試，檢測模型對每種場景圖像識別的準確率。

3.?如權利要求1所述的一種基于深度學習的圖像場景識別方法，其特征在于，所述顏色相似度的計算方法為：將區域g、j的每個顏色通道按25個區間計算獲得直方圖，每個區域的顏色直方圖共有25*3=75個區間，?對各個直方圖區間的值除以區域尺寸做歸一化后，使用公式計算兩個區域的顏色相似度，其中，、分別是區域g、j的顏色直方圖中第k個小區間歸一化后的值，m=75。

4.如權利要求1所述的一種基于深度學習的圖像場景識別方法，其特征在于，所述紋理相似度的計算方法為：將區域g、j的每個顏色通道采用方差為1的高斯分布在8個方向上做梯度統計，每個方向按10個區間計算獲得梯度統計直方圖，每個區域的梯度統計直方圖8*3*10=240個區間，然后使用公式計算紋理相似度，其中，、分別是區域g、j的梯度統計直方圖中第k個小區間的值，l=240。

5.如權利要求1所述的一種基于深度學習的圖像場景識別方法，其特征在于，所述尺寸相似度的計算方法為：采用公式計算尺寸相似度，其中、分別表示區域g、j的面積，表示整張圖像的面積。