[發明專利]一種圖像標注方法

在審

• 申請號: 201710969648.3
• 申請日: 2017-10-18
• 公開（公告）號: CN107665356A
• 公開（公告）日: 2018-02-06
• 發明（設計）人: 呂學強;董志安;李寶安
• 申請（專利權）人: 北京信息科技大學;呂學強
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種圖像標注方法，其特征在于，包括以下步驟：

步驟1)定義圖像標注模型的目標函數；

步驟2)將圖像輸入CNN模型，得到原始圖像特征；

步驟3)對原始圖像特征進行加權；

步驟4)向LSTM模型中輸入信息；

步驟5)對預測結果產生的誤差進行反向傳播。

2.根據權利要求1所述的圖像標注方法，其特征在于，步驟1)中的目標函數為

3.根據權利要求1-2所述的圖像標注方法，其特征在于，步驟2中的原始圖像特征為CNN全連接層之前的某層卷積層的特征圖，該原始圖像特征由L個D維特征組成，每個D維特征映射到原圖像的不同位置區域。

4.根據權利要求1-3所述的圖像標注方法，其特征在于，步驟3包括利用聚焦權重向量α_t對原始圖像特征進行加權，聚焦權重向量α_t是一個L維向量，每一維的值大小代表著圖像不同位置特征的權重大小。

聚焦權重向量α_t＝softmax(W_ee_t)，其中，

e_t代表t時刻聚焦機制的中間狀態信息，a代表原始圖像特征，h_t-1代表t-1時刻LSTM模型的輸出。

5.根據權利要求1-4所述的圖像標注方法，其特征在于，步驟4)中，LSTM的輸入信息x_t＝[W_yy_t-1，W_zz_t]，其中W_y為詞編碼參數，W_z為圖像特征編碼參數，其中y_t-1是圖像的正確標注詞，z_t是當前時刻使用聚焦權重參數加權后的圖像特征。

6.根據權利要求1-5所述的圖像標注方法，其特征在于，圖像的正確標注詞組Y＝(y₀，y₁，y₂...y_t...y_n)從t＝1時刻開始按順序輸入到LSTM模型當中，其中y₀是一個特殊的單詞“start”，標志著標注過程的開始，y_n是另一個特殊單詞“end”，標志著標注過程的結束；y_t-1經詞向量編碼參數W_y編碼后輸入到LSTM模型中；z_t經圖像特征編碼參數W_z編碼后輸入到LSTM模型中。

7.根據權利要求1-5所述的圖像標注方法，其特征在于，正確標注詞采用獨熱編碼形式，由一個N維向量構成，N代表單詞詞典內的單詞數目，除對應標注詞位為1外，其余位為0。

8.根據權利要求1-7所述的圖像標注方法，其特征在于，步驟5)包括利用損失函數將所有預測標注詞標注正確的log似然概率值求和后取負數，所述損失函數定義為

L(I,y)=-Σt=1Nlog pt(yt).]]>

9.根據權利要求1-8所述的圖像標注方法，其特征在于，步驟5)還包括應用隨機梯度下降法以及鏈式求導法則不斷更新模型中的參數。

10.根據權利要求1-9所述的圖像標注方法，其特征在于，LSTM模型的計算過程公式如下：

i_t＝σ(W_ixx_t+W_ihh_t-1)，

o_t＝σ(W_oxx_t+W_ohh_t-1)，

f_t＝σ(W_fxx_t+W_fhh_t-1)，

c_t＝f_t⊙c_t-1+i_t⊙h(W_cxx_t+W_chh_t-1)，

h_t＝o_t⊙c_t，

y_t+1＝Softmax(W_yh_t)。