[發(fā)明專利]圖像識別方法、裝置及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201710814187.2
• 申請日: 2017-09-11
• 公開（公告）號: CN108304846B
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計）人: 姜文浩;馬林;劉威
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/48;G06K9/62;G06N3/04
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 劉映東

1.一種圖像識別方法，其特征在于，所述方法包括：

通過指定編碼器對待進(jìn)行識別的目標(biāo)圖像進(jìn)行特征提取，得到特征向量和第一標(biāo)注向量集合；

對所述特征向量進(jìn)行初始化處理，得到第一初始輸入數(shù)據(jù)；

基于第二引導(dǎo)網(wǎng)絡(luò)模型中的模型參數(shù)構(gòu)成的第二矩陣對所述第一標(biāo)注向量集合進(jìn)行線性變換，得到第三矩陣，所述第二引導(dǎo)網(wǎng)絡(luò)模型是通過樣本圖像的標(biāo)注向量集合和屬性信息訓(xùn)練得到，所述屬性信息用于指示所述樣本圖像的描述語句中預(yù)測出現(xiàn)的詞語的概率；

基于所述第三矩陣和所述目標(biāo)圖像的屬性信息，生成第四矩陣；

基于所述第四矩陣中每一行的最大值確定第一引導(dǎo)信息；

基于所述第一引導(dǎo)信息、所述第一標(biāo)注向量集合和所述第一初始輸入數(shù)據(jù)，通過指定解碼器確定所述目標(biāo)圖像的描述語句。

2.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

將所述目標(biāo)圖像作為多示例模型的輸入，通過所述多示例模型對所述目標(biāo)圖像進(jìn)行處理，得到所述目標(biāo)圖像的屬性信息。

3.如權(quán)利要求1所述的方法，其特征在于，所述基于所述第一引導(dǎo)信息、所述第一標(biāo)注向量集合和所述第一初始輸入數(shù)據(jù)，通過指定解碼器確定所述目標(biāo)圖像的描述語句，包括：

基于所述第一引導(dǎo)信息，通過所述指定解碼器對所述第一標(biāo)注向量集合和所述第一初始輸入數(shù)據(jù)進(jìn)行解碼，得到所述目標(biāo)圖像的描述語句。

4.如權(quán)利要求3所述的方法，其特征在于，所述基于所述第一引導(dǎo)信息，通過所述指定解碼器對所述第一標(biāo)注向量集合和所述第一初始輸入數(shù)據(jù)進(jìn)行解碼，得到所述目標(biāo)圖像的描述語句，包括：

當(dāng)所述指定解碼器采用第一循環(huán)神經(jīng)網(wǎng)絡(luò)RNN模型，且所述第一循環(huán)神經(jīng)網(wǎng)絡(luò)RNN模型用于執(zhí)行M個第一時間步驟時，對于所述第一循環(huán)神經(jīng)網(wǎng)絡(luò)RNN模型執(zhí)行的每個第一時間步驟，基于所述第一引導(dǎo)信息確定所述第一時間步驟的輸入數(shù)據(jù)；

其中，所述M是指所述第一循環(huán)神經(jīng)網(wǎng)絡(luò)RNN模型循環(huán)處理輸入數(shù)據(jù)的次數(shù)，且所述M為正整數(shù)，每個第一時間步驟為所述第一循環(huán)神經(jīng)網(wǎng)絡(luò)RNN模型對輸入數(shù)據(jù)的處理步驟；

基于所述第一時間步驟的輸入數(shù)據(jù)、所述第一標(biāo)注向量集合和所述第一時間步驟的上一個第一時間步驟的輸出數(shù)據(jù)，確定所述第一時間步驟的輸出數(shù)據(jù)；

其中，當(dāng)所述第一時間步驟為所述M個第一時間步驟中的第一個第一時間步驟時，所述第一時間步驟的上一個第一時間步驟的輸出數(shù)據(jù)是基于所述第一初始輸入數(shù)據(jù)確定得到；

基于所述M個第一時間步驟的所有輸出數(shù)據(jù)，確定所述目標(biāo)圖像的描述語句。

5.如權(quán)利要求4所述的方法，其特征在于，所述基于所述第一引導(dǎo)信息確定所述第一時間步驟的輸入數(shù)據(jù)，包括：

基于所述第一引導(dǎo)信息，通過以下公式確定所述第一時間步驟的輸入數(shù)據(jù)：

x_t＝Ey_t+Qv

其中，t為所述第一時間步驟，x_t為所述第一時間步驟的輸入數(shù)據(jù)，E為所述第一循環(huán)神經(jīng)網(wǎng)絡(luò)RNN模型的模型參數(shù)構(gòu)成的詞語嵌入矩陣，y_t是所述第一時間步驟對應(yīng)的詞語的獨(dú)熱one-hot向量，所述第一時間步驟對應(yīng)的詞語是基于所述第一時間步驟的上一個第一時間步驟的輸出數(shù)據(jù)確定得到，Q為所述第一循環(huán)神經(jīng)網(wǎng)絡(luò)RNN模型的模型參數(shù)構(gòu)成的第五矩陣，v為所述第一引導(dǎo)信息。

6.如權(quán)利要求3-5任一所述的方法，其特征在于，所述通過指定編碼器對待進(jìn)行識別的目標(biāo)圖像進(jìn)行特征提取，得到特征向量和第一標(biāo)注向量集合之前，還包括：

將第一待訓(xùn)練編碼器、第一待訓(xùn)練引導(dǎo)網(wǎng)絡(luò)模型和第一待訓(xùn)練解碼器進(jìn)行組合，得到第一級聯(lián)網(wǎng)絡(luò)模型；

基于多個樣本圖像和所述多個樣本圖像的描述語句，采用梯度下降法對所述第一級聯(lián)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到所述指定編碼器、所述第二引導(dǎo)網(wǎng)絡(luò)模型和所述指定解碼器。