[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)和遞歸自動編碼器模型的場景識別方法

有效

• 申請?zhí)枺?/td>: 201910470014.2
• 申請日: 2019-05-29
• 公開（公告）號: CN110188827B
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計）人: 花福軍;陸文斌;張應(yīng)福;周正斌;李成偉
• 申請（專利權(quán)）人: 創(chuàng)意信息技術(shù)股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 成都金英專利代理事務(wù)所(普通合伙) 51218
• 代理人: 袁英

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)和遞歸自動編碼器模型的場景識別方法，其特征在于，包括：構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，構(gòu)建遞歸自動編碼器，數(shù)據(jù)預(yù)處理和場景預(yù)測分類；

所述構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，是利用大規(guī)模場景數(shù)據(jù)集構(gòu)建并改進卷積神經(jīng)深度網(wǎng)絡(luò)；

所述構(gòu)建遞歸自動編碼器，是利用卷積神經(jīng)網(wǎng)絡(luò)提取的圖像特征和場景標(biāo)簽構(gòu)建并改進遞歸自動編碼器；

所述數(shù)據(jù)預(yù)處理，是將圖像進行數(shù)據(jù)增強的操作，同時將場景的文本標(biāo)簽實現(xiàn)嵌入操作完成數(shù)據(jù)預(yù)處理；數(shù)據(jù)預(yù)處理的過程包括以下子步驟：

S31：對訓(xùn)練集中的圖像進行增強處理，包括部分旋轉(zhuǎn)、平移、縮放、邊緣填充的操作；

S32：將訓(xùn)練集中的圖像對應(yīng)的場景進行嵌入化處理，其中詞典規(guī)格為訓(xùn)練集中的詞匯總量，每個單詞向量的維度是256；同時保證場景單詞向量和訓(xùn)練集中的圖像一一對應(yīng)；

S33：對圖像全連接層中輸出的特征向量進行分割，保證向量維度與單詞維度相同，若維度不足，進行補零操作；

所述場景預(yù)測分類，構(gòu)建預(yù)測圖像場景分類器，將圖像特征輸入訓(xùn)練完成的模型中進行場景預(yù)測分類；所述場景預(yù)測分類包括以下子步驟：

S41：初始化標(biāo)簽矩陣，其中多標(biāo)簽情況下，標(biāo)簽的概率總和為1；

S42：將節(jié)點遞歸正向編碼，同時計算重構(gòu)之后的偏差，經(jīng)過反向傳播更新參數(shù)集；

S43：充分訓(xùn)練底層網(wǎng)絡(luò)，底層網(wǎng)絡(luò)的權(quán)重和偏移量固定后，隱藏狀態(tài)自下而上進行傳播，依次訓(xùn)練隱藏層，全面訓(xùn)練編碼器；

S44：在隱藏層的遞歸自動編碼器訓(xùn)練過程中，圖像場景的文本嵌入式向量，同樣作為節(jié)點進行編碼；

S45：將卷積神經(jīng)網(wǎng)絡(luò)提取的圖像特征分割輸入到自動編碼器，經(jīng)過迭代編碼和重構(gòu)通過Softmax分類器，實現(xiàn)圖像場景預(yù)測；

所述步驟S45包括以下步驟：

S451：設(shè)置自動編碼器中場景類別的預(yù)測函數(shù)，需要滿足：

d(y_i；θ)＝Softmax(W^labely_i)

其中，W^label表示具有監(jiān)督性質(zhì)的標(biāo)簽矩陣，在多個標(biāo)簽K的情況下，則有∑d＝1；

S452：將標(biāo)簽t_k的預(yù)測概率進行交叉驗證作為損失函數(shù)，需要滿足：

S453：根據(jù)S452設(shè)置的自動編碼器中損失函數(shù)，將提出的模型中的目標(biāo)函數(shù)設(shè)置如下：

目標(biāo)函數(shù)的梯度下降算法需要滿足：

其中公式中的θ表示參數(shù)集{W⁽¹⁾，b⁽¹⁾，W^(1)′，b^(1)′，W^label，L}，L表示圖像特征表示的特征空間。

2.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)和遞歸自動編碼器模型的場景識別方法，其特征在于，所述構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)包括以下步驟：

S11：獲取公開的場景數(shù)據(jù)構(gòu)建大規(guī)模場景標(biāo)注數(shù)據(jù)集；

S12：將所述數(shù)據(jù)集處理為固定大小的224*224RGB圖像，作為卷積神經(jīng)網(wǎng)絡(luò)的輸入；

S13：輸入圖像通過多個卷積層，卷積核大小為3*3，步長為1個像素，填充為1個像素；

S14：空間池化由五個最大池化層進行，步長為2，網(wǎng)絡(luò)最后是三個全連接層,將最后的全連接層輸出向量作為后續(xù)的遞歸自動編碼器的部分輸入。

3.根據(jù)權(quán)利要求2所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)和遞歸自動編碼器模型的場景識別方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)中所有隱藏層采用ReLU作為激活函數(shù)。

4.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)和遞歸自動編碼器模型的場景識別方法，其特征在于，所述構(gòu)建遞歸自動編碼器包括以下步驟：

S21：特征向量輸入：獲取卷積神經(jīng)網(wǎng)絡(luò)中提取的特征向量，將其分割成若干個512維向量，用于編碼器的輸入序列；

S22：構(gòu)建遞歸自動編碼器：對輸入序列的二叉樹中前兩個葉子節(jié)點進行重構(gòu)，然后依次對后續(xù)的葉子節(jié)點及前一個隱藏節(jié)點進行重構(gòu)，最終完成重構(gòu)原始序列，隱藏節(jié)點滿足：

y_i＝f(W⁽¹⁾[x_i；c_i-1]+b⁽ⁱ⁾)

其中，x_i表示輸入序列節(jié)點，c_i-1表示節(jié)點，其中i＝1時，c_i-1＝x₂，i1時，c_i-1＝y(tǒng)_i-1，且i∈[1,m-1]，m表示輸入序列長度，W表示子節(jié)點之間的連接向量，b表示偏移量；

重構(gòu)過程是將父子節(jié)點y_i反向重構(gòu)子節(jié)點，真實值和重構(gòu)過程的差異使用[x′_i；c′_i-1]＝W^(1)′y_i+b^(1)′表示，還原計算過程滿足：

S23：優(yōu)化遞歸自動編碼器：設(shè)定A(x)表示輸入x的可構(gòu)建二叉樹的全集，T(y)表示樹中非葉子節(jié)點的索引位置s，模型中的重構(gòu)誤差為：

S24：節(jié)點匹配：利用貪心算法，對節(jié)點進行兩兩配對，選取最小誤差的組合作為重構(gòu)對象，在不同的節(jié)點具有不同的權(quán)重連接，需要滿足：