[發明專利]細粒度圖像識別方法、裝置、計算機設備及存儲介質

在審

• 申請號: 201910751900.2
• 申請日: 2019-08-15
• 公開（公告）號: CN110647912A
• 公開（公告）日: 2020-01-03
• 發明（設計）人: 羅茜;張斯堯;謝喜林;王思遠;黃晉;文戎;張誠
• 申請（專利權）人: 深圳久凌軟件技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 43229 長沙德恒三權知識產權代理事務所(普通合伙)
• 代理人: 徐仰貴

1.一種細粒度圖像識別方法，其特征在于，包括如下步驟：

獲取圖像樣本，并對圖像分類屬性進行標注；

構建雙線性卷積神經網絡模型；

將所述圖像樣本導入所述雙線性卷積神經網絡模型中訓練，并獲得細粒度圖像識別模型，其中，所述雙線性卷積神經網絡模型包括依次連接的：2個并聯的卷積神經網絡CNN A和卷積神經網絡CNN B、雙線性池化層Bilinear pooling、歸一化層LN和全連接層Fc；

從排序和所屬類別兩個方面對所述細粒度圖像識別模型進行約束；

通過所述細粒度圖像識別模型對通過圖像采集模塊獲取的待識別圖像進行分類識別。

2.如權利要求1所述的細粒度圖像識別方法，其特征在于，所述獲取圖像樣本，并對圖像分類屬性進行標注與所述構建雙線性卷積神經網絡模型，之間還包括：

對所述圖像樣本做預處理，其中，所述預處理包括直方圖均衡化、圖像二值化。

3.如權利要求1所述的細粒度圖像識別方法，其特征在于，所述將所述圖像樣本導入基于雙線性卷積神經網絡細粒度圖像識別模型中訓練，并獲得細粒度圖像識別模型，還包括：

將所述圖像樣本分別導入所述卷積神經網絡CNN A和所述卷積神經網絡CNN B，其中，所述卷積神經網絡CNN A包括多個依次連接的卷池組；所述卷積神經網絡CNN B也包括多個依次連接的所述卷池組；所述卷池組包括依次連接的卷積層Conv和池化層Pool；

通過所述卷積層Conv對所述圖像樣本進行卷積操作，并通過激活函數計算卷積的輸出；

通過所述池化層Pool對完成卷積操作的圖像進行下采樣操作以減少圖像尺寸大小；

所述卷積神經網絡CNN A輸出特征向量X₁，所述卷積神經網絡CNN B輸出特征向量X₂；

將所述特征向量X₁和所述特征向量X₂均輸入所述雙線性池化層Bilinear pooling；

所述雙線性池化層Bilinear pooling采用外積形式將所述特征向量X₁和所述特征向量X₂進行融合，并得到融合后的特征向量X₁^TX₂；

將所述特征向量X₁^TX₂輸入所述歸一化層LN，所述歸一化層LN對所述特征向量X₁^TX₂進行快速收斂；

將收斂后的所述特征向量X₁^TX₂輸入全連接層Fc，所述全連接層Fc對收斂后的所述特征向量X₁^TX₂進行分類。

4.如權利要求3所述的細粒度圖像識別方法，其特征在于，若所述卷積神經網絡CNN A和所述卷積神經網絡CNN B為相同的卷積神經網絡，則所述特征向量X₁＝所述特征向量X₂；取X＝X₁＝X₂，則所述特征向量X₁^TX₂為X^TX；所述全連接層Fc對收斂后的所述特征向量X₁^TX₂進行分類，還包括：

所述全連接層Fc計算所述特征向量X₁^TX₂所屬各類別的分數；

其中，計算所屬各類別的分數的公式為：

s_k＝(vecW_k)^T(vecXX^T)+b_k

其中，S_k為所屬各類別的分數，k＝1，2，...，K，K是所有的類別數，W_K表示第k類的參數矩陣，b_k是偏置值；XX^T∈R^D*D。