[發(fā)明專利]圖像分類方法、裝置及終端

有效

• 申請?zhí)枺?/td>: 201711332231.2
• 申請日: 2017-12-13
• 公開（公告）號: CN108256549B
• 公開（公告）日: 2019-03-15
• 發(fā)明（設(shè)計）人: 張志偉;楊帆
• 申請（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 莎日娜

1.一種圖像分類方法，其特征在于，所述方法包括：

通過卷積神經(jīng)網(wǎng)絡(luò)確定圖像對應(yīng)的圖像特征向量；其中，所述圖像對應(yīng)有文字描述信息；

通過雙向循環(huán)神經(jīng)網(wǎng)絡(luò)對所述文字描述信息進(jìn)行處理，得到文字特征向量；

將所述圖像特征向量和文字特征向量融合，得到目標(biāo)特征向量；

調(diào)用深度神經(jīng)網(wǎng)絡(luò)，由所述深度神經(jīng)網(wǎng)絡(luò)依據(jù)所述目標(biāo)特征向量確定所述圖像對應(yīng)的分類；

其中，所述通過雙向循環(huán)神經(jīng)網(wǎng)絡(luò)對所述文字描述信息進(jìn)行處理，得到文字特征向量的步驟，包括：去除所述文字描述信息中的停用詞，得到多個分詞；針對每個所述分詞，確定所述分詞在文字特征集合中的位置信息，依據(jù)所述位置信息生成分詞對應(yīng)的索引數(shù)值；其中，所述文字特征集合通過對樣本圖像對應(yīng)的文字描述信息訓(xùn)練得到；調(diào)用嵌入網(wǎng)絡(luò)，由所述嵌入網(wǎng)絡(luò)依據(jù)各所述分詞對應(yīng)的索引數(shù)值確定各分詞對應(yīng)的特征向量；通過所述雙向循環(huán)神經(jīng)網(wǎng)絡(luò)對各分詞對應(yīng)的特征向量進(jìn)行處理，得到一個預(yù)設(shè)長度的文字特征向量。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述圖像特征向量和文字特征向量融合，得到目標(biāo)特征向量的步驟，包括：

將所述文字特征向量和所述圖像特征向量，映射為維度相同的向量；

將映射后的文字特征向量和圖像特征向量逐維度融合，生成目標(biāo)特征向量。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述通過卷積神經(jīng)網(wǎng)絡(luò)確定圖像對應(yīng)的圖像特征向量的步驟之前，所述方法還包括：

獲取各樣本圖像；

針對每個樣本圖像，確定所述樣本圖像是否對應(yīng)文字描述信息；若否，確定所述樣本圖像對應(yīng)的文字特征子集合為空；若是，去除所述文字描述信息中的停用詞得到多個分詞，將各所述分詞的集合作為所述樣本圖像對應(yīng)的文字特征子集合；

將各樣本圖像對應(yīng)的文字特征子集合求并集，得到文字特征集合。

4.一種圖像分類裝置，其特征在于，所述裝置包括：

確定模塊，被配置為通過卷積神經(jīng)網(wǎng)絡(luò)確定圖像對應(yīng)的圖像特征向量；其中，所述圖像對應(yīng)有文字描述信息；

向量生成模塊，被配置為通過雙向循環(huán)神經(jīng)網(wǎng)絡(luò)對所述文字描述信息進(jìn)行處理，得到文字特征向量；

融合模塊，被配置為將所述圖像特征向量和文字特征向量融合，得到目標(biāo)特征向量；

調(diào)用模塊，被配置為調(diào)用深度神經(jīng)網(wǎng)絡(luò)，由所述深度神經(jīng)網(wǎng)絡(luò)依據(jù)所述目標(biāo)特征向量確定所述圖像對應(yīng)的分類；

其中，所述向量生成模塊包括：

分詞子模塊，被配置為去除所述文字描述信息中的停用詞，得到多個分詞；

索引值生成子模塊，被配置為針對每個所述分詞，確定所述分詞在文字特征集合中的位置信息，依據(jù)所述位置信息生成分詞對應(yīng)的索引數(shù)值；其中，所述文字特征集合通過對樣本圖像對應(yīng)的文字描述信息訓(xùn)練得到；

第一調(diào)用子模塊，被配置為調(diào)用嵌入網(wǎng)絡(luò)，由所述嵌入網(wǎng)絡(luò)依據(jù)各所述分詞對應(yīng)的索引數(shù)值確定各分詞對應(yīng)的特征向量；

第二調(diào)用子模塊，被配置為通過所述雙向循環(huán)神經(jīng)網(wǎng)絡(luò)對各分詞對應(yīng)的特征向量進(jìn)行處理，得到一個預(yù)設(shè)長度的文字特征向量。

5.根據(jù)權(quán)利要求4所述的裝置，其特征在于，所述融合模塊包括：

映射子模塊，被配置為將所述文字特征向量和所述圖像特征向量，映射為維度相同的向量；

融合子模塊，被配置為將映射后的文字特征向量和圖像特征向量逐維度融合，生成目標(biāo)特征向量。

6.根據(jù)權(quán)利要求4所述的裝置，其特征在于，所述裝置還包括：

獲取模塊，被配置為在所述確定模塊通過卷積神經(jīng)網(wǎng)絡(luò)確定圖像對應(yīng)的圖像特征向量之前，獲取各樣本圖像；

子集合確定模塊，被配置為針對每個樣本圖像，確定所述樣本圖像是否對應(yīng)文字描述信息；若否，確定所述樣本圖像對應(yīng)的文字特征子集合為空；若是，去除所述文字描述信息中的停用詞得到多個分詞，將各所述分詞的集合作為所述樣本圖像對應(yīng)的文字特征子集合；

特征集合確定模塊，被配置為將各樣本圖像對應(yīng)的文字特征子集合求并集，得到文字特征集合。