[發(fā)明專利]圖像分類、關(guān)系網(wǎng)絡(luò)模型訓(xùn)練、圖像標(biāo)注方法及裝置

在審

• 申請?zhí)枺?/td>: 201911099792.1
• 申請日: 2019-11-12
• 公開（公告）號: CN111046910A
• 公開（公告）日: 2020-04-21
• 發(fā)明（設(shè)計(jì)）人: 黃彥春;曹佐;周鑫;劉瑞峰;李東帥;張弓;王仲遠(yuǎn)
• 申請（專利權(quán)）人: 北京三快在線科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京市隆安律師事務(wù)所 11323
• 代理人: 權(quán)鮮枝

1.一種圖像分類方法，包括：

提取目標(biāo)圖像的圖像特征；

將所述目標(biāo)圖像的圖像特征輸入經(jīng)訓(xùn)練得到的關(guān)系網(wǎng)絡(luò)模型，利用所述關(guān)系網(wǎng)絡(luò)模型將所述目標(biāo)圖像的圖像特征與第一支持集中已分類的各圖像的圖像特征進(jìn)行相似關(guān)系預(yù)測，根據(jù)預(yù)測結(jié)果確定所述第一支持集中與所述目標(biāo)圖像相似的圖像并根據(jù)相似的圖像的分類信息確定所述目標(biāo)圖像的圖像類別。

2.如權(quán)利要求1所述的方法，其特征在于，所述關(guān)系網(wǎng)絡(luò)模型是通過如下方式訓(xùn)練得到的：

獲取訓(xùn)練集，所述訓(xùn)練集中的各圖像帶有分類信息；

對所述訓(xùn)練集中的各圖像進(jìn)行圖像特征提取；

基于所述訓(xùn)練集中的各圖像的圖像特征，迭代訓(xùn)練所述關(guān)系網(wǎng)絡(luò)模型預(yù)測圖像特征間的相似關(guān)系。

3.如權(quán)利要求2所述的方法，其特征在于，所述迭代訓(xùn)練所述關(guān)系網(wǎng)絡(luò)模型預(yù)測圖像特征間的相似關(guān)系中的每次迭代訓(xùn)練均包括：

根據(jù)所述訓(xùn)練集的各圖像的分類信息隨機(jī)選取若干圖像類別；

從每個(gè)圖像類別下隨機(jī)選取若干圖像作為樣本圖像，并將這些樣本圖像分為該次迭代訓(xùn)練的第二支持集和查詢集；

將所述第二支持集中的樣本圖像與所述查詢集中的樣本圖像進(jìn)行兩兩配對，生成圖像特征圖并確定實(shí)際相似關(guān)系；

將生成的各圖像特征圖作為該次迭代訓(xùn)練使用的訓(xùn)練數(shù)據(jù)輸入到關(guān)系網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，根據(jù)所述關(guān)系網(wǎng)絡(luò)模型預(yù)測的相似關(guān)系與實(shí)際相似關(guān)系之間的差異，調(diào)節(jié)所述關(guān)系網(wǎng)絡(luò)模型的參數(shù)。

4.如權(quán)利要求2所述的方法，其特征在于，所述迭代訓(xùn)練所述關(guān)系網(wǎng)絡(luò)模型預(yù)測圖像特征間的相似關(guān)系包括：

使用加權(quán)均方誤差作為迭代訓(xùn)練所使用的損失函數(shù)，直至所述損失函數(shù)收斂結(jié)束迭代訓(xùn)練。

5.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

若利用所述關(guān)系網(wǎng)絡(luò)模型確定的目標(biāo)圖像的圖像類別的置信度大于預(yù)設(shè)閾值，則對所述目標(biāo)圖像的圖像類別進(jìn)行校驗(yàn)；

若通過校驗(yàn)，則將所述目標(biāo)圖像的圖像類別作為目標(biāo)圖像的分類信息，并將該目標(biāo)圖像加入到關(guān)系網(wǎng)絡(luò)模型的訓(xùn)練集中。

6.如權(quán)利要求1-5中任一項(xiàng)所述的方法，其特征在于，該方法還包括：根據(jù)先驗(yàn)數(shù)據(jù)為所述目標(biāo)圖像添加預(yù)分類信息；

所述目標(biāo)圖像的圖像類別是基于所述預(yù)分類信息過濾后得到的。

7.一種關(guān)系網(wǎng)絡(luò)模型訓(xùn)練方法，包括：

獲取訓(xùn)練集，所述訓(xùn)練集中的各圖像帶有分類信息；

對所述訓(xùn)練集中的各圖像進(jìn)行圖像特征提取；

基于所述訓(xùn)練集中的各圖像的圖像特征，迭代訓(xùn)練所述關(guān)系網(wǎng)絡(luò)模型預(yù)測圖像特征間的相似關(guān)系。

8.一種圖像標(biāo)注方法，包括：

通過如權(quán)利要求1-6中任一項(xiàng)所述的方法，獲取目標(biāo)圖像的圖像類別；

根據(jù)所述目標(biāo)圖像的圖像類別，生成目標(biāo)圖像的標(biāo)注信息。

9.一種圖像分類裝置，包括：

圖像特征提取單元，用于提取目標(biāo)圖像的圖像特征；

圖像分類單元，用于將所述目標(biāo)圖像的圖像特征輸入經(jīng)訓(xùn)練得到的關(guān)系網(wǎng)絡(luò)模型，利用所述關(guān)系網(wǎng)絡(luò)模型將所述目標(biāo)圖像的圖像特征與第一支持集中已分類的各圖像的圖像特征進(jìn)行相似關(guān)系預(yù)測，根據(jù)預(yù)測結(jié)果確定所述第一支持集中與所述目標(biāo)圖像相似的圖像并根據(jù)相似的圖像的分類信息確定所述目標(biāo)圖像的圖像類別。

10.一種關(guān)系網(wǎng)絡(luò)模型的訓(xùn)練裝置，包括：

圖像特征提取單元，用于獲取訓(xùn)練集，所述訓(xùn)練集中的各圖像帶有分類信息；對所述訓(xùn)練集中的各圖像進(jìn)行圖像特征提取；

訓(xùn)練單元，用于基于所述訓(xùn)練集中的各圖像的圖像特征，迭代訓(xùn)練所述關(guān)系網(wǎng)絡(luò)模型預(yù)測圖像特征間的相似關(guān)系。

11.一種圖像標(biāo)注裝置，包括：

分類結(jié)果獲取單元，用于通過如權(quán)利要求9所述的裝置，獲取目標(biāo)圖像的圖像類別；

標(biāo)注單元，用于根據(jù)所述目標(biāo)圖像的圖像類別，生成目標(biāo)圖像的標(biāo)注信息。