[發(fā)明專利]基于多模態(tài)的圖像標(biāo)注裝置以及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310251807.8
• 申請(qǐng)日: 2013-06-24
• 公開（公告）號(hào): CN104239359B
• 公開（公告）日: 2017-09-01
• 發(fā)明（設(shè)計(jì)）人: 劉曦;劉汝杰
• 申請(qǐng)（專利權(quán)）人: 富士通株式會(huì)社
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司11127
• 代理人: 陶海萍,田勇

1.一種基于多模態(tài)的圖像標(biāo)注裝置，所述圖像標(biāo)注裝置包括：

分?jǐn)?shù)生成單元，利用訓(xùn)練圖像以及圖像的多個(gè)模態(tài)，為查詢圖像生成多組關(guān)于標(biāo)注詞典中所有標(biāo)簽的第一分?jǐn)?shù)；

后融合單元，將獲得的多組分?jǐn)?shù)進(jìn)行融合來(lái)獲得關(guān)于所有標(biāo)簽的最終分?jǐn)?shù)；

標(biāo)簽選擇單元，根據(jù)所有標(biāo)簽的最終分?jǐn)?shù)，選擇具有較大標(biāo)簽分?jǐn)?shù)的一個(gè)或多個(gè)標(biāo)簽作為所述查詢圖像的標(biāo)簽，

其中，所述圖像標(biāo)注裝置還包括：

模態(tài)拼接單元，將圖像的所有模態(tài)直接拼接成一組合模態(tài)；

并且，所述分?jǐn)?shù)生成單元還用于利用所述訓(xùn)練圖像及所述組合模態(tài)，為所述查詢圖像生成一組關(guān)于所述所有標(biāo)簽的第二分?jǐn)?shù)；以及所述后融合單元將多組所述第一分?jǐn)?shù)與所述第二分?jǐn)?shù)進(jìn)行融合來(lái)獲得關(guān)于所述所有標(biāo)簽的最終分?jǐn)?shù)。

2.根據(jù)權(quán)利要求1所述的圖像標(biāo)注裝置，其中，所述后融合單元具體用于：對(duì)多組所述第一分?jǐn)?shù)進(jìn)行線性組合；并且將利用所述組合模態(tài)生成的所述第二分?jǐn)?shù)作為約束項(xiàng)以引導(dǎo)所述線性組合。

3.根據(jù)權(quán)利要求2所述的圖像標(biāo)注裝置，其中，所述后融合單元中的所述線性組合獲得的標(biāo)簽分?jǐn)?shù)為：TS_c＝∑_t＝1,...,Mw_tTS_t；其中TS_t為所述第一分?jǐn)?shù)，M為所述多個(gè)模態(tài)的個(gè)數(shù)；w_t為線性權(quán)重，所述線性權(quán)重滿足如下條件：

(1)所有線性權(quán)重均大于或者等于零；

(2)線性權(quán)重的L2-范數(shù)最小；

(3)線性組合中的TS_c和TS_a盡可能接近；所述TS_a為所述第二分?jǐn)?shù)。

4.根據(jù)權(quán)利要求3所述的圖像標(biāo)注裝置，其中，所述線性組合滿足如下約束：

minw12wTw+μ2||TSc-TSa||22]]>

s.t.w_i≥0,i＝1,...,M

其中，w＝(w₁,w₂,…,w_M)^T，μ是一個(gè)給定的常數(shù)。

5.根據(jù)權(quán)利要求3所述的圖像標(biāo)注裝置，其中，所述圖像標(biāo)注裝置還包括：

分?jǐn)?shù)更新單元，根據(jù)所述線性組合獲得的標(biāo)簽分?jǐn)?shù)TS_c來(lái)更新所述第二分?jǐn)?shù)TS_a；

并且，所述后融合單元還用于根據(jù)更新后的所述第二分?jǐn)?shù)TS_a求解所述線性權(quán)重w，以更新所述線性組合獲得的標(biāo)簽分?jǐn)?shù)TS_c。

6.根據(jù)權(quán)利要求5所述的圖像標(biāo)注裝置，其中，所述圖像標(biāo)注裝置還包括：

條件判斷單元，判斷是否滿足預(yù)設(shè)條件；

在滿足預(yù)設(shè)條件時(shí)，所述后融合單元還用于將獲得的標(biāo)簽分?jǐn)?shù)TS_c作為關(guān)于所有標(biāo)簽的最終分?jǐn)?shù)；在不滿足預(yù)定條件時(shí)，所述分?jǐn)?shù)更新單元繼續(xù)更新所述第二分?jǐn)?shù)TS_a。