[發(fā)明專利]基于文本-物體-場景關系的物體和場景的圖像理解方法

在審

• 申請?zhí)枺?/td>: 201410831227.0
• 申請日: 2014-12-22
• 公開（公告）號: CN104573711A
• 公開（公告）日: 2015-04-29
• 發(fā)明（設計）人: 熊紅凱;王博韜
• 申請（專利權）人: 上海交通大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 徐紅銀;郭國中

1.一種基于文本-物體-場景關系的物體和場景的圖像理解方法，其特征在于：所述方法對于輸入的圖像-文本對，具體處理步驟如下：

第一步：用物體檢測器計算圖像中各類物體存在的可能性大小，進而確定物體勢函數(shù)；

第二步：將文本用自然語言分析工具提取其中的名詞信息，確定文本節(jié)點的取值；

第三步：用場景分析算法計算圖像屬于各種場景類別的概率，確定場景勢函數(shù)；

第四步：根據(jù)文本節(jié)點的值和文本與場景的關系計算場景-文本勢函數(shù)；

第五步：根據(jù)場景和物體的關系計算場景-物體勢函數(shù)；

第六步：根據(jù)物體和文本的對應關系計算文本-物體勢函數(shù)；

第六步：將上述第一步～到第五步中確定的五種勢函數(shù)用條件隨機場聯(lián)合概率建模，求解最大后驗概率，得到物體節(jié)點和場景節(jié)點的值，即圖像中存在哪些物體和圖像屬于的場景類別；

所述用條件隨機場聯(lián)合概率建模，是指：每個圖像-文本對用條件隨機場模型建模文本、場景和物體之間的聯(lián)合概率密度分布函數(shù)，條件隨機場由三種類型的節(jié)點和三種類型的邊組成；三種類型的節(jié)點分別為：場景節(jié)點、物體節(jié)點和文本節(jié)點；三種類型的邊為：場景-物體邊、場景-文本邊和文本-物體邊。

2.根據(jù)權利要求1所述的圖像理解方法，其特征是，所述的用條件隨機場聯(lián)合概率建模，其中場景節(jié)點有一個，用隨機變量s表示改圖像的場景類別。

3.根據(jù)權利要求2所述的圖像理解方法，其特征是，所述的場景節(jié)點的一元勢函數(shù)由一組線下場景檢測器定義，該勢函數(shù)有S種可能的取值，S為場景類別的數(shù)量，每種取值為對應的場景分類器對該類場景的判別值。

4.根據(jù)權利要求1所述的圖像理解方法，其特征是，所述的用條件隨機場聯(lián)合概率建模，其中物體節(jié)點有O個，其中O是物體類別的數(shù)量，每個物體節(jié)點用隨機變量z表示相應物體在圖像中存在與否。

5.根據(jù)權利要求4所述的圖像理解方法，其特征是，所述的物體節(jié)點的一元勢函數(shù)由一組線下物體檢測器定義，每個物體檢測器對一幅圖像返回多個該物體可能存在的位置，每個位置都伴有一個判別值指示物體存在于該位置的可能性大小，勢函數(shù)取所有判別值中的最大值一個作為圖像中存在該類物體的指示。

6.根據(jù)權利要求1-5任一項所述的圖像理解方法，其特征是，所述的用條件隨機場聯(lián)合概率建模，其中文本節(jié)點有N個，其中N是名詞類別的數(shù)量，每個文本節(jié)點用隨機變量q表示相應名詞在圖像的文字描述中存在與否。

7.根據(jù)權利要求1-5任一項所述的圖像理解方法，其特征是，所述的用條件隨機場聯(lián)合概率建模，其中場景-物體邊：場景和物體之間的關系用場景-物體邊對應的二元勢函數(shù)表征，具體表示為各類物體在不同場景中出現(xiàn)的概率。

8.根據(jù)權利要求1-5任一項所述的圖像理解方法，其特征是，所述的用條件隨機場聯(lián)合概率建模，其中場景和文本之間的關系用場景-文本邊對應的二元勢函數(shù)表征，具體表示為各類名詞在不同場景中出現(xiàn)的概率。

9.根據(jù)權利要求1-5任一項所述的圖像理解方法，其特征是，所述的用條件隨機場聯(lián)合概率建模，其中文本-物體邊：文本和物體之間的關系用文本-物體邊對應的勢函數(shù)表征，具體表示為名詞和物體之間的相關概率。

10.根據(jù)權利要求9所述的圖像理解方法，其特征是，所述的文本和物體之間的相關概率，其表示方法是通過對每個圖像-文本對求解受約束的雙向匹配優(yōu)化問題得到樣本級的名詞與物體的映射關系；具體如下：

(1)用自然語言分析工具提取文本中的名詞及其數(shù)量，其中名詞為文本中詞性標簽為NN，NNS，NNP的單詞；名詞的數(shù)量有兩類，第一類為精確數(shù)量，包含了單數(shù)名詞和指出數(shù)量的復數(shù)名詞；第二類為模糊數(shù)量，包含了未給出數(shù)量的復數(shù)名詞，這類名詞的數(shù)量為2；

(2)求出名詞和物體之間的初始相關概率，具體為其共同出現(xiàn)在一個樣本中的概率；

(3)建立受約束的文本-物體的優(yōu)化問題，其中，約束一要求映射到某物體的名詞的個體數(shù)量不能大于該物體的數(shù)量；約束二要求一個名詞只能映射到一個類別的物體；

(4)重新估計文本-物體間的相關概率，即在訓練集中統(tǒng)計某名詞的所有個體中被映射到某物體的個體的比例。