[發(fā)明專利]一種基于知識(shí)庫(kù)表示的對(duì)象可承受性推理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710430655.6
• 申請(qǐng)日: 2017-06-09
• 公開(kāi)（公告）號(hào): CN107330520A
• 公開(kāi)（公告）日: 2017-11-07
• 發(fā)明（設(shè)計(jì)）人: 劉剛;史凱磊;高雪琴;陳澤玲
• 申請(qǐng)（專利權(quán)）人: 上海電力學(xué)院
• 主分類號(hào): G06N5/04
• 分類號(hào): G06N5/04;G06N5/02;G06K9/62
• 代理公司: 上海科盛知識(shí)產(chǎn)權(quán)代理有限公司31225
• 代理人: 趙志遠(yuǎn)

技術(shù)領(lǐng)域

本發(fā)明涉及視覺(jué)智能領(lǐng)域，尤其是涉及一種基于知識(shí)庫(kù)表示的對(duì)象可承受性推理方法。

背景技術(shù)

視覺(jué)推理是視覺(jué)智能的一個(gè)最終目標(biāo)。以蘋果舉例，給定一個(gè)蘋果的圖片，人類可以識(shí)別對(duì)象名稱，它的形狀，顏色，紋理，推斷其味道，并想想如何吃它。我們視覺(jué)推理的大部分領(lǐng)域努力集中在為圖像的某些部分分配類標(biāo)簽。實(shí)際上，將推理問(wèn)題轉(zhuǎn)化為分類問(wèn)題是直觀的。大多數(shù)強(qiáng)大的機(jī)器學(xué)習(xí)工具是基于優(yōu)化分類目標(biāo)。但是這種基于分類器的范例也有局限性。與看到一個(gè)蘋果時(shí)可以通過(guò)一個(gè)人豐富的思想推理相比，典型的對(duì)象分類器正在做一個(gè)“淺顯的”的推理。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種無(wú)需單獨(dú)訓(xùn)練分類器、深入的視覺(jué)推理、異構(gòu)信息廣泛的基于知識(shí)庫(kù)表示的對(duì)象可承受性推理方法。

本發(fā)明的目的可以通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)：

一種基于知識(shí)庫(kù)表示的對(duì)象可承受性推理方法，用以預(yù)測(cè)給定對(duì)象的可承受性，包括以下步驟：

1)采用馬爾科夫邏輯網(wǎng)絡(luò)學(xué)習(xí)知識(shí)庫(kù)，進(jìn)行知識(shí)庫(kù)的構(gòu)建和表示；

2)利用分層模型估計(jì)給定對(duì)象的相關(guān)屬性，包括物理屬性、視覺(jué)屬性和分類屬性；

3)利用分層模型估計(jì)得到的證據(jù)查詢知識(shí)庫(kù)，并且進(jìn)行zero-shot可承受性預(yù)測(cè)；

4)獲取預(yù)測(cè)對(duì)象的可承受性、人的姿勢(shì)以及人與對(duì)象的相對(duì)位置。

所述的步驟1)具體包括以下步驟：

11)獲取構(gòu)建知識(shí)庫(kù)的證據(jù)，從不同的數(shù)據(jù)源收集證據(jù)，包括圖像和在線文本信息，所述的圖像和在線文本信息包括對(duì)象的物理屬性、視覺(jué)屬性、可承受性、分類屬性以及人與對(duì)象的互動(dòng)信息；

12)獲得構(gòu)建知識(shí)庫(kù)的證據(jù)后，使用馬爾科夫網(wǎng)絡(luò)對(duì)證據(jù)進(jìn)行學(xué)習(xí)，構(gòu)建知識(shí)庫(kù)，建立對(duì)象與物理屬性、視覺(jué)屬性、可承受性、分類屬性以及人與對(duì)象的互動(dòng)信息之間的關(guān)系。

所述的步驟2)具體包括以下步驟：

21)通過(guò)視覺(jué)屬性分類器對(duì)給定對(duì)像進(jìn)行特征提取，獲取給定對(duì)象的基本屬性，包括顏色、紋理和形狀，再根據(jù)基本屬性采用視覺(jué)屬性分類器獲取其視覺(jué)屬性，包括形狀、材料和部分；

22)采用LR分類器得到給定對(duì)象的分類屬性，并且采用rank svm結(jié)合基本屬性獲取給定對(duì)像的物理屬性，所述的物理屬性包括現(xiàn)實(shí)權(quán)重和現(xiàn)實(shí)尺寸，所述的分類屬性包括對(duì)象詞匯的上位詞。

所述的步驟3)中具體包括以下步驟：

根據(jù)給定對(duì)象的視覺(jué)屬性、物理屬性以及分類屬性采用采用一階推理獲取給定對(duì)象的可承受性、人的姿態(tài)以及人與對(duì)象的相對(duì)位置。

人的姿勢(shì)包括抓，舉，扔，推，修理，騎，玩，看，坐，飼養(yǎng)，倒，寫，劃和寫。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

一、一個(gè)多樣化的視覺(jué)推理任務(wù)可以在這個(gè)統(tǒng)一的框架中完成，而不需要訓(xùn)練單獨(dú)的分類器；

二、在本發(fā)明中，專注于預(yù)測(cè)對(duì)象的可承受性的任務(wù)，并說(shuō)明視覺(jué)和語(yǔ)義信息的新表示如何超越“淺顯的”推理，并允許更靈活和更深入的視覺(jué)推理；

三、本發(fā)明可以在一個(gè)統(tǒng)一的框架中同時(shí)預(yù)測(cè)可承受性標(biāo)簽，人的姿勢(shì)和人相對(duì)對(duì)象的位置；

四、之前的些模型相比，由于之前模型都是基于分類器，不存在異構(gòu)信息的獲取。本發(fā)明的知識(shí)庫(kù)包含廣泛的異構(gòu)信息，異構(gòu)信息知識(shí)的挖掘目的在于找到已有數(shù)據(jù)資源的隱形知識(shí)。本發(fā)明通過(guò)挖掘并組織各類隱形知識(shí)，得到廣泛的異構(gòu)信息，提高數(shù)據(jù)的應(yīng)用層次，將數(shù)據(jù)之間存在的語(yǔ)義關(guān)系顯性化，因而使我們能夠回答多種視覺(jué)和文本查詢等優(yōu)點(diǎn)。

附圖說(shuō)明

圖1為本發(fā)明的方法流程圖。

圖2為本發(fā)明的方法流程框圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。

實(shí)施例

如圖2所示，本實(shí)施例提供一種基于用知識(shí)庫(kù)表示的對(duì)象可承受性推理方法，對(duì)給定對(duì)象的圖像進(jìn)行可承受性預(yù)測(cè)，包括預(yù)測(cè)人的姿勢(shì)以及人與對(duì)象的相對(duì)位置，具體如下：

1)使用馬爾科夫邏輯網(wǎng)絡(luò)(MLN)學(xué)習(xí)知識(shí)庫(kù)(KB)，進(jìn)行知識(shí)庫(kù)的構(gòu)建和表示；

步驟1)中，進(jìn)行知識(shí)庫(kù)的構(gòu)建和表示的具體步驟為：

11)首先，從不同的數(shù)據(jù)源收集證據(jù)，包括圖像和在線文本。

11a)收集構(gòu)建知識(shí)庫(kù)的證據(jù)。知識(shí)庫(kù)是由證據(jù)，一組關(guān)于實(shí)體的事實(shí)和斷言填充的(一般規(guī)則)，比如有視覺(jué)屬性(x,頭)有可承受性(x,飼養(yǎng))。本發(fā)明的知識(shí)庫(kù)包含廣泛的異質(zhì)信息，包括對(duì)象屬性，可承受性，人的姿勢(shì)等。