[發(fā)明專利]用于基于視覺(jué)背景無(wú)關(guān)語(yǔ)法模型推斷場(chǎng)景的系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201980026163.8
• 申請(qǐng)日: 2019-02-15
• 公開（公告）號(hào): CN112204565A
• 公開（公告）日: 2021-01-08
• 發(fā)明（設(shè)計(jì)）人: N·舒克拉;A·達(dá)恩
• 申請(qǐng)（專利權(quán)）人: 得麥股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/20;H04N21/84;H04N21/845
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 何焜;張?chǎng)?/td>

1.一種用于確定場(chǎng)景的類型的、在至少一個(gè)機(jī)器上實(shí)現(xiàn)的方法，該機(jī)器包含至少一個(gè)處理器、存儲(chǔ)器和能夠連接到網(wǎng)絡(luò)的通信平臺(tái)，該方法包含：

接收由照相機(jī)獲取的關(guān)于場(chǎng)景的圖像數(shù)據(jù)；

從圖像數(shù)據(jù)中檢測(cè)場(chǎng)景中存在的一個(gè)以上的對(duì)象；

基于一個(gè)以上的對(duì)象識(shí)別模型來(lái)分析所述一個(gè)以上的對(duì)象，以識(shí)別所述一個(gè)以上的對(duì)象；

基于圖像數(shù)據(jù)，確定所述一個(gè)以上的對(duì)象之間的空間關(guān)系；以及

根據(jù)至少一個(gè)場(chǎng)景背景無(wú)關(guān)語(yǔ)法模型，基于所述一個(gè)以上的對(duì)象及其空間關(guān)系，推斷場(chǎng)景的類型。

2.權(quán)利要求1的方法，其中，場(chǎng)景進(jìn)一步包括參與與機(jī)器的對(duì)話的用戶。

3.權(quán)利要求2的方法，其中，場(chǎng)景的類型一旦基于至少一個(gè)場(chǎng)景背景無(wú)關(guān)語(yǔ)法模型推斷出，將被機(jī)器用于促進(jìn)對(duì)話控制。

4.權(quán)利要求1的方法，還包含：

接收與不同場(chǎng)景有關(guān)的訓(xùn)練數(shù)據(jù)，其中，訓(xùn)練數(shù)據(jù)包括與各個(gè)訓(xùn)練場(chǎng)景中的對(duì)象及其空間關(guān)系有關(guān)的信息；以及

基于訓(xùn)練數(shù)據(jù)，對(duì)至少一個(gè)場(chǎng)景背景無(wú)關(guān)語(yǔ)法模型進(jìn)行機(jī)器學(xué)習(xí)。

5.權(quán)利要求1的方法，其中，每個(gè)場(chǎng)景背景無(wú)關(guān)語(yǔ)法模型對(duì)應(yīng)于一種類型的場(chǎng)景，其由以下至少一者表征：

第一類型的節(jié)點(diǎn)，其表征第一對(duì)象并規(guī)定多個(gè)子對(duì)象，所述多個(gè)子對(duì)象需要全部在場(chǎng)景中存在以便使場(chǎng)景滿足該類型的條件；以及

第二類型的節(jié)點(diǎn)，其表征在場(chǎng)景中存在的第二對(duì)象，并規(guī)定對(duì)象的多個(gè)替代性實(shí)例。

6.權(quán)利要求5的方法，其中，場(chǎng)景背景無(wú)關(guān)語(yǔ)法模型進(jìn)一步包含在場(chǎng)景中檢測(cè)的不同對(duì)象的所需要的空間鄰近關(guān)系以及在場(chǎng)景中檢測(cè)的不同對(duì)象的所需要的空間布置的表征。

7.權(quán)利要求5的方法，其還包含基于檢測(cè)到的一個(gè)以上的對(duì)象更新與場(chǎng)景對(duì)應(yīng)的3D空間占據(jù)記錄。

8.一種機(jī)器可讀的非暫時(shí)性介質(zhì)，其上記錄有用于確定場(chǎng)景的類型的信息，其中，該信息在被機(jī)器讀取時(shí)，使得機(jī)器執(zhí)行：

接收由照相機(jī)獲取的關(guān)于場(chǎng)景的圖像數(shù)據(jù)；

從圖像數(shù)據(jù)中檢測(cè)場(chǎng)景中存在的一個(gè)以上的對(duì)象；

基于一個(gè)以上的對(duì)象識(shí)別模型來(lái)分析所述一個(gè)以上的對(duì)象，以識(shí)別所述一個(gè)以上的對(duì)象；

基于圖像數(shù)據(jù)，確定所述一個(gè)以上的對(duì)象之間的空間關(guān)系；以及

根據(jù)至少一個(gè)場(chǎng)景背景無(wú)關(guān)語(yǔ)法模型，基于所述一個(gè)以上的對(duì)象及其空間關(guān)系，推斷場(chǎng)景的類型。

9.權(quán)利要求8的介質(zhì)，其中，場(chǎng)景進(jìn)一步包括參與與機(jī)器的對(duì)話的用戶。

10.權(quán)利要求9的介質(zhì)，其中，場(chǎng)景的類型一旦基于至少一個(gè)場(chǎng)景背景無(wú)關(guān)語(yǔ)法模型推斷出，將被機(jī)器用于促進(jìn)對(duì)話控制。

11.權(quán)利要求8的介質(zhì)，其中，信息在被機(jī)器讀取時(shí)進(jìn)一步使得機(jī)器執(zhí)行：

接收與不同場(chǎng)景有關(guān)的訓(xùn)練數(shù)據(jù)，其中，訓(xùn)練數(shù)據(jù)包括與各個(gè)訓(xùn)練場(chǎng)景中的對(duì)象及其空間關(guān)系有關(guān)的信息；以及

基于訓(xùn)練數(shù)據(jù)，對(duì)至少一個(gè)場(chǎng)景背景無(wú)關(guān)語(yǔ)法模型進(jìn)行機(jī)器學(xué)習(xí)。

12.權(quán)利要求8的介質(zhì)，其中，每個(gè)場(chǎng)景背景無(wú)關(guān)語(yǔ)法模型對(duì)應(yīng)于一種類型的場(chǎng)景，其由以下至少一者表征：

第一類型的節(jié)點(diǎn)，其表征第一對(duì)象并規(guī)定多個(gè)子對(duì)象，所述多個(gè)子對(duì)象需要全部在場(chǎng)景中存在以便使場(chǎng)景滿足該類型的條件；以及

第二類型的節(jié)點(diǎn)，其表征在場(chǎng)景中存在的第二對(duì)象，并規(guī)定對(duì)象的多個(gè)替代性實(shí)例。

13.權(quán)利要求12的介質(zhì)，其中，場(chǎng)景背景無(wú)關(guān)語(yǔ)法模型進(jìn)一步包含在場(chǎng)景中檢測(cè)的不同對(duì)象的所需要的空間鄰近關(guān)系以及在場(chǎng)景中檢測(cè)的不同對(duì)象的所需要的空間布置的表征。

14.權(quán)利要求12的介質(zhì)，其中，信息在被機(jī)器讀取時(shí)進(jìn)一步使得機(jī)器執(zhí)行：基于檢測(cè)到的一個(gè)以上的對(duì)象更新與場(chǎng)景對(duì)應(yīng)的3D空間占據(jù)記錄。