[發(fā)明專利]用于深度學(xué)習(xí)的傳感器融合感興趣區(qū)域識(shí)別

在審

• 申請(qǐng)?zhí)枺?/td>: 202210581545.0
• 申請(qǐng)日: 2022-05-26
• 公開(kāi)（公告）號(hào): CN115471825A
• 公開(kāi)（公告）日: 2022-12-13
• 發(fā)明（設(shè)計(jì)）人: 費(fèi)贊·沙克;M·卡卡雷;羅伯特·帕倫蒂
• 申請(qǐng)（專利權(quán)）人: 福特全球技術(shù)公司
• 主分類號(hào): G06V20/59
• 分類號(hào): G06V20/59;G06V10/25;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06T1/20
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司 11286
• 代理人: 魯恭誠(chéng);田碩

1.一種用于執(zhí)行傳感器融合以進(jìn)行高效深度學(xué)習(xí)處理的系統(tǒng)，所述系統(tǒng)包括：

具有多個(gè)就座區(qū)的交通工具的計(jì)算裝置，所述計(jì)算裝置被編程為

從圖像傳感器接收相機(jī)圖像并從一個(gè)或多個(gè)補(bǔ)充傳感器接收補(bǔ)充傳感器數(shù)據(jù)，所述相機(jī)圖像和所述補(bǔ)充傳感器數(shù)據(jù)包括所述交通工具的艙室的成像；

基于所述相機(jī)圖像或所述補(bǔ)充傳感器數(shù)據(jù)中的一者或多者來(lái)確定所述相機(jī)圖像中的感興趣區(qū)域，所述感興趣區(qū)域包括所述相機(jī)圖像的被標(biāo)記用于進(jìn)一步圖像分析的區(qū)域；

利用機(jī)器學(xué)習(xí)模型對(duì)所述相機(jī)圖像的所述感興趣區(qū)域執(zhí)行對(duì)象檢測(cè)，以識(shí)別所述相機(jī)圖像中的一個(gè)或多個(gè)對(duì)象；以及

將所述對(duì)象放置在所述交通工具的所述就座區(qū)中。

2.如權(quán)利要求1所述的系統(tǒng)，其中所述計(jì)算裝置還被編程為利用感興趣區(qū)域定位器來(lái)根據(jù)所述相機(jī)圖像確定所述相機(jī)圖像中的所述感興趣區(qū)域。

3.如權(quán)利要求2所述的系統(tǒng)，其中所述計(jì)算裝置還被編程為：

利用占用檢測(cè)器來(lái)識(shí)別所述補(bǔ)充傳感器數(shù)據(jù)內(nèi)的感興趣位置的三維(3D)檢測(cè)；

利用檢測(cè)融合部件來(lái)基于加權(quán)函數(shù)將二維(2D)對(duì)象檢測(cè)和所述3D檢測(cè)融合成融合的檢測(cè)；以及

使用所述融合的檢測(cè)來(lái)執(zhí)行座椅檢測(cè)。

4.如權(quán)利要求1所述的系統(tǒng)，其中所述計(jì)算裝置還被編程為利用激活的感興趣區(qū)域定位器來(lái)根據(jù)所述補(bǔ)充傳感器數(shù)據(jù)確定所述相機(jī)圖像中的所述感興趣區(qū)域。

5.如權(quán)利要求4所述的系統(tǒng)，其中所述補(bǔ)充傳感器數(shù)據(jù)包括指示所述交通工具內(nèi)的對(duì)象的運(yùn)動(dòng)的雷達(dá)傳感器數(shù)據(jù)。

6.如權(quán)利要求4所述的系統(tǒng)，其中所述補(bǔ)充傳感器數(shù)據(jù)包括指示所述交通工具中的移動(dòng)裝置的位置的無(wú)線收發(fā)器數(shù)據(jù)。

7.如權(quán)利要求1所述的系統(tǒng)，其中所述計(jì)算裝置還被編程為：

利用未激活的感興趣區(qū)域定位器來(lái)根據(jù)所述相機(jī)圖像確定所述相機(jī)圖像中的所述感興趣區(qū)域；

利用激活的感興趣區(qū)域定位器來(lái)根據(jù)所述補(bǔ)充傳感器數(shù)據(jù)確定所述相機(jī)圖像中的所述感興趣區(qū)域；以及

利用所述機(jī)器學(xué)習(xí)模型對(duì)使用所述未激活的感興趣區(qū)域定位器和所述激活的感興趣區(qū)域定位器兩者確定的所述感興趣區(qū)域執(zhí)行特征提取，以執(zhí)行所述對(duì)象檢測(cè)。

8.如權(quán)利要求7所述的系統(tǒng)，其中所述計(jì)算裝置還被編程為：

利用結(jié)果融合來(lái)基于加權(quán)函數(shù)將所述對(duì)象檢測(cè)和所述補(bǔ)充傳感器數(shù)據(jù)融合成融合的檢測(cè)；以及

使用所述融合的檢測(cè)來(lái)執(zhí)行座椅檢測(cè)。

9.一種用于執(zhí)行傳感器融合以進(jìn)行高效深度學(xué)習(xí)處理的方法，所述方法包括：

從圖像傳感器接收相機(jī)圖像并從一個(gè)或多個(gè)補(bǔ)充傳感器接收補(bǔ)充傳感器數(shù)據(jù)，所述相機(jī)圖像和所述補(bǔ)充傳感器數(shù)據(jù)包括交通工具的艙室的成像；

基于所述相機(jī)圖像或所述補(bǔ)充傳感器數(shù)據(jù)中的一者或多者來(lái)確定所述相機(jī)圖像中的感興趣區(qū)域，所述感興趣區(qū)域包括所述相機(jī)圖像的被標(biāo)記用于進(jìn)一步圖像分析的區(qū)域；

利用機(jī)器學(xué)習(xí)模型對(duì)所述相機(jī)圖像的所述感興趣區(qū)域執(zhí)行對(duì)象檢測(cè)，以識(shí)別所述相機(jī)圖像中的一個(gè)或多個(gè)對(duì)象；以及

將所述對(duì)象放置在所述交通工具的就座區(qū)中。

10.如權(quán)利要求9所述的方法，所述方法還包括利用感興趣區(qū)域定位器來(lái)根據(jù)所述相機(jī)圖像確定所述相機(jī)圖像中的所述感興趣區(qū)域。

11.如權(quán)利要求10所述的方法，所述方法還包括：

利用占用檢測(cè)器來(lái)識(shí)別所述補(bǔ)充傳感器數(shù)據(jù)內(nèi)的感興趣位置的三維(3D)檢測(cè)；

利用檢測(cè)融合部件來(lái)基于加權(quán)函數(shù)將二維(2D)對(duì)象檢測(cè)和所述3D檢測(cè)融合成融合的檢測(cè)；以及

使用所述融合的檢測(cè)來(lái)執(zhí)行座椅檢測(cè)。

12.如權(quán)利要求9所述的方法，所述方法還包括利用激活的感興趣區(qū)域定位器來(lái)根據(jù)所述補(bǔ)充傳感器數(shù)據(jù)確定所述相機(jī)圖像中的所述感興趣區(qū)域。