[發明專利]用于深度學習的傳感器融合感興趣區域識別

在審

• 申請號: 202210581545.0
• 申請日: 2022-05-26
• 公開（公告）號: CN115471825A
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 費贊·沙克;M·卡卡雷;羅伯特·帕倫蒂
• 申請（專利權）人: 福特全球技術公司
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V10/25;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06T1/20
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 魯恭誠;田碩

本公開提供“用于深度學習的傳感器融合感興趣區域識別”。執行傳感器融合以進行高效深度學習處理。從圖像傳感器接收相機圖像并且從一個或多個補充傳感器接收補充傳感器數據，所述相機圖像和所述補充傳感器數據包括交通工具的艙室的成像。基于所述相機圖像或所述補充傳感器數據中的一者或多者來確定所述相機圖像中的感興趣區域，所述感興趣區域包括所述相機圖像的被標記用于進一步圖像分析的區域。利用機器學習模型對所述相機圖像的所述感興趣區域執行對象檢測，以識別所述相機圖像中的一個或多個對象。將所述對象放置在所述交通工具的就座區中。

技術領域

本公開的各方面涉及使用傳感器融合來構建活動的感興趣區域以進行深度學習模型的高效處理。

背景技術

在計算機視覺領域，深度學習模型可能優于其他機器學習應用。然而，由于圖形處理單元(GPU)負載量和要對圖像數據執行的計算量，此類模型在計算上可能是昂貴的。降低圖像的分辨率可減少計算時間，但模型的性能也對應地降低。

發明內容

在一個或多個說明性示例中，提供了一種用于執行傳感器融合以進行高效深度學習處理的系統。交通工具具有多個就座區。所述交通工具的計算裝置被編程為從圖像傳感器接收相機圖像并從一個或多個補充傳感器接收補充傳感器數據；基于所述相機圖像或所述補充傳感器數據中的一者或多者來確定所述相機圖像中的感興趣區域，所述感興趣區域包括所述相機圖像的被標記用于進一步圖像分析的區域；利用機器學習模型對所述相機圖像的所述感興趣區域執行對象檢測，以識別所述相機圖像中的一個或多個對象；以及將所述對象放置在所述交通工具的所述就座區中。

在一個或多個說明性示例中，執行一種用于傳感器融合的方法以進行高效深度學習處理。從圖像傳感器接收相機圖像并且從一個或多個補充傳感器接收補充傳感器數據，所述相機圖像和所述補充傳感器數據包括交通工具的艙室的成像。基于所述相機圖像或所述補充傳感器數據中的一者或多者來確定所述相機圖像中的感興趣區域，所述感興趣區域包括所述相機圖像的被標記用于進一步圖像分析的區域。利用機器學習模型對所述相機圖像的所述感興趣區域執行對象檢測，以識別所述相機圖像中的一個或多個對象。將所述對象放置在所述交通工具的就座區中。

在一個或多個說明性示例中，一種非暫時性計算機可讀介質包括用于執行傳感器融合以進行高效深度學習處理的指令，所述指令在被計算裝置執行時致使所述計算裝置執行操作，所述操作包括：從圖像傳感器接收相機圖像并從一個或多個補充傳感器接收補充傳感器數據，所述相機圖像和所述補充傳感器數據包括交通工具的艙室的成像；基于所述相機圖像或所述補充傳感器數據中的一者或多者來確定所述相機圖像中的感興趣區域，所述感興趣區域包括所述相機圖像的被標記用于進一步圖像分析的區域；利用機器學習模型對所述相機圖像的所述感興趣區域執行對象檢測，以識別所述相機圖像中的一個或多個對象；以及將所述對象放置在所述交通工具的就座區中。

附圖說明

圖1示出了包括用于實現傳感器融合以構建活動的感興趣區域來進行深度學習模型的高效處理的交通工具的示例系統；

圖2示出了使用相機-激活的感興趣區域的后期傳感器融合的對象檢測算法的第一數據流；

圖3示出了使用相機-激活的感興趣區域的前期傳感器融合的對象檢測算法的第二數據流；

圖4示出了使用相機圖像和補充傳感器數據的多線程混合融合的對象檢測算法的第三數據流；

圖5示出了用于實現傳感器融合以構建活動的感興趣區域來進行深度學習模型的高效處理的示例過程；并且

圖6示出了用于實現傳感器融合以構建活動的感興趣區域來進行深度學習模型的高效處理的計算裝置的示例。

具體實施方式