[發明專利]深度融合的方法和裝置

在審

• 申請號: 201910261747.5
• 申請日: 2019-04-02
• 公開（公告）號: CN110349196A
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 鄭朝鐘;魏震豪;陳正旻;王毓瑩;林亮均
• 申請（專利權）人: 聯發科技股份有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G01S17/08
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 李慶波

1.一種深度融合方法，包括：

從多個傳感器接收多個類型不同的傳感器信號；

基于該多個傳感器信號生成場景的第一深度相關信息和該場景的第二深度相關信息；以及

融合該第一深度相關信息和該第二深度相關信息以生成該場景的融合深度圖。

2.如權利要求1所述的深度融合方法，其特征在于，從該多個傳感器接收該多個類型不同的傳感器信號包括從紅綠藍相機、灰階相機、紅外相機、紅綠藍紅外相機、灰階紅外相機、帶雙頻帶通濾波的紅綠藍相機、帶雙頻帶通濾波的灰階相機和飛行時間傳感器中的兩個或更多個接收該多個傳感器信號。

3.如權利要求1所述的深度融合方法，其特征在于，生成該第一深度相關信息和該第二深度相關信息包括：

基于第一類型的該多個傳感器信號中的至少第一傳感器信號生成第一深度圖和第一置信圖；以及

基于與該第一類型不同的第二類型的該多個傳感器信號中的至少第二傳感器信號，生成第二深度圖和第二置信圖。

4.如權利要求3所述的深度融合方法，其特征在于，生成該第一深度圖和該第一置信圖包括使用結構光方法或飛行時間方法生成該第一深度圖和該第一置信圖，并且其中，生成該第二深度圖和該第二置信圖包括使用主動立體方法或被動立體方法生成該第二深度圖和該第二置信圖。

5.如權利要求3所述的深度融合方法，其特征在于，融合該第一深度相關信息和該第二深度相關信息以生成該融合深度圖包括：

相對于該第二深度圖重新映射該第一深度圖以生成重新映射的第一深度圖；融合該重新映射的第一深度圖、該第二深度圖、該第一置信圖和該第二置信圖以提供融合結果；以及

對該融合結果執行后處理以生成該融合深度圖。

6.如權利要求3所述的深度融合方法，其特征在于，融合該第一深度相關信息和該第二深度相關信息以生成該融合深度圖包括：

相對于該第二深度圖重新映射該第一深度圖以生成重新映射的第一深度圖；估計與生成該第一深度圖和該第一置信圖相關聯的成本量；

融合該重新映射的第一深度圖、該第二深度圖、該第一置信圖、該第二置信圖和該成本量以提供融合結果；以及

對該融合結果進行后處理以生成該融合深度圖，

其中，生成該第一深度圖和該第一置信圖包括使用結構光方法或飛行時間方法生成該第一深度圖和該第一置信圖。

7.如權利要求6所述的深度融合方法，其特征在于，估計該成本量包括通過計算與立體方法相關聯的加權成本和與結構光方法相關聯的加權成本的組合來估計該成本量。

8.如權利要求3所述的深度融合方法，其特征在于，融合該第一深度相關信息和該第二深度相關信息以生成該融合深度圖包括：

確定是否使用第一融合方法或第二融合方法融合該第一深度相關信息和該第二深度相關信息；以及

基于確定的結果，使用該第一融合方法或該第二融合方法融合該第一深度相關信息和該第二深度相關信息，

其中，該第一融合方法包括：

相對于該第二深度圖重新映射該第一深度圖以生成重新映射的第一深度圖；融合該重新映射的第一深度圖、該第二深度圖、該第一置信圖和該第二置信圖以提供融合結果；以及

對該融合結果進行后處理以生成該融合深度圖，

其中，該第二融合方法包括：

相對于該第二深度圖重新映射該第一深度圖以生成該重新映射的第一深度圖；

估計與生成該第一深度圖和該第一置信圖相關聯的成本量；

融合該重新映射的第一深度圖、該第二深度圖、該第一置信圖、該第二置信圖和該成本量以提供融合結果；以及

對該融合結果進行后處理以生成該融合深度圖，以及

其中，在該第二融合方法中，使用結構光方法或飛行時間方法生成該第一深度圖和該第一置信圖。

9.如權利要求1所述的深度融合方法，還包括：

控制電磁波投射器向該場景發射電磁波，

其中該電磁波投射器包括紅外投射器或飛行時間投射器。