[發明專利]一種基于光場相機的3D四維數據采集方法及裝置

在審

• 申請號: 201810152223.8
• 申請日: 2018-02-14
• 公開（公告）號: CN108470149A
• 公開（公告）日: 2018-08-31
• 發明（設計）人: 左忠斌;左達宇;夏偉韜
• 申請（專利權）人: 天目愛視（北京）科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京智乾知識產權代理事務所(普通合伙) 11552
• 代理人: 華冰

1.一種基于光場相機的3D四維數據采集方法，包括：

步驟1，接收光場相機當前對目標物體進行采集得到的影像數據；

步驟2，對所述影像數據進行多焦點采樣并轉換為多張預定圖片格式的圖像數據；

步驟3，將所述多張預定圖片格式的圖像數據進行預處理，其中，所述預處理包括以下至少之一：去除背景處理、降噪處理和細節增強處理；

步驟4，將預處理后的所述多張預定圖片格式的圖像數據融合成一張預定圖片格式的圖像數據，并對該張預定圖片格式的圖像數據進行處理，得到點云數據；

步驟5，從所述點云數據中提取所述目標物體的特征點云信息，并根據提取的所述特征點云信息，進行特征點距離標定；

步驟6，基于所述特征點距離標定得到的標定距離，對所述點云數據進行合成，得到所述目標物體的3D四維模型數據。

2.根據權利要求1所述的方法，其中，所述目標物體包括：人體的面部和/或頭部。

3.根據權利要求2所述的方法，其中，在步驟2之前，所述方法還包括：

對所述影像數據進行解碼，生成預定圖片格式的圖像數據，對所述預定圖片格式的圖像數據進行定位識別，確定所述人體的面部和/或頭部在預定的位置。

4.根據權利要求3所述的方法，其中，在確定所述人體的面部和/或頭部不在預定的位置的情況下，所述方法還包括：

根據對所述預定圖片格式的圖像數據進行定位識別的結果，確定承載所述人體的面部和/或頭部的承載設備需要移動的方向；

向所述承載設備發送控制指令，指示所述承載設備向所述需要移動的方向移動，返回步驟1。

5.根據權利要求3所述的方法，其中，確定所述人體的面部和/或頭部在預定的位置，包括：對所述預定圖片格式的圖像數據進行定位識別，判斷所述預定圖片格式的圖像數據中的人體的面部和/頭部的輪廓是否完整，如果完整，則確定所述人體的面部和/或頭部在預定的位置。

6.根據權利要求3所述的方法，其中，在對所述影像數據進行解碼時，所述方法還包括：對所述影像數據進行解碼處理，得到視頻信號數據，將所述視頻信號數據發送到引導顯示屏顯示。

7.根據權利要求1所述的方法，其中，所述目標物體包括：人體的手部。

8.根據權利要求7所述的方法，其中，所述人體的手部包括：指部和/或掌部。

9.根據權利要求1至8任一項所述的方法，其中，所述步驟5包括：

對從所述點云數據進行預處理，其中，所述預處理包括以下至少之一：降噪處理、平滑處理、和可視化處理；

從預處理后的所述點云數據中提取所述目標物體的特征點云信息；

根據所述特征點云信息，標定特征點的距離，得到所述目標物體的3D模型的基礎尺寸；

優選地

在步驟6之后，所述方法還包括：

將所述3D四維模型數據發送至顯示屏顯示。

10.一種基于光場相機的3D四維數據采集裝置，包括：

數據接收模塊，用于接收光場相機當前對目標物體進行采集得到的影像數據；

格式轉換模塊，用于對所述影像數據進行多焦點采樣并轉換為多張預定圖片格式的圖像數據；

預處理模塊，用于將所述多張預定圖片格式的圖像數據進行預處理，其中，所述預處理包括以下至少之一：去除背景處理、降噪處理和細節增強處理；

數據融合模塊，用于將預處理后的所述多張預定圖片格式的圖像數據融合成一張預定圖片格式的圖像數據；

點云生成模塊，用于對所述一張預定圖片格式的圖像數據進行處理，得到點云數據；

距離標定模塊，用于從所述點云數據中提取所述目標物體的特征點云信息，并根據提取的所述特征點云信息，進行特征點距離標定；

3D數據生成模塊，用于基于所述特征點距離標定得到的標定距離，對所述點云數據進行合成，得到所述目標物體的3D四維模型數據；

優選地，人體的面部和/或頭部；所述裝置還包括：

定位模塊，用于對所述影像數據進行解碼，生成預定圖片格式的圖像數據，對所述預定圖片格式的圖像數據進行定位識別，確定所述人體的面部和/或頭部在預定的位置；

優選地，所述裝置還包括：移動控制模塊，用于在所述定位識別確定所述人體的面部和/或頭部不在預定的位置的情況下，根據對所述預定圖片格式的圖像數據進行定位識別的結果，確定承載所述人體的面部和/或頭部的承載設備需要移動的方向，并向所述承載設備發送控制指令，指示所述承載設備向所述需要移動的方向移動，然后觸發所述數據接收模塊重新接收所述光場相機當前對所述目標物體采集到的影像數據；

優選地，確定所述人體的面部和/或頭部在預定的位置，包括：對所述預定圖片格式的圖像數據進行定位識別，判斷所述預定圖片格式的圖像數據中的人體的面部和/頭部的輪廓是否完整，如果完整，則確定所述人體的面部和/或頭部在預定的位置；

優選地，所述格式轉換模塊還用于在對所述影像數據進行解碼時，對所述影像數據進行解碼處理，得到視頻信號數據，將所述視頻信號數據發送到引導顯示屏顯示；

優選地，所述距離標定模塊按照以下方式進行距離標定：

對從所述點云數據進行預處理，其中，所述預處理包括以下至少之一：降噪處理、平滑處理、和可視化處理；

從預處理后的所述點云數據中提取所述目標物體的特征點云信息；

根據所述特征點云信息，標定特征點的距離，得到所述目標物體的3D模型的基礎尺寸；

優選地，所述裝置還包括：

顯示控制模塊，用于將所述3D四維模型數據發送至顯示屏顯示。