[發明專利]一種TOF相機長短曝光融合的方法及系統

有效

• 申請號: 202010962105.0
• 申請日: 2020-09-14
• 公開（公告）號: CN112073646B
• 公開（公告）日: 2021-08-06
• 發明（設計）人: 瞿喜鋒;胡立松;金超;蔡勇;張瑞斌;于振中;李文興
• 申請（專利權）人: 哈工大機器人（合肥）國際創新研究院
• 主分類號: H04N5/235
• 分類號: H04N5/235
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 丁瑞瑞

一種TOF相機長短曝光的融合方法及系統，涉及圖像數據融合技術領域，解決TOF相機由于“過曝”或“曝光不足”現象而導致的深度信息不完整以及如何保證算法實時性的問題，包括，獲取TOF相機固定頻率下目標對象的一幀長曝光數據和一幀短曝光數據；獲取數據所有對應坐標的像素值進行相關閾值判斷，選擇合適的深度值和幅度值作為目標對象數據；獲取所有像素坐標的融合后目標對象完整的深度信息和幅度信息；在嵌入式計算平臺上進行計算，相對于其他方法，該方法計算速度快，相比較其他方法復雜的運算，該方法同時通過距離閾值和幅度值閾值來作為選取條件，能夠保證工程應用的實時性。

技術領域

本發明屬于圖像數據融合技術領域，具體涉及一種TOF相機長短曝光的融合方法及系統。

背景技術

近年來，三維視覺成像技術越來越多的應用于各行各業，其主要技術之一就是TOF(Time of Flight)技術。基于TOF技術的深度相機使用的是主動成像方式，即相機系統向目標發射激光，通過測量傳感器接受到目標反射光的時間計算到目標的距離。TOF深度相機具有體積小、誤差低、抗干擾性強等特點，并且可以直接輸出深度圖和幅度圖，計算量小，適用于室內外各種場合。

由于TOF相機的成像原理的特性以及測量環境的復雜性，其獲取目標對象的深度信息會存在一定的不完整性，從而最終會影響TOF相機的應用。具體表現為，TOF相機會出現“過曝”或“曝光不足”現象，導致幅度數據及深度數據產生異常。如在單一曝光時間下，對于離相機較近的物體、高反射率物體或檢測地面的陽光，TOF相機都容易產生“過曝”現象，導致深度值及幅度值數據異常；對于離相機較遠的物體，會產生“曝光不足”現象，導致幅度值過低且深度數據不穩定。

現有技術中，申請號為201711170732.5、公開日期為2019年05月28日的中國專利申請《基于TOF成像系統的深度融合方法和TOF相機》，公開了基于TOF成像系統的深度融合方法和TOF相機，具體公開了：獲取該目標對象的至少一長曝光數據以及至少一短曝光數據；獲取該目標對象的至少一深度數據，其中所述深度數據包括至少一短深度數據以及至少一長深度數據；以及融合所述短深度數據值以及所述長深度數據值，以獲取該目標對象的至少一融合數據。所述深度融合方法基于目標對象的深度信息融合所述目標對象的圖像，以獲取所述目標對象的完整的深度信息。

然而，由于上述中國發明專利申請的深度融合方法的計算量大、方法繁瑣，且該方案并未解決TOF相機由于“過曝”或“曝光不足”現象而導致的深度信息不完整的問題，同時該方案無法保證算法的實時性。

發明內容

本發明的目的在于如何解決TOF相機由于“過曝”或“曝光不足”現象而導致的深度信息不完整以及如何保證算法實時性的問題。

本發明是通過以下技術方案解決上述技術問題的：

一種TOF相機長短曝光融合的方法，包括如下步驟：

步驟1：獲取TOF相機固定頻率下目標對象的一幀長曝光數據和一幀短曝光數據，所述一幀長曝光數據和一幀短曝光數據均包含深度數據、幅度數據；具體為：

(1a)固定調制頻率，設置一個TOF相機長曝光時間，并保存到TOF相機參數表a中；

(1b)固定調制頻率，設置一個TOF相機短曝光時間，并保存到TOF相機參數表b中；

(1c)將TOF相機參數表置為參數表a，獲取一幀長曝光數據；所述長曝光數據包含一幀深度數據LD和一幀幅度數據LA；

(1d)將TOF相機參數表切換到參數表b，獲取一幀短曝光數據；所述短曝光數據包含一幀深度數據SD和一幀幅度數據SA；

步驟2：對步驟1中獲取數據所有對應坐標的像素值進行相關閾值判斷，選擇合適的深度值和幅度值作為目標對象數據；具體為：