[發明專利]一種3D成像視覺引導系統

在審

• 申請號: 201811284401.9
• 申請日: 2018-10-31
• 公開（公告）號: CN109495732A
• 公開（公告）日: 2019-03-19
• 發明（設計）人: 孫懷啟
• 申請（專利權）人: 昆山睿力得軟件技術有限公司
• 主分類號: H04N13/239
• 分類號: H04N13/239;G06K9/60;G06K9/62
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 母秋松;董建林

1.一種3D成像視覺引導系統，其特征在于：包括：深度與RGB圖像獲取模塊、立體成像模塊、圖像匹配模塊、三維空間重構模塊、目標物辨識模塊、坐標輸出模塊。

2.根據權利要求1所述的一種3D成像視覺引導系統，其特征在于：所述深度與RGB圖像獲取模塊，用于采用景深攝像頭以及RGB攝像頭，模式定義為640x320，每秒30幀獲得圖像調用OpenNI函數最終獲取圖像信息。

3.根據權利要求1所述的一種3D成像視覺引導系統，其特征在于：所述立體成像模塊，用于采用雙目立體成像方法對景深攝像頭以及RGB攝像頭獲取圖像信息進行像素匹配。

4.根據權利要求1所述的一種3D成像視覺引導系統，其特征在于：所述圖像匹配模塊，用于利用極點極線的方法，對極幾何運算后得到左投影面內坐標到右投影面的轉換矩陣，將景深攝像頭獲得像素與RGB攝像頭獲得像素進行重合。

5.根據權利要求1所述的一種3D成像視覺引導系統，其特征在于：所述三維空間重構模塊，用于將景深攝像頭、RGB攝像頭得的像素信息，一一對應，再對深度信息進行中值濾波．然后在OpenGL緩沖區繪制所有點的坐標，最后在每個有效點上賦予其對應的紋理參數，再結合鼠標響應就能多角度觀察三維環境。

6.根據權利要求1所述的一種3D成像視覺引導系統，其特征在于：所述目標物辨識模塊，用于將采集的RGB圖像轉化為灰度圖像，在圖像處理過程中因采集的三通道RGB圖像，應用OpenCV函數處理對象為灰度圖像；依據窗口尺寸要求調整圖像大小；對灰度圖像進行直方圖均衡；對均衡過的灰度圖像采用Haar分類器進行模式識別；在圖中標注識別結果，對于識別出的目標物，在灰度圖像上以相應尺寸的正方形標出。

7.根據權利要求1所述的一種3D成像視覺引導系統，其特征在于：所述坐標輸出模塊，用于以識別效果中的矩形區域為參考對象，選取景深圖像對應的矩形區域中心5x5的方形采樣區；發景深圖像的像素信息為圖像坐標，將圖像坐標轉換為相對攝像頭的實際空間坐標，獲得每個像素點的相對鏡頭的真實空間坐標；計算采樣區所有像素點的深度均值，將與均值相差超20%的噪點剔除，計算剩余正常像素點的深度均值Z；計算剩余正常像素點其余方向的坐標均值X、Y；獲得目標物在相對鏡頭的空間坐標系中的坐標(X，Y，Z)并向控制臺輸出。