[發明專利]一種基于視覺慣性SLAM的車廂車廂容積率測量方法

在審

• 申請號: 202110370458.6
• 申請日: 2021-04-07
• 公開（公告）號: CN113295089A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 張簫;邱鵬
• 申請（專利權）人: 深圳市異方科技有限公司
• 主分類號: G01B11/00
• 分類號: G01B11/00;G06T7/00;G06T7/44;G06T7/62;G06T7/90;G06T17/20
• 代理公司: 深圳市徽正知識產權代理有限公司 44405
• 代理人: 盧杏艷

1.一種基于視覺慣性SLAM的車廂車廂容積率測量方法，其特征在于，包括：

移動終端距離貨物預設距離采集車廂與貨物的彩色圖像、深度圖像以及慣性數據；

vio系統進行初始化處理；

跟蹤計算得每幀圖像拍攝時候移動終端的位姿以及所述車廂與貨物的彩色圖像與深度圖像進行三維點云重建以獲得所述車廂與貨物的三維點云；

根據所述三維點云獲得所述車廂與貨物的點云的體積，進而獲得所述車廂的容積率。

2.根據權利要求1所述的基于視覺慣性SLAM的車廂車廂容積率測量方法，其特征在于，所述深度圖像將車廂或者貨物到所述移動終端的深度距離作為像素值存儲到圖像中，所述慣性數據是車廂與貨物在x、y、z軸上的速度加速度以及繞x、y、z軸的角速度加速度。

3.根據權利要求1所述的基于視覺慣性SLAM的車廂容積率測量方法，其特征在于，所述移動終端距離貨物預設距離采集車廂與貨物的彩色圖像、深度圖像以及慣性數據的步驟之后包括：

所述移動終端采集彩色圖像、深度圖像過程形成視頻流；

對所述視頻流中的圖像進行跟蹤，并根據相鄰圖像的信息計算所述移動終端的運動信息。

4.根據權利要求3所述的基于視覺慣性SLAM的車廂容積率測量方法，其特征在于，所述對所述視頻流中的圖像進行跟蹤，并根據相鄰圖像的信息計算所述移動終端的運動信息包括：

對彩色圖像采用KLT稀疏光流算法跟蹤Shi-Tomasi特征點；

根據所述Shi-Tomasi特征點計算出本質矩陣或單應矩陣，并從所述本質矩陣或者單應矩陣中恢復出當前幀與上一幀圖像之間所述移動終端的位姿，從而獲得所述移動終端的運動信息。

5.根據權利要求4所述的基于視覺慣性SLAM的車廂容積率測量方法，其特征在于，

所述vio系統進行初始化處理包括：

判斷vio系統初始化是否成功；

若否，則根據所述移動終端的位姿，在非相鄰的兩幀深度圖像和彩色圖像之間視差大于預設值時進行vio系統初始化。

6.根據權利要求5所述的基于視覺慣性SLAM的車廂容積率測量方法，其特征在于，

將所述非相鄰的兩幀深度圖像與彩色圖像配準對齊，其中所述非相鄰的兩幀為第一預設幀和第二預設幀，所述第二預設幀在所述第一幀之后；

尋找所述彩色圖像特征點相對應的深度，得到所述第二幀特征點的三維坐標，以及所述第一幀相對應的關鍵的二維坐標；

通過預設算法根據所述第二幀特征點的三維坐標，以及所述第一幀相對應的關鍵的二維坐標求解出兩幀之間所述移動終端的絕對尺度位姿。

7.根據權利要求1所述的基于視覺慣性SLAM的車廂容積率測量方法，其特征在于，所述跟蹤計算得每幀圖像拍攝時候移動終端的位姿以及所述車廂與貨物的彩色圖像與深度圖像進行三維點云重建的步驟包括：

跟蹤計算得每幀圖像拍攝時所述移動終端的位姿；

根據位姿將關鍵幀深度圖像對應的點云變換加入到初始化幀的坐標系中，采用該方式對車廂和貨物進行掃描，當掃描結束后便完成整個車廂內環境的三維點云重建。

8.根據權利要求7所述的基于視覺慣性SLAM的車廂容積率測量方法，其特征在于，所述跟蹤計算得每幀圖像拍攝時候移動終端的位姿以及所述車廂與貨物的彩色圖像與深度圖像進行三維點云重建的步驟之后包括：

根據所述慣性數據獲得重力方向，在所述重力方向上對點云投影到該方向上的數值做直方圖統計，以此從小到大以及從大到小找到最值，以獲得初步的車廂底面平面以及頂面平面；

根據初步選取得到的點云根據隨機一致性采樣的方法進行平面的擬合得到精確的平面信息；

采用相同方法分別擬合所述車廂側面的兩個平面；

獲取所述車廂四個平面之后，得到車廂門口邊緣部分，并把所述車廂門口部分的點云補全之后，為下一步的體積測量做準備。