[發明專利]一種基于視覺的盤煤系統及方法

在審

• 申請號: 202011026737.2
• 申請日: 2020-09-25
• 公開（公告）號: CN112150629A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 張方;沈潤杰;劉晨旭;李一飛;江其洪;劉龍翔
• 申請（專利權）人: 福建華電可門發電有限公司;上海樞創科技有限公司
• 主分類號: G06T17/10
• 分類號: G06T17/10;G06T15/04;G06T5/00
• 代理公司: 杭州橙知果專利代理事務所(特殊普通合伙) 33261
• 代理人: 李品

1.一種基于視覺的盤煤系統，其特征在于，包括數據采集模塊和圖像處理模塊，所述數據采集模塊與圖像處理模塊連接；

所述數據采集模塊，用于接收無人機獲取的儲煤場的圖像信息以及無人機的POS數據信息，并將圖像信息及無人機的POS數據信息發送至圖像處理模塊；

所述圖像處理模塊，用于根據圖像信息以及無人機的POS數據信息基于運動恢復結構算法計算相機的參數，并根據所述參數構建三維稀疏點云模型，根據三維稀疏點云模型進行稠密點云模型重構，并根據稠密點云模型基于三維重構算法以及紋理映射構建煤場的三維模型；再對三維模型中選定區域進行積分計算出煤堆體積，根據選定區域的煤種類和對應的密度計算得到煤堆重量。

2.根據權利要求1所述的一種基于視覺的盤煤系統，其特征在于，所述圖像處理模塊中基于運動恢復結構算法計算相機的參數具體為：

對每張2維圖片檢測特征點，對每對圖片中的特征點進行匹配，只保留滿足幾何約束的匹配，最后執行迭代式的、魯棒的運動恢復結構算法來恢復相機的內參和外參，得到相機的匹配特征點。

3.根據權利要求2所述的一種基于視覺的盤煤系統，其特征在于，所述圖像處理模塊中根據所述參數構建三維稀疏點云模型具體為：

將匹配特征點映射到三維空間坐標系上，映射矩陣由相機外參和內參構成，得到三維稀疏點云模型。

4.根據權利要求1所述的一種基于視覺的盤煤系統，其特征在于，所述圖像處理模塊中根據三維稀疏點云模型進行稠密點云模型重構是基于多視角立體視覺算法構造三維稠密點云，得到稠密點云模型。

5.根據權利要求4所述的一種基于視覺的盤煤系統，其特征在于，所述圖像處理模塊中構建煤場的三維模型具體為：

根據三維稠密點云之間的網絡拓撲連接關系構造出煤場的表面形態，并基于三角網格進行三維網格重建，其中三角網絡中三個鄰近的數據點相連成為一個三角形，將三維稠密點云中所有的點均連成三角形構成煤場的三角網絡，得到三角網絡三維模型。

6.根據權利要求5所述的一種基于視覺的盤煤系統，其特征在于，所述將三維稠密點云中所有的點均連成三角形構成三角網絡具體包括：

構建模塊，用于取三角網絡的邊界點構建一個初始三角形，其中初始三角形包含全部三維稠密點云數據；

排序模塊，用于將三維稠密點云中的全部點進行排序，并依次插入點列表；

構造模塊，用于根據插入列表中的點pi，尋找與點pi最接近且包含點pi的三角形，并將pi作為頂點，與三角形三個頂點相連，構造三個新三角形；

交換模塊，用于利用局部優化算法交換凸四邊形的對角線優化三角網格；

刪除模塊，用于刪除初始三角形。

7.根據權利要求6所述的一種基于視覺的盤煤系統，其特征在于，所述得到三角網絡三維模型后還包括基于拉普拉斯光順算法對三角網格三維模型進行去噪光順化處理，其中對于每個網格頂點定義拉普拉斯算子表示為：

其中，N(Pi)表示頂點Pi的領域點，點數量為權值w_i取

對頂點進行位置調整，表示為：

p_i＝p_i+λL(p_i)

其中，λ表示用于控制調整速度的常數。

8.根據權利要求1所述的一種基于視覺的盤煤系統，其特征在于，所述圖像處理模塊中計算煤堆重量具體為：

選取三維模型中需要測量的煤堆，并將選取的煤堆進行分隔，得到多個小區域，利用點云的高程信息得到煤堆表面到小區域的平均距離，將每個小區域的煤堆體積進行累加，得到煤堆體積，根據煤堆的種類查找對應煤種密度，并根據得到的體積和密度計算煤堆重量。