[發(fā)明專利]一種基于AR的采煤機(jī)可視化監(jiān)測方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110539085.0
• 申請(qǐng)日: 2021-05-18
• 公開（公告）號(hào): CN113411546B
• 公開（公告）日: 2022-11-01
• 發(fā)明（設(shè)計(jì)）人: 劉軍;陳靜;畢建平;劉豫喜;靳亞恒;吳鋅勁
• 申請(qǐng)（專利權(quán)）人: 河南工程學(xué)院
• 主分類號(hào): H04N7/18
• 分類號(hào): H04N7/18;H04N13/243;H04N13/275;H04N13/156;H04N13/106;H04N13/172;H04N13/332;G01D21/02
• 代理公司: 鄭州優(yōu)盾知識(shí)產(chǎn)權(quán)代理有限公司 41125
• 代理人: 張真真

1.一種基于AR的采煤機(jī)可視化監(jiān)測方法，其特征在于，其步驟如下：

步驟一：在采煤機(jī)上設(shè)置機(jī)載攝像機(jī)和機(jī)載傳感器，利用機(jī)載攝像機(jī)對(duì)被監(jiān)控工作區(qū)煤壁進(jìn)行連續(xù)拍攝，獲取連續(xù)監(jiān)控視頻數(shù)據(jù)；利用機(jī)載傳感器獲取設(shè)備幾何位姿和運(yùn)行數(shù)據(jù)；將連續(xù)監(jiān)控視頻數(shù)據(jù)、設(shè)備幾何位姿和運(yùn)行數(shù)據(jù)傳輸至綜采工作面監(jiān)控系統(tǒng)；

步驟二：使用AR設(shè)備在現(xiàn)實(shí)環(huán)境中可視化呈現(xiàn)3D采煤機(jī)監(jiān)測虛擬模型，所述3D采煤機(jī)監(jiān)測虛擬模型包括刮板機(jī)模型、被監(jiān)控煤壁虛擬模型和采煤機(jī)虛擬模型；采煤機(jī)位置數(shù)據(jù)嵌入刮板機(jī)模型中；開采區(qū)位置數(shù)據(jù)和開采區(qū)域監(jiān)控視頻數(shù)據(jù)均嵌入被監(jiān)控煤壁虛擬模型中；采煤機(jī)的姿態(tài)數(shù)據(jù)、幾何姿態(tài)數(shù)據(jù)和關(guān)鍵部件警告數(shù)據(jù)均嵌入采煤機(jī)虛擬模型中；采煤機(jī)虛擬模型分別與設(shè)備幾何位姿和運(yùn)行數(shù)據(jù)相關(guān)聯(lián)；

采煤機(jī)的姿態(tài)數(shù)據(jù)包括機(jī)身相對(duì)于地球絕對(duì)坐標(biāo)的航向角α、俯仰角β和橫滾角γ；此3個(gè)數(shù)據(jù)驅(qū)動(dòng)采煤機(jī)虛擬模型的三個(gè)旋轉(zhuǎn)角度參數(shù)，即可將機(jī)身姿態(tài)數(shù)據(jù)嵌入采煤機(jī)虛擬模型，實(shí)現(xiàn)機(jī)身姿態(tài)數(shù)據(jù)可視化；

幾何姿態(tài)數(shù)據(jù)包括搖臂的旋轉(zhuǎn)角度、調(diào)高油缸的旋轉(zhuǎn)角度及調(diào)高油缸活柱的伸縮距離；采煤機(jī)的幾何姿態(tài)由參數(shù)驅(qū)動(dòng)，其中，驅(qū)動(dòng)采煤機(jī)搖臂的角度，其數(shù)值來自于采煤機(jī)左右搖臂處設(shè)置的旋轉(zhuǎn)編碼器；驅(qū)動(dòng)調(diào)高油缸角度；驅(qū)動(dòng)調(diào)高油缸活柱伸長量，左右6個(gè)參數(shù)即可驅(qū)動(dòng)采煤機(jī)虛擬模型；將6個(gè)幾何姿態(tài)數(shù)據(jù)嵌入實(shí)現(xiàn)采煤機(jī)的幾何姿態(tài)可視化；

采煤機(jī)核心機(jī)、電、液、控部件的安全狀態(tài)數(shù)據(jù)可采用顏色標(biāo)識(shí)；當(dāng)部件處于危險(xiǎn)和警告狀態(tài)時(shí)，將該部件的亮度設(shè)置為閃爍，并調(diào)低其余部件的透明度，以便突顯異常狀態(tài)部件，同時(shí)發(fā)出警告聲音，進(jìn)一步警示用戶；設(shè)備警告數(shù)據(jù)通過顏色、閃爍和聲音嵌入采煤機(jī)物理虛體，實(shí)現(xiàn)采煤機(jī)關(guān)鍵部件警告數(shù)據(jù)可視化；

步驟三：從綜采工作面監(jiān)控系統(tǒng)中獲取監(jiān)測數(shù)據(jù)，驅(qū)動(dòng)AR設(shè)備可視化呈現(xiàn)的3D采煤機(jī)監(jiān)測虛擬模型，其中，監(jiān)控視頻通過處理后投射在虛擬煤壁對(duì)象上；采煤機(jī)與被監(jiān)測煤壁的距離數(shù)據(jù)驅(qū)動(dòng)虛擬煤壁的位置；采煤機(jī)位置數(shù)據(jù)驅(qū)動(dòng)刮板機(jī)模型；采煤機(jī)的姿態(tài)數(shù)據(jù)、幾何姿態(tài)數(shù)據(jù)和關(guān)鍵部件警告數(shù)據(jù)驅(qū)動(dòng)采煤機(jī)虛擬模型；

步驟四：采煤機(jī)的設(shè)備屬性數(shù)據(jù)及運(yùn)行數(shù)據(jù)顯示在觸控顯示器上，并通過網(wǎng)絡(luò)與AR設(shè)備呈現(xiàn)的3D采煤機(jī)監(jiān)測虛擬模型進(jìn)行關(guān)聯(lián)；

步驟五：借助AR技術(shù)，并將連續(xù)監(jiān)控視頻數(shù)據(jù)和運(yùn)行數(shù)據(jù)與3D采煤機(jī)監(jiān)測虛擬模型在時(shí)間和空間上完美融合，3D采煤機(jī)監(jiān)測虛擬模型的姿態(tài)和連續(xù)監(jiān)控視頻數(shù)據(jù)中的采煤機(jī)姿態(tài)完全一致，在現(xiàn)實(shí)空間中實(shí)時(shí)直觀的再現(xiàn)井下采煤場景。

2.根據(jù)權(quán)利要求1所述的基于AR的采煤機(jī)可視化監(jiān)測方法，其特征在于，采煤機(jī)可視化監(jiān)測系統(tǒng)的觸控模塊操作方法為：

初始化：打開平板觸控計(jì)算機(jī)，啟動(dòng)采煤機(jī)可視化監(jiān)測系統(tǒng)，連接網(wǎng)絡(luò)系統(tǒng)；

數(shù)據(jù)調(diào)取：連接綜采工作面監(jiān)控系統(tǒng)，從綜采工作面監(jiān)控系統(tǒng)的數(shù)據(jù)庫中提取所需嵌入式抽象數(shù)據(jù)，將嵌入式抽象數(shù)據(jù)處理成虛擬模塊調(diào)用的數(shù)據(jù)形式；

抽象數(shù)據(jù)可視化：根據(jù)可視化需求，以圖表、數(shù)據(jù)、曲線形式在觸控顯示器排布關(guān)聯(lián)式抽象數(shù)據(jù)和嵌入式抽象數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的基于AR的采煤機(jī)可視化監(jiān)測方法，其特征在于，采煤機(jī)可視化監(jiān)測系統(tǒng)的AR模塊的操作方法為：

初始化：啟動(dòng)AR頭戴式顯示設(shè)備，AR頭戴式顯示設(shè)備自動(dòng)掃描監(jiān)控室內(nèi)頭盔周邊的工作環(huán)境，并進(jìn)行空間建模；借助AR設(shè)備的SLAM技術(shù)和空間錨技術(shù)，確定采煤機(jī)所處空間的定位信息；在AR設(shè)備的主菜單，啟動(dòng)采煤機(jī)AR監(jiān)測程序；

3D虛擬模型載入：當(dāng)采煤機(jī)AR監(jiān)測程序第一次啟動(dòng)時(shí)，載入3D采煤機(jī)監(jiān)測虛擬模型，操作人員將3D采煤機(jī)監(jiān)測虛擬模型定位至工作臺(tái)；再次啟動(dòng)采煤機(jī)AR監(jiān)測程序時(shí)，若AR設(shè)備所在環(huán)境空間信息相同，則依據(jù)上次AR設(shè)備記錄的空間錨，重定位3D采煤機(jī)監(jiān)測虛擬模型；

模型可視化驅(qū)動(dòng)：從采煤機(jī)可視化監(jiān)測系統(tǒng)中獲取嵌入式抽象數(shù)據(jù)，實(shí)時(shí)驅(qū)動(dòng)3D采煤機(jī)監(jiān)測虛擬模型的采煤機(jī)的機(jī)身姿態(tài)、運(yùn)動(dòng)部件幾何姿態(tài)、采煤機(jī)位置、監(jiān)控煤壁的參數(shù)、監(jiān)控視頻和警告信息，實(shí)時(shí)動(dòng)態(tài)可視化驅(qū)動(dòng)3D采煤機(jī)監(jiān)測虛擬模型，使連續(xù)監(jiān)控視頻數(shù)據(jù)、運(yùn)行數(shù)據(jù)與采煤機(jī)的幾何姿態(tài)時(shí)空同步。