[發(fā)明專利]一種基于信息融合的工廠虛擬應(yīng)用系統(tǒng)及使用方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910143046.1
• 申請(qǐng)日: 2019-02-26
• 公開（公告）號(hào): CN109947242B
• 公開（公告）日: 2022-06-24
• 發(fā)明（設(shè)計(jì)）人: 喻川;張明
• 申請(qǐng)（專利權(quán)）人: 貴州翰凱斯智能技術(shù)有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06T19/00;G06V20/20;G06V10/82;H04N7/18
• 代理公司: 北京聯(lián)創(chuàng)佳為專利事務(wù)所(普通合伙) 11362
• 代理人: 韓煒

1.一種基于信息融合的工廠虛擬應(yīng)用系統(tǒng)，其特征在于，包括：

布置于工廠內(nèi)的多個(gè)數(shù)據(jù)采集單元；每個(gè)所述數(shù)據(jù)采集單元均設(shè)置有一個(gè)雷達(dá)和攝像頭；所述的雷達(dá)用于采集工廠三維信息的點(diǎn)云數(shù)據(jù)；所述攝像頭用于采集工廠的圖像數(shù)據(jù)；

中央服務(wù)器，用于負(fù)責(zé)整個(gè)系統(tǒng)的信息傳遞與反饋，及用于點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)的融合標(biāo)定；

工廠信息標(biāo)簽數(shù)據(jù)庫，用于匯總工廠內(nèi)的設(shè)備圖片，并將設(shè)備具體信息與設(shè)備圖片一一對(duì)應(yīng)，形成工廠設(shè)備標(biāo)簽和SAP信息庫；同時(shí)用于收集巨量工業(yè)設(shè)備圖片形成對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行識(shí)別訓(xùn)練的訓(xùn)練庫；

神經(jīng)網(wǎng)絡(luò)模型，用于根據(jù)用戶需求識(shí)別融合標(biāo)定的數(shù)據(jù)表示的設(shè)備名稱及信息；

虛擬現(xiàn)實(shí)呈現(xiàn)設(shè)備，用于還原融合標(biāo)定后的數(shù)據(jù)表示的視覺場景；所述的虛擬現(xiàn)實(shí)呈現(xiàn)設(shè)備為VR頭盔，所述的VR頭盔包括：

數(shù)據(jù)接收模塊，用于中央服務(wù)器傳遞來的信號(hào)數(shù)據(jù)；

數(shù)據(jù)處理模塊，用于對(duì)接收到的信號(hào)數(shù)據(jù)進(jìn)行解析并發(fā)送給顯示模塊；

顯示模塊，用于將接收到的解析數(shù)據(jù)進(jìn)行視覺場景還原；

重力感應(yīng)模塊，用于與操作裝置協(xié)調(diào)工作，感應(yīng)人眼視角偏移情況，以此匹配對(duì)應(yīng)的視覺場景；

操作裝置，用于控制人眼所見的視覺場景。

2.根據(jù)權(quán)利要求1所述的基于信息融合的工廠虛擬應(yīng)用系統(tǒng)，其特征在于，所述的中央服務(wù)器還用于系統(tǒng)診斷和故障報(bào)警。

3.根據(jù)權(quán)利要求1所述的基于信息融合的工廠虛擬應(yīng)用系統(tǒng)，其特征在于，所述的數(shù)據(jù)采集單元能沿工廠內(nèi)設(shè)置的軌道移動(dòng)。

4.根據(jù)權(quán)利要求1所述的基于信息融合的工廠虛擬應(yīng)用系統(tǒng)，其特征在于，所述的雷達(dá)為激光雷達(dá)。

5.一種如權(quán)利要求1-4任一項(xiàng)所述的基于信息融合的工廠虛擬應(yīng)用系統(tǒng)的使用方法，其特征在于，按下述步驟進(jìn)行：

a.虛擬現(xiàn)實(shí)呈現(xiàn)設(shè)備向中央服務(wù)器發(fā)送用戶需求，中央服務(wù)器根據(jù)用戶需求控制數(shù)據(jù)采集單元的雷達(dá)采集工廠三維信息的點(diǎn)云數(shù)據(jù)和攝像頭同步采集工廠的圖像數(shù)據(jù)；

b.采集到的點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)被傳送到中央服務(wù)器進(jìn)行融合標(biāo)定；

c.融合標(biāo)定后的數(shù)據(jù)被傳送到虛擬現(xiàn)實(shí)呈現(xiàn)設(shè)備進(jìn)行視覺場景還原，同時(shí)被傳送到神經(jīng)網(wǎng)絡(luò)模型進(jìn)行識(shí)別得到設(shè)備名稱及信息；

d.識(shí)別得到的設(shè)備名稱及信息被回傳到中央服務(wù)器處理后，再傳遞到虛擬現(xiàn)實(shí)呈現(xiàn)設(shè)備還原的視覺場景中，并顯示在視覺場景中相應(yīng)的虛擬設(shè)備旁；

步驟b中，所述的融合包括空間融合和時(shí)間融合；

所述的空間融合為：利用基于單張圖像的攝像頭測距模型，建立攝像、三維空間、雷達(dá)間的坐標(biāo)轉(zhuǎn)換關(guān)系，通過坐標(biāo)轉(zhuǎn)換關(guān)系實(shí)現(xiàn)點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)在空間上的融合；

所述的時(shí)間融合為：采用不同線程及結(jié)合雷達(dá)采集的點(diǎn)云數(shù)據(jù)，觸發(fā)攝像頭采集圖像數(shù)據(jù)，以此實(shí)現(xiàn)點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)在時(shí)間上的融合。

6.根據(jù)權(quán)利要求5所述的基于信息融合的工廠虛擬應(yīng)用系統(tǒng)的使用方法，其特征在于，步驟c中，神經(jīng)網(wǎng)絡(luò)模型的識(shí)別具體為：神經(jīng)網(wǎng)絡(luò)模型將融合標(biāo)定后的數(shù)據(jù)與工廠設(shè)備標(biāo)簽和SAP信息庫進(jìn)行對(duì)比檢索，得到設(shè)備名稱及信息。

7.根據(jù)權(quán)利要求5所述的基于信息融合的工廠虛擬應(yīng)用系統(tǒng)的使用方法，其特征在于，步驟c中，所述的神經(jīng)網(wǎng)絡(luò)模型采用RCNN算法。