[發(fā)明專利]用于工業(yè)自動化的虛擬現(xiàn)實和增強現(xiàn)實的系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201711092322.3
• 申請日: 2017-11-08
• 公開（公告）號: CN108073277B
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計）人: 保羅·D·施米萊爾;通·T·阮;亞歷克斯·L·尼科爾;大衛(wèi)·瓦什科
• 申請（專利權(quán)）人: 羅克韋爾自動化技術(shù)公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T15/00;G06T19/00;H04N5/232;G05B23/02;H04N7/18;H04N13/111;G06K9/00;H04N13/332;G06F3/0481;G06F3/0482;H04N13/398;H04N5/247;H04N13
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 唐京橋;陳煒

1.一種系統(tǒng)，包括：

存儲器，其存儲可執(zhí)行部件；

可操作地耦接至所述存儲器的處理器，其執(zhí)行所述可執(zhí)行部件，所述可執(zhí)行部件包括：

裝置接口部件，其被配置成從與工業(yè)設(shè)施相關(guān)聯(lián)的工業(yè)裝置接收工業(yè)數(shù)據(jù)，所述工業(yè)裝置至少包括工業(yè)控制器，所述工業(yè)控制器從至少一個工業(yè)輸入裝置接收輸入數(shù)據(jù)，并將輸出數(shù)據(jù)發(fā)送至一個或更多個工業(yè)輸出裝置；

視頻處理部件，其被配置成從安裝在所述工業(yè)設(shè)施的相應(yīng)位置處的視頻捕獲裝置接收和存儲視頻數(shù)據(jù)；

渲染部件，其被配置成生成增強現(xiàn)實呈現(xiàn)數(shù)據(jù)，所述增強現(xiàn)實呈現(xiàn)數(shù)據(jù)在可穿戴器具上渲染所述工業(yè)設(shè)施的增強現(xiàn)實呈現(xiàn)，其中，所述增強現(xiàn)實呈現(xiàn)包括攝像機圖標(biāo)，所述攝像機圖標(biāo)被渲染在增強現(xiàn)實呈現(xiàn)內(nèi)與工業(yè)設(shè)施的安裝有所述視頻捕獲裝置的位置對應(yīng)的位置處；以及

客戶端接口部件，其被配置成接收指示所述可穿戴器具的當(dāng)前定向的定向數(shù)據(jù)，并且將所述增強現(xiàn)實呈現(xiàn)數(shù)據(jù)發(fā)送至所述可穿戴器具，

其中，所述渲染部件還被配置成：

響應(yīng)于接收到來自所述可穿戴器具的、指示所述攝像機圖標(biāo)中的攝像機圖標(biāo)已經(jīng)經(jīng)由用戶輸入被選擇的攝像機選擇數(shù)據(jù)，將所述增強現(xiàn)實呈現(xiàn)從所述工業(yè)設(shè)施的虛擬視圖轉(zhuǎn)換成視頻呈現(xiàn)，所述視頻呈現(xiàn)在所述可穿戴器具上渲染從所述視頻捕獲裝置中與所述攝像機圖標(biāo)對應(yīng)的視頻捕獲裝置接收到的視頻數(shù)據(jù)的子集；以及

響應(yīng)于確定所述定向數(shù)據(jù)指示所述當(dāng)前定向已經(jīng)改變，根據(jù)所述當(dāng)前定向轉(zhuǎn)移所述視頻呈現(xiàn)的觀看方向，

其中，所述可執(zhí)行部件還包括：監(jiān)測部件，其被配置成對所述視頻數(shù)據(jù)執(zhí)行分析，并且基于所述分析的結(jié)果來檢測事件，

其中，所述渲染部件還被配置成：響應(yīng)于由所述監(jiān)測部件檢測到所述事件，將通知數(shù)據(jù)發(fā)送至所述可穿戴器具，并且

其中，所述渲染部件被配置成：響應(yīng)于接收到所述攝像機選擇數(shù)據(jù)，通過從當(dāng)前觀看視角朝向攝像機圖標(biāo)縮放所述增強現(xiàn)實呈現(xiàn)，將所述增強現(xiàn)實呈現(xiàn)從所述虛擬視圖轉(zhuǎn)換成所述視頻呈現(xiàn)，并且響應(yīng)于確定攝像機圖標(biāo)已經(jīng)填充了所述可穿戴器具的顯示區(qū)域的定義的百分比，切換至所述視頻呈現(xiàn)。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述視頻捕獲裝置是360度視頻攝像機。

3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，

所述客戶端接口部件還被配置成接收位置數(shù)據(jù)，所述位置數(shù)據(jù)指示所述可穿戴器具的當(dāng)前位置，并且

所述渲染部件還被配置成：響應(yīng)于確定所述位置數(shù)據(jù)指示所述當(dāng)前位置已經(jīng)改變，根據(jù)所述當(dāng)前位置轉(zhuǎn)移所述視頻呈現(xiàn)的觀看方向。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述分析包括成像分析、紅外分析、紫外分析或飛行時間分析中的至少一個。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述事件是限制區(qū)域內(nèi)的人的存在、不正確的機器移動、過度的機器振動或煙霧的存在中的至少一個。

6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述視頻數(shù)據(jù)包括視聽數(shù)據(jù)，并且所述監(jiān)測部件還被配置成基于確定所述視聽數(shù)據(jù)滿足定義的準(zhǔn)則來檢測所述事件。

7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述攝像機圖標(biāo)包括：球形形狀，其包含由所述視頻數(shù)據(jù)渲染的預(yù)覽視頻圖像。

8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，

所述視頻捕獲裝置是第一視頻捕獲裝置，

所述攝像機圖標(biāo)是第一攝像機圖標(biāo)，

所述攝像機選擇數(shù)據(jù)是第一攝像機選擇數(shù)據(jù)，

所述視頻呈現(xiàn)是第一視頻呈現(xiàn)，

所述視頻數(shù)據(jù)的子集是所述視頻數(shù)據(jù)的第一子集，以及

所述渲染部件還被配置成：

在第二視頻捕獲裝置的視頻圖像上或附近的第一視頻呈現(xiàn)上渲染與所述第二視頻捕獲裝置對應(yīng)的第二攝像機圖標(biāo)；以及

響應(yīng)于接收到來自所述可穿戴器具的、指示所述第二攝像機圖標(biāo)已經(jīng)經(jīng)由用戶的另一輸入被選擇的第二攝像機選擇數(shù)據(jù)，從所述第一視頻呈現(xiàn)轉(zhuǎn)換成第二視頻呈現(xiàn)，所述第二視頻呈現(xiàn)在所述可穿戴器具上渲染從所述第二視頻捕獲裝置接收到的視頻數(shù)據(jù)的第二子集。