[發(fā)明專利]一種保護(hù)前端安全的遠(yuǎn)程指導(dǎo)方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710946561.4
• 申請日: 2017-10-12
• 公開（公告）號: CN107741785B
• 公開（公告）日: 2021-01-29
• 發(fā)明（設(shè)計）人: 王芳;顏坤;蘇中謙;李錦清;吳耀;張亮
• 申請（專利權(quán)）人: 北京臨近空間飛艇技術(shù)開發(fā)有限公司;北京觸角科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/14;H04N21/43;H04N21/4402;H04N21/462;H04N21/81;G06Q10/00
• 代理公司: 北京理工大學(xué)專利中心 11120
• 代理人: 溫子云;仇蕾安

本發(fā)明公開了一種保護(hù)前端安全的遠(yuǎn)程指導(dǎo)方法和系統(tǒng)，前端增強(qiáng)現(xiàn)實設(shè)備和后端專家設(shè)備通過具有3個傳輸層的信息交互鏈路交互信息；根據(jù)用戶的選定，前端增強(qiáng)現(xiàn)實設(shè)備可以禁止視頻層和/或音頻層的傳輸，但必須保證交互數(shù)據(jù)的傳輸。后端專家設(shè)備根據(jù)自身存儲的虛擬模型以及所接收的交互數(shù)據(jù)，重構(gòu)指導(dǎo)對象和指導(dǎo)動畫的姿態(tài)和展示視角；后端專家設(shè)備接收專家輸入的指導(dǎo)信息，將指導(dǎo)信息同步至前端增強(qiáng)現(xiàn)實設(shè)備，由前端增強(qiáng)現(xiàn)實設(shè)備結(jié)合虛擬模型進(jìn)行展示。使用本發(fā)明，能夠在受限的條件下依然完成指導(dǎo)任務(wù)，保護(hù)前端的信息安全，而且前后端專家設(shè)備雙方明確信息指代，提高遠(yuǎn)程指導(dǎo)的有效性。

技術(shù)領(lǐng)域

本發(fā)明涉及增強(qiáng)現(xiàn)實的技術(shù)領(lǐng)域，具體涉及一種保護(hù)前端安全的遠(yuǎn)程指導(dǎo)方法和系統(tǒng)。

背景技術(shù)

增強(qiáng)現(xiàn)實遠(yuǎn)程指導(dǎo)系統(tǒng)是為了解決讓遠(yuǎn)端的專家可以具有像現(xiàn)場的工作人員一樣身臨其境的體驗，并給與現(xiàn)場工作人員最直接、最準(zhǔn)確的結(jié)合現(xiàn)場實景的指導(dǎo)。

在前端工作的時候，很多時候會遇到前端人員無法解決的問題，這個時候就需要向后端專家請教了。目前可以通過語音交互(電話)，或者視頻+語音交互(實時視頻)來實現(xiàn)目標(biāo)。但是這兩種方式會很有局限性：

其一、前后端人員交互會很不方便，信息指代不明確。專家僅通過語言很難讓前端用戶明確的獲知自己應(yīng)該怎么操作。

其二、對于通過音頻和視頻傳輸?shù)姆桨?，等于將前端的所有情況都毫無保留的展示給后端。如果前端用戶場景涉及隱私問題，或者涉及商業(yè)秘密、國家秘密，不方便后端專家看到的時候，將導(dǎo)致大量前端用戶隱私被泄露，造成用戶安全隱患。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種保護(hù)前端安全的遠(yuǎn)程指導(dǎo)方法和系統(tǒng)，能夠在受限的條件下依然完成指導(dǎo)任務(wù)，保護(hù)前端的信息安全，而且前后端專家設(shè)備雙方明確信息指代，提高遠(yuǎn)程指導(dǎo)的有效性。

為了解決上述技術(shù)問題，本發(fā)明是這樣實現(xiàn)的。

一種保護(hù)前端安全的遠(yuǎn)程指導(dǎo)方法，前端增強(qiáng)現(xiàn)實設(shè)備和后端專家設(shè)備通過具有3個傳輸層的信息交互鏈路交互信息，3個傳輸層分別是視頻層、音頻層和數(shù)據(jù)層，分別用于傳輸視頻信息、音頻信息和交互數(shù)據(jù)；該方法包括如下步驟：

步驟一、前端增強(qiáng)現(xiàn)實設(shè)備將指導(dǎo)對象和指導(dǎo)動畫的虛擬模型疊加到真實對象上顯示；前端增強(qiáng)現(xiàn)實設(shè)備采集真實場景的視頻信息、音頻信息以及交互數(shù)據(jù)；前端增強(qiáng)現(xiàn)實設(shè)備的交互數(shù)據(jù)包括表征前端增強(qiáng)現(xiàn)實設(shè)備視角的信息，以及表征虛擬模型變化的信息；

步驟二、根據(jù)用戶選定的傳輸層，前端增強(qiáng)現(xiàn)實設(shè)備利用3層信息交互鏈路中的1層或1層以上進(jìn)行信息傳輸；選定的傳輸層至少包括數(shù)據(jù)層；

步驟三、后端專家設(shè)備根據(jù)自身存儲的虛擬模型以及所接收的交互數(shù)據(jù)，重構(gòu)指導(dǎo)對象和指導(dǎo)動畫的姿態(tài)和展示視角，使之與前端增強(qiáng)現(xiàn)實設(shè)備用戶看到的場景一致；如果接收到音、視頻，將重構(gòu)的指導(dǎo)對象和指導(dǎo)動畫疊加到視頻中，播放音頻；

步驟四、后端專家設(shè)備接收專家輸入的指導(dǎo)信息，將指導(dǎo)信息同步至前端增強(qiáng)現(xiàn)實設(shè)備，由前端增強(qiáng)現(xiàn)實設(shè)備結(jié)合虛擬模型進(jìn)行展示。

優(yōu)選地，所述表征前端增強(qiáng)現(xiàn)實設(shè)備視角的信息包括增強(qiáng)現(xiàn)實設(shè)備的運動姿態(tài)和攝像頭變焦信息；所述表征虛擬模型變化的信息為虛擬模型的位置、旋轉(zhuǎn)和縮放信息。

優(yōu)選地，所述指導(dǎo)信息包括語音指導(dǎo)信息和數(shù)字指導(dǎo)信息，所述數(shù)字指導(dǎo)信息包括標(biāo)注信息和/或?qū)μ摂M模型的變換；所述語音指導(dǎo)信息通過語音層同步至前端增強(qiáng)現(xiàn)實設(shè)備進(jìn)行播放；所述數(shù)字指導(dǎo)信息通過數(shù)據(jù)層同步至前端增強(qiáng)現(xiàn)實設(shè)備。

優(yōu)選地，前端增強(qiáng)現(xiàn)實設(shè)備和后端專家設(shè)備配置有相同的指導(dǎo)步驟；指導(dǎo)步驟按順序執(zhí)行，每個指導(dǎo)步驟對應(yīng)不同的指導(dǎo)動畫，前端增強(qiáng)現(xiàn)實設(shè)備和后端專家設(shè)備通過數(shù)據(jù)層同步當(dāng)前指導(dǎo)步驟，同步播放對應(yīng)的指導(dǎo)動畫。