[發(fā)明專利]一種基于多特征識別的交互方法、裝置及計算機設備

在審

• 申請?zhí)枺?/td>: 202011416912.9
• 申請日: 2020-12-04
• 公開（公告）號: CN112509148A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設計）人: 侯戰(zhàn)勝;宋金根;孫世軍
• 申請（專利權）人: 全球能源互聯(lián)網(wǎng)研究院有限公司;國家電網(wǎng)有限公司;國網(wǎng)浙江省電力有限公司;國網(wǎng)山東省電力公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06F3/01
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 向長松

本發(fā)明公開了一種基于多特征識別的交互方法、裝置以及計算機設備，其中，該方法包括：獲取目標設備的目標視頻流數(shù)據(jù)；根據(jù)目標視頻流數(shù)據(jù)調用目標設備的三維模型；將三維模型的數(shù)據(jù)發(fā)送至遠端設備；接收遠端設備反饋的三維模型的變化增量信息；根據(jù)變化增量信息顯示三維模型的變化。通過實施本發(fā)明，解決了相關技術中存在的遠程維修維護的作業(yè)無法準確、有效的問題，結合根據(jù)目標視頻流數(shù)據(jù)生成的三維模型，以及接收到的遠端設備反饋的變化增量信息，可以使現(xiàn)場設備獲取到準確的指導信息，實現(xiàn)了增強現(xiàn)實方式和電力設備三維模型的遠程虛實融合的交互。

技術領域

本發(fā)明涉及流媒體以及信息通信領域，具體涉及一種基于多特征識別的交互方法、裝置及計算機設備。

背景技術

隨著互聯(lián)網(wǎng)、信息通信及5G通信技術的發(fā)展，音視頻流通話技術主要經(jīng)歷了本地模擬信號音視頻系統(tǒng)、基于PC的多媒體遠程協(xié)助系統(tǒng)、基于Web服務器的遠程音視頻協(xié)作系統(tǒng)、基于移動端的音視頻協(xié)作系統(tǒng)等四個發(fā)展階段。目前音視頻流通話技術發(fā)展正處于基于移動端的音視頻協(xié)作系統(tǒng)(音視頻通話)的階段。

而隨著科技發(fā)展，對協(xié)作方式也提出了更高的要求。相關技術中遠程視頻通話的協(xié)作方式仍存在較大局限性，具體來說，電力企業(yè)作為關系能源安全和國計民生的公共服務企業(yè)，具備電網(wǎng)輸變配巡視、檢修、應急搶修等作業(yè)現(xiàn)場，電力設備類型多且操作復雜、新問題不斷涌現(xiàn)且識別處理難度大，處理時需要跨班組及跨工區(qū)協(xié)同作業(yè)以及需要技術專家或設備制造廠商遠程支持，而相關技術中，提供遠程支持的方式多為通過普通視頻通話實現(xiàn)，由于遠端使用視頻通話設備所采集的視頻的視角相對有限，很可能無法實現(xiàn)以相同視角對現(xiàn)場進行實時指導操作，從而導致遠程維修維護的作業(yè)并不能十分準確、有效。

發(fā)明內容

有鑒于此，本發(fā)明實施例提供了一種基于多特征識別的交互方法、裝置及計算機設備，以解決相關技術中遠程維修維護的作業(yè)并不能十分準確、有效的問題。

根據(jù)第一方面，本發(fā)明實施例提供了一種基于多特征識別的交互方法，包括：獲取目標設備的目標視頻流數(shù)據(jù)；根據(jù)所述目標視頻流數(shù)據(jù)調用所述目標設備的三維模型；將所述三維模型的數(shù)據(jù)發(fā)送至遠端設備；接收所述遠端設備反饋的所述三維模型的變化增量信息。

結合第一方面，在第一方面第一實施方式中，該方法還包括：根據(jù)所述變化增量信息顯示所述三維模型的變化；根據(jù)所述三維模型的變化控制所述目標設備。

結合第一方面，在第一方面第二實施方式中，所述獲取目標設備的目標視頻流數(shù)據(jù)，包括：采集并發(fā)送目標區(qū)域內目標設備的初始視頻流數(shù)據(jù)；接收所述遠端設備發(fā)送的初始關鍵幀；根據(jù)所述初始關鍵幀，確定目標關鍵幀；根據(jù)所述目標關鍵幀，獲取目標設備的目標視頻流數(shù)據(jù)。

結合第一方面第二實施方式，在第一方面第三實施方式中，所述根據(jù)所述初始關鍵幀，確定目標關鍵幀，包括：提取所述初始視頻關鍵幀中的顏色特征信息、紋理特征信息以及運動特征信息；將所述顏色特征信息、紋理特征信息以及運動特征信息融合，分別計算各初始視頻關鍵幀的相似度；根據(jù)各初始視頻關鍵幀的相似度，確定候選視頻關鍵幀；根據(jù)預設自適應算法，確定目標關鍵幀。

結合第一方面第三實施方式，在第一方面第四實施方式中，所述根據(jù)所述目標關鍵幀，獲取目標設備的目標視頻流數(shù)據(jù)，包括：獲取第一視頻流數(shù)據(jù)；根據(jù)預設光流法識別所述第一視頻流數(shù)據(jù)中的第一特征點，以及識別所述目標關鍵幀中的第二特征點；當所述第一特征點與所述第二特征點的相似度大于預設相似閾值時，確定所述第一視頻流數(shù)據(jù)與所述目標關鍵幀匹配；當所述第一視頻流數(shù)據(jù)與所述目標關鍵幀匹配時，將所述第一視頻流確定為目標設備的目標視頻流數(shù)據(jù)。

結合第一方面，在第一方面第五實施方式中，該方法還包括：根據(jù)所述第一特征點以及預設相對距離，確定所述目標關鍵幀的第一中心位置；根據(jù)所述第二特征點以及預設相對距離，確定所述第一視頻流數(shù)據(jù)的第二中心位置；根據(jù)所述第一中心位置及第二中心位置跟蹤獲取目標設備的目標視頻流數(shù)據(jù)。