[發明專利]增強現實AR遠程交互方法及其系統

在審

• 申請號: 202110149851.2
• 申請日: 2021-02-03
• 公開（公告）號: CN112947748A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 蔡志杰;盧道和;陳潔丹;舒玉強;雷聲偉;李薇;郭樹霞
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00;G06T15/00;G06T7/246;G06T7/13;G06K9/62
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;劉芳

1.一種增強現實AR遠程交互方法，其特征在于，應用于AR遠程交互系統，所述AR遠程交互系統包括第一終端設備、服務器以及第二終端設備；所述方法包括：

所述服務器接收所述第一終端設備創建AR場景產生的數據包，其中，所述AR場景包括對AR素材進行渲染處理后得到的初始AR對象，所述數據包包括錨點坐標、所述AR素材的尺寸、所述第一終端設備坐標以及目標檢測框，所述目標檢測框用于標注所述AR場景中的目標對象；

所述服務器根據所述數據包生成場景標識號，以使所述第二終端設備根據所述場景標識號參與所述AR場景，所述場景標識號用于唯一標識所述AR場景；

若所述服務器確定所述AR場景與待測視頻數據滿足預設一致條件，則控制所述第一終端設備與所述第二終端設備進行AR遠程交互，所述第二終端設備通過第二攝像頭獲取所述待測視頻數據。

2.根據權利要求1所述的AR遠程交互方法，其特征在于，所述服務器確定所述AR場景與所述待測視頻數據滿足所述預設一致條件，包括：

所述服務器接收所述第二終端設備發送的所述待測視頻數據，并通過所述場景標識號獲取所述目標檢測框以從所述目標對象中確定出跟蹤對象；

所述服務器確定所述待測視頻數據中的待測對象與所述跟蹤對象是否滿足預設匹配條件；

若確定結果為是，則所述服務器確定所述待測視頻數據中是否存在參考平面，以在確定存在所述參考平面時，判定所述AR場景與所述待測視頻數據滿足所述預設一致條件，所述預設一致條件包括所述預設匹配條件以及所述參考平面。

3.根據權利要求2所述的AR遠程交互方法，其特征在于，所述服務器確定所述待測視頻數據中的待測對象與所述跟蹤對象是否滿足所述預設匹配條件，包括：

所述服務器運行預設對象檢測器，并在所述待測視頻數據的初始幀中獲取初始的待測邊界框，所述初始的待測邊界框用于標注所述初始幀中的所述待測對象；

在所述待測視頻數據的后續幀中獲取后續的待測邊界框，以通過所述后續的待測邊界框逐步迭代所述初始的待測邊界框；

確定標注所述跟蹤對象的所述目標檢測框與每個待測邊界框之間的相似度，以當所述相似度小于預設相似閾值時，結束所述逐步迭代以確定所述跟蹤對象與所述待測對象滿足所述預設匹配條件。

4.根據權利要求2所述的AR遠程交互方法，其特征在于，在所述判定所述AR場景與所述待測視頻數據滿足所述預設一致條件之后，還包括：

所述服務器向所述第二終端設備發送交互指令，以使所述第二終端設備根據所述交互指令在所述參考平面上渲染所述AR素材，得到參與AR對象，所述參與AR對象用于與所述第一終端設備的所述初始AR對象進行交互。

5.根據權利要求1-4任一項所述的AR遠程交互方法，其特征在于，在控制所述第一終端設備與所述第二終端設備進行AR遠程交互之后，還包括：

所述服務器接收所述第一終端設備和/或所述第二終端設備實時發送的各自的新增數據包，并根據接收到的所述新增數據包更新云錨點；

其中，所述第一終端設備和/或所述第二終端設備按照各自的預設時間周期將各自的本地錨點與所述云錨點進行比較，并當所述第一終端設備和/或所述第二終端設備確定存在新增錨點，則分別向所述服務器發送修改請求。

6.根據權利要求5所述的AR遠程交互方法，其特征在于，所述向所述服務器發送修改請求之后，包括：

所述服務器根據所述修改請求生成空閑狀態反饋信息，并將所述空閑狀態反饋信息回傳至所述第一終端設備或所述第二終端設備，以使接收到所述空閑狀態反饋信息的所述第一終端設備或所述第二終端設備修改所述本地錨點。

7.根據權利要求1-4任一項所述的AR遠程交互方法，其特征在于，所述第一終端設備還包括第一攝像頭，所述第一攝像頭用于獲取所述第一終端設備所處空間的環境視頻數據，所述環境視頻數據用于獲得所述目標檢測框。