[發(fā)明專利]多屏互動控制方法、裝置、擴展現實設備和存儲介質

在審

• 申請?zhí)枺?/td>: 202211631050.0
• 申請日: 2022-12-19
• 公開（公告）號: CN116088778A
• 公開（公告）日: 2023-05-09
• 發(fā)明（設計）人: 趙宏
• 申請（專利權）人: 深圳市洲明科技股份有限公司
• 主分類號: G06F3/14
• 分類號: G06F3/14
• 代理公司: 華進聯(lián)合專利商標代理有限公司 44224
• 代理人: 鄧丹

本申請涉及一種多屏互動控制方法、裝置、擴展現實設備、存儲介質和計算機程序產品。所述方法應用于擴展現實設備，具體包括：響應用戶針對第一設備的信號抓取操作，獲取用戶選取的第一設備的第一窗口位置信息，第一設備顯示有多媒體內容，獲取與第一窗口位置信息對應的目標多媒體內容的資源信息，響應用戶針對第二設備的信號投放操作，獲取用戶選取的第二設備的第二窗口位置信息，發(fā)送攜帶資源信息和第二窗口位置信息的開窗消息至第二設備的控制端，以使第二設備根據第二窗口位置信息開窗顯示目標多媒體內容。采用本方法能夠使設備顯示的畫面影響擴展現實設備的信息顯示，擴展現實設備也可控制設備的信息顯示，實現擴展現實設備與設備的雙向控制。

技術領域

本申請涉及設備控制技術領域，特別是涉及一種多屏互動控制方法、裝置、擴展現實設備、存儲介質和計算機程序產品。

背景技術

多屏互動技術指的是在不同的操作系統(tǒng)，以及不同的終端設備(例如智能手機、智能平板、電腦、電視)之間可以相互兼容跨越操作，通過無線網絡連接的方式，實現數字多媒體(例如高清視頻，音頻，圖片)內容的傳輸。擴展現實(Extended?Reality，XR)是指通過計算機技術和可穿戴設備產生的一個真實與虛擬組合的、可人機交互的環(huán)境。擴展現實包括增強現實(Augmented?Reality，AR)，虛擬現實(Virtual?Reality，VR)，混合現實(MixedReality，MR)等多種形式。

關于擴展現實設備與設備系統(tǒng)的多屏互動，以AR設備與顯示設備的交互來說，現有的AR備主要是通過攝像設備拍攝圖像中識別到現實世界的真實場景，從而在擴展現實設備中顯示與此場景相關的虛擬信息，并且通過半透明虛擬以及真實環(huán)境融合在一起，并且兩者之間的圖像也能夠得以疊加。通過半透半反光學合成器將虛擬信息充分和真實環(huán)境綜合在一起，真實的場景可以在半透鏡的基礎上，為用戶提供支持，并且滿足用戶的相關操作需要。

由上述內容可知，目前的擴展現實設備與設備應用的真實場景的交互是單向的，即擴展現實設備通過對設備顯示的畫面進行圖像識別，從設備顯示的視頻畫面或圖像畫面中識別真實場景，并匹配虛擬信息通過半透明的顯示系統(tǒng)與現實真實場景融合，人眼看到的是真實場景和虛擬信息兩個圖層疊加在一起的圖像。因此，目前的交互方式無法滿足用戶對于擴展現實設備與設備的雙向控制的需求。

發(fā)明內容

基于此，有必要針對上述技術問題，提供一種能夠實現擴展顯示設備與設備的雙向控制的多屏互動控制方法、裝置、擴展現實設備、計算機可讀存儲介質和計算機程序產品。

第一方面，本申請?zhí)峁┝艘环N多屏互動控制方法，應用于擴展現實設備。

方法包括：

響應用戶針對第一設備的信號抓取操作，獲取用戶選取的第一設備的第一窗口位置信息，第一設備顯示有多媒體內容；

獲取與第一窗口位置信息對應的目標多媒體內容的資源信息；

響應用戶針對第二設備的信號投放操作，獲取用戶選取的第二設備的第二窗口位置信息；

發(fā)送攜帶資源信息和第二窗口位置信息的開窗消息至第二設備的控制端，以使第二設備根據第二窗口位置信息開窗顯示目標多媒體內容。

在其中一個實施例中，獲取用戶選取的第一設備的窗口位置信息包括：

獲取信號抓取操作對應抓取第一設備的第一目標點的坐標信息；

根據第一目標點的坐標信息和預設的第一設備的窗口布局信息，確定第一目標點所在的第一窗口位置信息；

獲取用戶選取的第二設備的第二窗口位置信息包括：

獲取信號投放操作對應投放到第二設備的第二目標點的坐標信息；

根據第二目標點的坐標信息和預設的第二設備的窗口布局信息，確定第二目標點所在的第二窗口位置信息。