[發(fā)明專利]基于雙目攝像機的大型顯示器觸摸交互位置的預(yù)測方法與系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211095073.4
• 申請日: 2022-09-05
• 公開（公告）號: CN115373578A
• 公開（公告）日: 2022-11-22
• 發(fā)明（設(shè)計）人: 賈剛勇;趙育淼;饒歡樂;宋子偉;俞銘輝;徐宏
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06F3/0488
• 分類號: G06F3/0488;G06F3/041;G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 浙江永鼎律師事務(wù)所 33233
• 代理人: 周希良

本發(fā)明涉及一種基于雙目攝像機的大型顯示器觸摸交互位置的預(yù)測方法與系統(tǒng)，預(yù)測方法包括：S1、通過雙目攝像機分別采集用戶的手臂運動視頻幀和用戶的面部、眼睛運動視頻幀；S2、提取手臂運動視頻幀及面部、眼睛運動視頻幀中每次點擊動作的視頻剪輯片段并篩選得到關(guān)鍵幀；S3、對每次點擊動作的關(guān)鍵幀進行坐標(biāo)標(biāo)記，標(biāo)記出手指在顯示器屏幕中的坐標(biāo)；S4、將標(biāo)記后的關(guān)鍵幀輸入ECO?Lite神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到預(yù)測網(wǎng)絡(luò)模型；S5、將待預(yù)測的當(dāng)前操作的視頻幀輸入預(yù)測網(wǎng)絡(luò)模型，輸出當(dāng)前操作預(yù)測的觸摸交互位置。本發(fā)明利用攝像機對大型顯示器的觸摸位置進行預(yù)測，相較于現(xiàn)有預(yù)測方法，預(yù)測位置更精準(zhǔn)、計算量更小、預(yù)測速度更快。

技術(shù)領(lǐng)域

本發(fā)明屬于人機交互技術(shù)領(lǐng)域，具體涉及一種基于雙目攝像機的大型顯示器觸摸交互位置的預(yù)測方法與系統(tǒng)。

背景技術(shù)

隨著5G網(wǎng)絡(luò)和人工智能的發(fā)展，交互式顯示器在生活中得到了廣泛使用。在交互過程中，用戶操作與顯示器的執(zhí)行之間存在的交互延遲是影響用戶使用體驗的重要因素。造成交互延遲的原因主要有兩大方面：一方面是硬件，主要包含物理傳感器捕捉觸摸的延遲以及顯示器輸出固件的延遲；另一方面是軟件，主要包含交互軟件處理觸摸事件并生成用于所屬顯示器輸出的延遲。由于硬件延遲主要取決于制造商的產(chǎn)品工藝以及硬件性能，所以很難在這上面進行提升。然而，通過增強系統(tǒng)軟件也是可以補償系統(tǒng)延遲，同時成本也大大減少。目前，系統(tǒng)通過預(yù)測用戶行為可以提高用戶的體驗，這也是目前人機交互領(lǐng)域的一個熱點問題。許多研究從不同角度提出了減少延遲的方法，例如，從交互顯示器的硬件出發(fā)，提升硬件性能，加速反饋效果；還有從用戶實現(xiàn)出發(fā)，跟蹤用戶視線來提前預(yù)測用戶交互點等。在眾多方法中，GPU強大的計算能力和神經(jīng)網(wǎng)絡(luò)模型出色的預(yù)測能力讓深度學(xué)習(xí)方法脫穎而出，使用深度學(xué)習(xí)方法來預(yù)測用戶行為已成為研究該問題的主要方法之一。

發(fā)明內(nèi)容

本發(fā)明的目的是針對現(xiàn)有的對于交互式顯示器縮短交互延遲的需求，提出了一種基于雙目攝像機的大型顯示器觸摸交互位置的預(yù)測方法與系統(tǒng)，使顯示器提前做出反應(yīng)，以提高顯示器交互反應(yīng)速度，縮短交互延遲，提升用戶交互體驗，在交互式顯示器中達到合理精度的前提下預(yù)測用戶觸摸位置。

為了實現(xiàn)上述發(fā)明目的，本發(fā)明采用如下技術(shù)方案：

基于雙目攝像機的大型顯示器觸摸交互位置的預(yù)測方法，包括以下步驟：

S1、通過雙目攝像機分別采集用戶的手臂運動視頻幀和用戶的面部、眼睛運動視頻幀；

S2、提取手臂運動視頻幀及面部、眼睛運動視頻幀中每次點擊動作的視頻剪輯片段并篩選得到關(guān)鍵幀；

S3、對每次點擊動作的關(guān)鍵幀進行坐標(biāo)標(biāo)記，標(biāo)記出手指在顯示器屏幕中的坐標(biāo)；

S4、將標(biāo)記后的關(guān)鍵幀輸入ECO-Lite神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到預(yù)測網(wǎng)絡(luò)模型；

S5、將待預(yù)測的當(dāng)前操作的視頻幀輸入預(yù)測網(wǎng)絡(luò)模型，輸出當(dāng)前操作預(yù)測的觸摸交互位置。

作為優(yōu)選方案，所述步驟S1中，在顯示器的正中央上方設(shè)置一個攝像頭，用于采集用戶的面部、眼睛運動視頻幀；

在顯示器的一側(cè)設(shè)置另一個網(wǎng)絡(luò)攝像頭，采集用戶的手臂運動視頻幀。

作為優(yōu)選方案，所述步驟S2中，在提取每一次點擊動作的關(guān)鍵幀時，通過切分出每一次點擊事件完成前的1000ms作為一次點擊動作，即可切分得到多個點擊動作的視頻剪輯片段；

針對每一個視頻剪輯片段，去掉1000ms視頻幀中沒有運動的圖片幀，并將剩余部分的視頻幀每隔50ms進行一次提取，得到每次點擊動作的關(guān)鍵幀。

作為優(yōu)選方案，所述沒有運動的圖片幀的判斷條件為：

判斷相鄰的圖片幀的冗余信息，冗余信息大于90％。

作為優(yōu)選方案，所述步驟S4，包括以下步驟：