[發明專利]一種可靠的用戶注意力監測估計表示模型

有效

• 申請號: 202010957672.7
• 申請日: 2020-09-10
• 公開（公告）號: CN112115601B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 王海鵬;張淑鵬
• 申請（專利權）人: 西北工業大學
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06F111/10
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 常威威

本發明提供了一種可靠的用戶注意力監測估計表示模型，包括單模態注意力計算層、多模態融合層和用戶注意力表示層。通過對采集到的用戶注意力變化的原始數據進行綜合計算，得到表示用戶當前注意力的注意力數值。本發明利用多個注意力檢測模態，通過減少這些模態之間的依賴關系和優化多個模態注意力值的融合計算，能夠獲得更加可靠的用戶注意力值，解決模態缺失或單模態檢測效果不佳的用戶注意力可靠檢測問題。

技術領域

本發明屬人機交互處理技術領域，具體涉及一種可靠的用戶注意力監測估計表示模型。

背景技術

注意力檢測技術隨著現在網絡的急速發展，可應用的范圍也越來越廣，同時在檢測駕駛員注意力、在線教育情況下遠程檢測學生注意力方面已經有廣泛的研究，已經有很多的研究人員提出了諸如臉部檢測注意力、頭部姿態檢測注意力、眼睛閉合狀態檢測注意力的這類檢測方法。但是目前的注意力檢測研究和產品都大大小小的存在一些可靠性問題，這些研究和產品在進行注意力的檢測的時候，缺乏考慮到模態出現誤差的場景，這會導致最后的檢測結果太過于依賴于某一個模態的穩定性。例如使用檢測人體臉部這個模態來做注意力檢測的話，在光線效果不佳的情況下，那么臉部檢測模態是很容易出現誤差的。因此如果能在某個模態出現誤差情況下，甚至某個模態的效果特別差或者不能正常使用的情況下，還能正常的得到一個可靠的注意力的數據指標，將更加有利于提高注意力檢測產品的結果可靠性和穩定性。

發明內容

為了克服現有技術的不足，本發明提供一種可靠的用戶注意力監測估計表示模型。可以在注意力檢測情況下即使某些模態在出現誤差，甚至效果特別差或者不能正常使用的情況下，仍然能計算出一個可靠的注意力數據值。

一種可靠的用戶注意力監測估計表示模型，其特征在于：包括單模態注意力計算層、多模態融合層和用戶注意力表示層，其中，單模態注意力計算層對每個單模態獲取的用戶注意力變化原始數據進行處理，得到各個單模態對應的注意力數值，和各個單模態的融合權值一起輸出到多模態融合層；多模態融合層周期性地對在上一融合時間至當前融合時間的時間間隔內每個單模態的若干個注意力數值進行處理，對每個單模態得到一個融合前的注意力代表數值，并對所有單模態的融合前注意力代表數值進行融合計算，得到多模態融合注意力數值輸出到用戶注意力表示層；用戶注意力表示層周期性地對該層內部存儲的固定個數的多模態融合注意力數值進行融合計算，得到用戶當前的注意力計算數值。

其中，單模態注意力計算層對每個單模態進行獨立化處理，每個單模態進行數據采集和獨立計算，得到單模態注意力數值；所述的單模態具有其獨立的融合權值和計算周期，并依賴于該模態的原始配置情況；所述的融合權值為單模態的模型檢測精度或準確度；所述的單模態注意力數值為0或1，分別對應表示用戶當前注意力為不集中狀態或注意力集中狀態。

所述的多模態融合層周期性地按以下過程進行處理：

首先，對所接收的從上一融合時間至當前融合時間間隔內每個單模態的注意力數值進行處理，如果融合時間間隔內單模態只有一個注意力數值，則直接以該注意力數值作為其融合前的注意力代表數值，否則，以出現概率最大的注意力數值作為該單模態的融合前的注意力代表數值；所述的當前融合時間為多模態融合層進行計算的當前時間，所述的融合時間間隔大于等于每個單模態的計算周期；

然后，根據每個單模態的融合權值對各個單模態融合前的注意力代表數值進行歸一化加權，計算公式為：

其中，y為多模態融合注意力數值，取值為[0，1]，z_i為融合時間間隔內第i個單模態的融合前的注意力代表數值，x′_i為第i個單模態的歸一化融合權值，按照下式計算：

其中，x_i表示第i個單模態的融合權值，n表示單模態注意力計算層中包含的單模態個數，n≥2。