[發(fā)明專利]基于觸摸行為序列的智能手機使用情境識別方法

有效

• 申請?zhí)枺?/td>: 202010938901.0
• 申請日: 2020-09-09
• 公開（公告）號: CN112073582B
• 公開（公告）日: 2021-04-06
• 發(fā)明（設計）人: 洪鋒;閆旭榮;繆倩鈴;趙中寧;楊志豪;趙千雪
• 申請（專利權）人: 中國海洋大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;H04M1/72454;G06K9/00;G06N3/04
• 代理公司: 青島海昊知識產權事務所有限公司 37201
• 代理人: 張中南;邱岳

1.基于觸摸行為序列的智能手機使用情境識別方法，其特征在于包括以下步驟：

(0)定義交互方式中的九種觸摸操作

九種觸摸操作分別為點擊、雙擊、長按、上滑、下滑、左滑、右滑、縮放和拖動九種觸摸操作；九種觸摸操作的特征范圍如表1；

表1九種觸摸操作特征范圍

(1)從智能手機操作系統(tǒng)的日志文件中提取觸摸操作日志

讀取時間長度至少為十分鐘的智能手機操作系統(tǒng)日志，分析智能手機操作系統(tǒng)日志中記錄的屬性，按步驟(0)中的定義對操作系統(tǒng)日志進行分析，得到該時間長度內的一連串觸摸操作日志；

(2)切割觸摸操作日志

在獲得一定時間長度的觸摸操作日志后，從第一個觸摸操作開始，用長度為N的窗口切割觸摸操作日志，即每次移動N個觸摸操作，N≥32的整數(shù)；以N切割后得到若干觸摸操作序列，除最后一個觸摸操作序列之外，其余的觸摸操作序列的長度——即觸摸操作序列所含的觸摸操作均不小于32個；對一個觸摸操作序列X，記其中的第n個觸摸操作為X_n，n＝1,2,…,N，且第n個觸摸操作X_n包含九個屬性，即X_n＝[X_n¹,X_n²,X_n³,X_n⁴,X_n⁵,X_n⁶,X_n⁷,X_n⁸,X_n⁹]，這九個屬性分別表示第n個觸摸操作的開始時刻、結束時刻、開始坐標x、開始坐標y、結束坐標x、結束坐標y、移動距離、移動角度和平均速度；

(3)建立情境識別模型

針對每個觸摸操作序列X，以長短時記憶單元為基礎，對雙層雙向長短時記憶網絡疊加注意力機制，形成疊加注意力機制的雙層雙向長短時記憶網絡BiLD-LSTM+Attention進行情境識別；

對于BiLD-LSTM+Attention情境識別模型，其輸入是觸摸操作序列X，輸出是該觸摸操作序列X對應的情境，所述的情境有六種，分別為：短視頻、游戲、購物、社交、學習和瀏覽；

情境識別模型分為5個部分：

(3.1)輸入注意力強化層

觸摸操作X_n的屬性權重β_n，由觸摸操作X_n-1的屬性權重β_n-1和當前觸摸操作X_n確定；β_n按照公式(1)、(2)進行計算，其中n＝1，2，...，N，X₀為零向量，β₀為零向量；

其中，tanh為雙曲正切函數(shù)，“·”為點乘運算，e_n是β_n標準化之前的形式，p＝1，2，...，9；9表示觸摸操作X_n的9個屬性，W_β、W_X和W_e是輸入注意力強化層中待學習的權重矩陣，在模型訓練前先初始化為零矩陣；

觸摸操作序列X經過輸入注意力強化層強化后的結果記為其計算方式如公式(3)：

其中，“×”是叉乘運算，是增加了權重β_n后的X_n，然后將作為BiLD-LSTM中的第一層BiLSTM的輸入；

(3.2)第一層BiLSTM

第一層BiLSTM中的輸入是上一層輸入注意力強化層的輸出每一層BiLSTM均包含一個前向的LSTM單元層和一個后向的LSTM單元層；前向的LSTM單元層正向讀取中的每個觸摸操作并依次輸出其對應的隱藏狀態(tài)，表示為h₁^(1，f)，...，h_n^(1，f)，...，h_N^(1，f)；后向的LSTM單元層反向讀取中的每個觸摸操作并依次輸出其對應的隱藏狀態(tài)，表示為h₁^(1，b)，...，h_n^(1，b)，...，h_N^(1，b)；

因此，對于第一層BiLSTM輸出了兩組隱藏狀態(tài)，分別是h₁^(1，f)，...，h_n^(1，f)，...，h_N^(1，f)和h1^(1，b)，...，h_n^(1，b)，...，h_N^(1，b)；

第一層BiLSTM獲得的兩組隱藏狀態(tài)作為情境相關的觸摸操作特征，該特征將用于第二層BiLSTM的時序特征提取；

(3.3)第二層BiLSTM

由于第一層BiLSTM僅使用觸摸操作的原始屬性作為觸摸操作特征，為了更深入地學習觸摸操作序列的隱含時序特性，本發(fā)明引入第二層BiLSTM；本發(fā)明將第一層BiLSTM輸出的兩組隱藏狀態(tài)h₁^(1，f)，...，h_n^(1，f)，...，h_N^(1，f)和h₁^(1，b)，...，h_n^(1，b)，...，h_N^(1，b)作為第二層BiLSTM的輸入，輸出為拼接向量H＝[H₁，...，H_n，...，H_N]，表示BiLSTM從觸摸操作序列中學習到的時序信息，其中H_n＝[h_n^(2，f)，h_n^(2，b)]；并將H作為時序注意力強化層的輸入；

(3.4)時序注意力強化層

以第二層BiLSTM輸出的拼接向量H作為時序注意力強化層的輸入，對于H中的每個H_n，時序注意力強化層通過一維權重α_n，α_n∈[0，1]評估第n個觸摸操作的重要性；若α_n越接近1，則說明第n個觸摸操作對分類結果的影響越大，α_n按照公式(4)和(5)進行計算：

其中，W_α是時序注意力強化層待學習的權重矩陣，在模型訓練前先初始化為零矩陣；score()函數(shù)是雙線性函數(shù)，能夠將向量H_n和H_t，t＝1，2，...，N映射為一個一維實數(shù)；

時序注意力強化層的輸出是增加了權重α_n后的H_n；其計算方式如公式(6)：

最后，本發(fā)明將全部的拼接為向量作為BiLD-LSTM+Attention模型中Softmax分類層的輸入；

(3.5)Softmax分類層

以時序注意力強化層的拼接向量作為Softmax分類層的輸入，其輸出是通過公式(7)計算得到：

其中，W_s和b_s是待學習的權重矩陣，在模型訓練前先初始化為零矩陣；表示模型判定觸摸操作序列分別為短視頻、游戲、購物、社交、學習和瀏覽的概率，即最后，將所對應的情境作為模型識別該觸摸操作序列的最終結果；

(4)情境識別模型的訓練

選取短視頻、游戲、購物、社交、學習和瀏覽六種情景的六類APP，并獲取這六類APP在使用過程中產生的安卓日志，按照步驟(0)、(1)的方式提取出觸摸操作序列，并按照步驟(2)的方式進行分割；對步驟(3)建立的情境識別模型進行訓練，使模型學習到六個情境各自的觸摸操作特征；

(5)智能手機使用情境識別

以上步驟使用BiLD-LSTM+Attention模型建立并訓練出一個情境識別模型，之后按照步驟(1)的方式從智能手機操作系統(tǒng)的日志文件中提取一定時段內觸摸操作日志，并按照步驟(2)的方式進行分割；利用步驟(4)訓練的情境識別模型對一定時段內的每個觸摸操作序列進行使用情境識別。

2.如權利要求1所述的基于觸摸行為序列的智能手機使用情境識別方法，其特征在于還包括(6)情境使用時長統(tǒng)計

在識別出一定時段內的每個觸摸操作序列的對應情境后，按照情境分類進一步統(tǒng)計用戶使用智能手機的情境時長分布，從而實現(xiàn)用戶能夠直接了解自己使用每種情境的時長，輔助用戶合理規(guī)劃手機使用時間，培養(yǎng)良好的手機使用習慣。