[發(fā)明專利]基于多模態(tài)傳感器數(shù)據(jù)的移動設備后臺應用預測方法

在審

• 申請?zhí)枺?/td>: 201911324653.4
• 申請日: 2019-12-20
• 公開（公告）號: CN110969216A
• 公開（公告）日: 2020-04-07
• 發(fā)明（設計）人: 詹德川;周志華
• 申請（專利權(quán)）人: 南京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 南京樂羽知行專利代理事務所(普通合伙) 32326
• 代理人: 李玉平

1.一種基于多模態(tài)傳感器數(shù)據(jù)的移動設備后臺應用預測方法，其特征在于：首先利用移動設備的多種傳感器進行數(shù)據(jù)收集，然后采用能夠利用多種不同類型數(shù)據(jù)的學習方法對這些數(shù)據(jù)進行融合處理，并且進行分類學習，最后在實際使用中利用訓練完畢的分類器對采集到的多種傳感數(shù)據(jù)進行分類，根據(jù)分類結(jié)果提前加載應用。

2.如權(quán)利要求1所述的基于多模態(tài)傳感器數(shù)據(jù)的移動設備后臺應用預測方法，其特征在于：所述利用移動設備的多種傳感器進行數(shù)據(jù)收集時，初始化移動設備，在使用移動設備過程中采集樣本。

3.如權(quán)利要求1所述的基于多模態(tài)傳感器數(shù)據(jù)的移動設備后臺應用預測方法，其特征在于：數(shù)據(jù)進行融合處理包括，將移動設備采集的樣本進行數(shù)據(jù)標記，將移動設備采集的樣本進行數(shù)據(jù)預處理；

分類學習為，利用預處理后的數(shù)據(jù)和標記訓練識別模型M。

4.如權(quán)利要求1所述的基于多模態(tài)傳感器數(shù)據(jù)的移動設備后臺應用預測方法，其特征在于：利用訓練完畢的分類器對采集到的多種傳感數(shù)據(jù)進行分類和識別，首先初始化移動設備，通過移動設備內(nèi)置傳感器在線采集信息，將移動設備內(nèi)置傳感器在線采集的信息進行數(shù)據(jù)預處理，使用識別模型M對進行數(shù)據(jù)預處理后的信息加以預測，輸出分類結(jié)果。

5.如權(quán)利要求1所述的基于多模態(tài)傳感器數(shù)據(jù)的移動設備后臺應用預測方法，其特征在于：所述移動設備內(nèi)置傳感器包括GPS位置傳感器，運動傳感器，后臺應用使用記錄，以及系統(tǒng)信息。

6.如權(quán)利要求1所述的基于多模態(tài)傳感器數(shù)據(jù)的移動設備后臺應用預測方法，其特征在于：所述在移動設備內(nèi)置傳感器在線采集信息之前，還包括檢測移動設備內(nèi)置傳感器是否能正常工作的步驟，如果正常工作，則采集信息；如果出現(xiàn)故障，則提示用戶。

7.如權(quán)利要求1所述的基于多模態(tài)傳感器數(shù)據(jù)的移動設備后臺應用預測方法，其特征在于：所述移動設備采集的一條樣本為一個數(shù)據(jù)包，在后臺應用管理任務中，一條樣本包含一段時間的GPS位置數(shù)據(jù)，運動傳感器數(shù)據(jù)，以及后臺應用使用記錄和系統(tǒng)信息，每條樣本對應的標記有多個。

8.如權(quán)利要求1所述的基于多模態(tài)傳感器數(shù)據(jù)的移動設備后臺應用預測方法，其特征在于：所述數(shù)據(jù)預處理，包括對采集到的信息進行信號濾波、去噪、缺失傳感器數(shù)據(jù)填補的處理。

9.如權(quán)利要求1所述的基于多模態(tài)傳感器數(shù)據(jù)的移動設備后臺應用預測方法，其特征在于：所述識別模型M（分類模型）訓練所用loss使用最優(yōu)傳輸理論，利用標記之間的相關性計算loss，將標記相似性作為學習度量，學習適應當前任務的度量矩陣；

對于有標記數(shù)據(jù)，計算每個模態(tài)的預測與真實標記的loss，對于未標記數(shù)據(jù)，計算不同模態(tài)的預測之間的loss。

10.如權(quán)利要求1所述的基于多模態(tài)傳感器數(shù)據(jù)的移動設備后臺應用預測方法，其特征在于：使用深度神經(jīng)網(wǎng)絡訓練識別模型M，首先對多模態(tài)數(shù)據(jù)分別進行特征提取，然后對每個模態(tài)的多示例進行預測，得到預測的二維矩陣，其中矩陣的每一列為每個示例的預測結(jié)果，接下來融合每個模態(tài)的預測結(jié)果，最終融合多模態(tài)的預測結(jié)果。