[發明專利]基于多模態傳感器數據的移動設備后臺應用預測方法

在審

• 申請號: 201911324653.4
• 申請日: 2019-12-20
• 公開（公告）號: CN110969216A
• 公開（公告）日: 2020-04-07
• 發明（設計）人: 詹德川;周志華
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 南京樂羽知行專利代理事務所(普通合伙) 32326
• 代理人: 李玉平

本發明公開一種基于多模態傳感器數據的移動設備后臺應用預測方法，首先利用移動設備的多種傳感器進行數據收集，然后采用能夠利用多種不同類型數據的學習方法對這些數據進行融合處理，并且進行分類學習，最后在實際使用中利用訓練完畢的分類器對采集到的多種傳感數據進行分類和識別。本發明實施過程中利用不對齊多模態數據，可以處理模態不完全和不一致的情況，利用標記之間的相關性，分類性能優越。

技術領域

本發明涉及多模態多示例多標記分類技術，特別涉及一種利用多模態傳感器信息進行移動設備后臺應用預測，比如GPS位置傳感器，運動傳感器，后臺應用使用記錄，系統信息：如網絡、電量和基站。

背景技術

目前，隨著數據采集方式技術的提升，通過多種傳感器我們可以獲得多種模態的數據，比如GPS信息，運動傳感器，后臺應用使用記錄，系統信息：如網絡、電量和基站。基于這些數據，我們可以對后臺應用進行管理，預測哪些應用應該被關閉，哪些應該被加載至內存。考慮到在實際使用過程中，不同傳感器收集數據存在延時和頻率不同，難以得到對齊的多模態數據，導致現有的多模態學習方法難以應用。

發明內容

發明目的：移動設備里有各式各樣的應用，每個應用會用到移動設備多種傳感器信息，例如地圖傳感器應用會利用GPS位置傳感器、地磁傳感器、加速傳感器等；同時每個應用也會有多個標簽信息，例如地圖應用屬于路線導航、景點查詢、POI推薦等標記。考慮到在實際使用過程中，不同傳感器收集數據存在延時和頻率不同，難以得到對齊的多模態數據。導致現有的多模態學習方法難以應用。目前的多標記技術往往只能利用一種模態的數據，無法利用不對齊多模態的數據，由于一種模態的數據信息輸入少，造成性能較差，基于多模態數據可以獲得更多的信息，從而提升分類性能。本發明提供一種基于多模態傳感器數據的移動設備后臺應用預測方法，本發明提出的模型利用多示例學習的思想，考慮包級別的消歧學習，利用包級別的表示形式代替樣本級別的表示形式，同時本模型利用最優傳輸理論將標記相似性作為學習度量，學習適應當前任務的標記矩陣。相比以往的技術，適應性強，分類性能優越。

技術方案：一種基于多模態傳感器數據的移動設備后臺應用預測方法，首先利用移動設備的多種傳感器進行數據收集，然后采用能夠利用多種不同類型數據的學習方法對這些數據進行融合處理，并且進行分類學習，最后在實際使用中利用訓練完畢的分類器對采集到的多種傳感數據進行分類，根據分類結果提前加載應用。本發明的方法實施過程中適用性強，可以處理多模態數據不完全不一致的情形，并且可以利用標記之間的相關關系。

所述利用移動設備的多種傳感器進行數據收集時，初始化移動設備，在使用移動設備過程中采集樣本；

數據進行融合處理包括，將移動設備采集的樣本進行數據標記，將移動設備采集的樣本進行數據預處理；

分類學習為，利用預處理后的數據和標記訓練識別模型M；

利用訓練完畢的分類器對采集到的多種傳感數據進行分類，首先初始化移動設備，通過移動設備內置傳感器在線采集信息，將移動設備內置傳感器在線采集的信息進行數據預處理，使用識別模型M對進行數據預處理后的信息對用戶下一個將使用的應用加以預測，輸出分類結果，根據分類結果提前加載應用。

所述移動設備內置傳感器包括GPS位置傳感器，運動傳感器，后臺應用使用記錄，以及系統信息：如網絡、電量和基站等。

所述在移動設備內置傳感器在線采集信息之前，還包括檢測移動設備內置傳感器是否能正常工作的步驟，如果正常工作，則采集信息；如果出現故障，則提示用戶。

所述移動設備采集的一條樣本為一個數據包，在后臺應用管理任務中，一條樣本包含一段時間的GPS位置數據，運動傳感器數據，以及后臺應用使用記錄和系統信息等，每條樣本對應的標記有多個，比如關閉某個后臺應用，加載某個后臺應用。

所述數據預處理，包括對采集到的信息進行信號濾波、去噪、缺失傳感器數據填補的處理。