[發明專利]一種基于跨模態數據融合的信息智能解析方法

有效

• 申請號: 202210814535.7
• 申請日: 2022-07-12
• 公開（公告）號: CN115062328B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 吳德勝;謝云昊;張一凡;趙天馳;鄭曉龍
• 申請（專利權）人: 中國科學院大學
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/64
• 代理公司: 北京盛詢知識產權代理有限公司 11901
• 代理人: 藺巍

1.一種基于跨模態數據融合的信息智能解析方法，其特征在于，包括以下步驟：

步驟一、信息多模態數據的獲取，根據歷史采集的各模態數據之間的相關特征建立數據變頻采樣模型，再基于物聯網和傳感設備利用數據變頻采樣模型進行多模態數據采集；所述數據變頻采樣模型是根據各個模態數據間所存在的相關特征,利用主成分分析模型找到一個解釋所有模態數據且無冗余信息的綜合指標,并依據該綜合指標的變化情況來確定下一個采集時刻，所述數據變頻采樣模型的采樣頻率是隨著綜合指標變化而變化；

步驟二、多模態數據的處理，對采集到的多模態數據進行預處理，再對預處理后的多模態數據分別進行單模態內解析，所述預處理是將各個模態數據與需要的數據特征無關的數據和干擾因素的數據裁切刪除，只保留具有相關度的數據特征，提取信息數據特征并按照相關度大小進行排序，得到信息數據特征集合；

步驟三、數據特征融合，基于數據特征識別技術對不同模態-數據特征集合進行歸一化整理，再基于反向樹狀結構建立跨模態數據融合模型，并對歸一化整理的數據進行融合；對融合后的跨模態數據進行定義和表示；基于結構分析方法對定義后的數據進行神經網絡規則的抽取，得到規則集合；根據規則的覆蓋性、準確性、矛盾性和冗余性四個方面對規則集合里抽取的規則進行評價排序，并挑選出最優順序的規則進行解析；

步驟四、融合數據解析模型的建立和訓練，基于人工神經網絡建立融合數據解析模型，并利用歷史數據庫對融合數據解析模型進行離線訓練，得到訓練后的融合數據解析模型；

步驟五、跨模態融合數據的解析，將步驟三中融合后的跨模態數據導入步驟四訓練好的融合數據解析模型進行解析，將解析后的數據進行保密處理并輸出發送；

步驟六、解析數據的查看，根據查詢用戶的驗證資格對保密處理的數據進行解密處理，然后通過數據轉化后可視化展示。

2.根據權利要求1所述的一種基于跨模態數據融合的信息智能解析方法，其特征在于：

所述步驟一中傳感設備包括傳感器、圖片獲取設備和音頻獲取設備。

3.根據權利要求1所述的一種基于跨模態數據融合的信息智能解析方法，其特征在于：

所述步驟三中歸一化整理 具體通過下式進行

式中表示基于物聯網和傳感設備獲取的數據i在 t₁ 時刻到 t_n 時刻的取樣值，n表示取樣序列的長度。

4.根據權利要求1所述的一種基于跨模態數據融合的信息智能解析方法，其特征在于：

所述步驟五中保密處理的方法是利用加密技術生成隨機的加密密匙，并利用加密密匙對解析后的數據進行加密處理并進行傳輸，所述步驟六中通過查詢用戶的驗證資格后利用加密處理的密匙對加密數據進行解密處理，最終得到所需的數據。

5.根據權利要求1所述的一種基于跨模態數據融合的信息智能解析方法，其特征在于：

所述步驟六中數據轉化包括數據圖像轉換、數據表格轉換和數據音頻化轉換。