[發(fā)明專利]一種基于跨模態(tài)數(shù)據(jù)融合的信息智能解析方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202210814535.7
• 申請(qǐng)日: 2022-07-12
• 公開（公告）號(hào): CN115062328B
• 公開（公告）日: 2023-03-10
• 發(fā)明（設(shè)計(jì)）人: 吳德勝;謝云昊;張一凡;趙天馳;鄭曉龍
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院大學(xué)
• 主分類號(hào): G06F21/60
• 分類號(hào): G06F21/60;G06F21/64
• 代理公司: 北京盛詢知識(shí)產(chǎn)權(quán)代理有限公司 11901
• 代理人: 藺巍

本發(fā)明公開一種基于跨模態(tài)數(shù)據(jù)融合的信息智能解析方法，包括步驟一、信息多模態(tài)數(shù)據(jù)的獲取，步驟二、多模態(tài)數(shù)據(jù)的處理，步驟三、數(shù)據(jù)特征融合，步驟四、解析模型的建立和訓(xùn)練，步驟五、跨模態(tài)融合數(shù)據(jù)的解析，步驟六、解析數(shù)據(jù)的查看；本發(fā)明通過解析后數(shù)據(jù)的保密傳輸增加了數(shù)據(jù)的安全性，避免出現(xiàn)重要數(shù)據(jù)泄露和丟失的現(xiàn)象，且對(duì)不同模態(tài)數(shù)據(jù)的處理和融合，使得相同事物的信息交流數(shù)據(jù)得到統(tǒng)一化，方便了人們的認(rèn)知和判斷，同時(shí)無需格式轉(zhuǎn)換也方便了不同部門對(duì)事物的數(shù)據(jù)交流，進(jìn)一步加速了智慧城市的信息數(shù)據(jù)交流的發(fā)展。

技術(shù)領(lǐng)域

本發(fā)明涉及智慧城市數(shù)據(jù)融合解析技術(shù)領(lǐng)域，尤其涉及一種基于跨模態(tài)數(shù)據(jù)融合的信息智能解析方法。

背景技術(shù)

智慧城市是指利用各種信息技術(shù)或創(chuàng)新概念，將城市的系統(tǒng)和服務(wù)打通、集成，以提升資源運(yùn)用的效率，優(yōu)化城市管理和服務(wù)，以及改善市民生活質(zhì)量，智慧城市是把新一代信息技術(shù)充分運(yùn)用在城市中各行各業(yè)基于知識(shí)社會(huì)下一代創(chuàng)新的城市信息化高級(jí)形態(tài)，實(shí)現(xiàn)信息化、工業(yè)化與城鎮(zhèn)化深度融合，有助于緩解“大城市病”，提高城鎮(zhèn)化質(zhì)量，實(shí)現(xiàn)精細(xì)化和動(dòng)態(tài)管理，并提升城市管理成效和改善市民生活質(zhì)量；

在智慧城市中不同部門對(duì)同一件事物的信息交流存在來自不同途徑的數(shù)據(jù)，這些由于來自途徑不同造成數(shù)據(jù)的模態(tài)不同，導(dǎo)致對(duì)于同一件事物的數(shù)據(jù)展示存在一定的差異，影響人們對(duì)事物的判斷和認(rèn)知，同時(shí)不同模態(tài)數(shù)據(jù)無法格式轉(zhuǎn)換也影響各部門之間的數(shù)據(jù)流的共享，因此，本發(fā)明提出一種基于跨模態(tài)數(shù)據(jù)融合的信息智能解析方法以解決現(xiàn)有技術(shù)中存在的問題。

發(fā)明內(nèi)容

針對(duì)上述問題，本發(fā)明的目的在于提出一種基于跨模態(tài)數(shù)據(jù)融合的信息智能解析方法，該基于跨模態(tài)數(shù)據(jù)融合的信息智能解析方法通過對(duì)不同模態(tài)數(shù)據(jù)的處理和融合，使得相同事物的信息交流數(shù)據(jù)得到統(tǒng)一化，方便了人們的認(rèn)知和判斷，同時(shí)無需格式轉(zhuǎn)換也方便了不同部門對(duì)事物的數(shù)據(jù)交流，進(jìn)一步加速了智慧城市的信息數(shù)據(jù)交流的發(fā)展。

為實(shí)現(xiàn)本發(fā)明的目的，本發(fā)明通過以下技術(shù)方案實(shí)現(xiàn)：一種基于跨模態(tài)數(shù)據(jù)融合的信息智能解析方法，包括以下步驟：

步驟一、信息多模態(tài)數(shù)據(jù)的獲取，根據(jù)歷史采集的各模態(tài)數(shù)據(jù)之間的相關(guān)特征建立數(shù)據(jù)變頻采樣模型，再基于物聯(lián)網(wǎng)和傳感設(shè)備利用數(shù)據(jù)變頻采樣模型進(jìn)行多模態(tài)數(shù)據(jù)采集；

步驟二、多模態(tài)數(shù)據(jù)的處理，對(duì)采集到的多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理，再對(duì)預(yù)處理后的多模態(tài)數(shù)據(jù)分別進(jìn)行單模態(tài)內(nèi)解析，提取信息數(shù)據(jù)特征并按照相關(guān)度大小進(jìn)行排序，得到信息數(shù)據(jù)特征集合；

步驟三、數(shù)據(jù)特征融合，基于數(shù)據(jù)特征識(shí)別技術(shù)對(duì)不同模態(tài)信息數(shù)據(jù)特征集合進(jìn)行歸一化整理，再基于反向樹狀結(jié)構(gòu)建立跨模態(tài)數(shù)據(jù)融合模型，并對(duì)歸一化整理的數(shù)據(jù)進(jìn)行融合；

步驟四、解析模型的建立和訓(xùn)練，基于人工神經(jīng)網(wǎng)絡(luò)建立融合數(shù)據(jù)解析模型，并利用歷史數(shù)據(jù)庫對(duì)融合數(shù)據(jù)解析模型進(jìn)行離線訓(xùn)練，得到訓(xùn)練后的解析模型；

步驟五、跨模態(tài)融合數(shù)據(jù)的解析，將步驟三中融合后的跨模態(tài)數(shù)據(jù)導(dǎo)入步驟四訓(xùn)練好的解析模型進(jìn)行解析，將解析后的數(shù)據(jù)進(jìn)行保密處理并輸出發(fā)送；

步驟六、解析數(shù)據(jù)的查看，根據(jù)查詢用戶的驗(yàn)證資格對(duì)保密處理的數(shù)據(jù)進(jìn)行解密處理，然后通過數(shù)據(jù)轉(zhuǎn)化后可視化展示。

進(jìn)一步改進(jìn)在于：所述步驟一中變頻采樣模型是根據(jù)各個(gè)模態(tài)數(shù)據(jù)間所存在的相關(guān)特征,利用主成分分析模型找到一個(gè)解釋所有模態(tài)信息數(shù)據(jù)且無冗余信息的綜合指標(biāo),并依據(jù)該指標(biāo)的變化情況來確定下一個(gè)采集時(shí)刻，變頻采樣模型的采樣頻率是隨著綜合指標(biāo)變化而變化。

進(jìn)一步改進(jìn)在于：所述步驟一中傳感設(shè)備包括傳感器、圖片獲取設(shè)備和音頻獲取設(shè)備。

進(jìn)一步改進(jìn)在于：所述步驟二中預(yù)處理是將各個(gè)模態(tài)數(shù)據(jù)與需要的數(shù)據(jù)特征無關(guān)的數(shù)據(jù)裁切刪除，只保留具有相關(guān)度的數(shù)據(jù)特征。

進(jìn)一步改進(jìn)在于：所述步驟三中歸一化處理具體通過下式進(jìn)行