[發(fā)明專利]一種基于多模態(tài)信號融合的設(shè)計意圖判別系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201910269580.7
• 申請日: 2019-04-04
• 公開（公告）號: CN109993131B
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計）人: 牛紅偉;郝佳;王國新;吉慶;龍輝;王璐;閻艷
• 申請（專利權(quán)）人: 北京理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 程華

本發(fā)明公開了一種基于多模態(tài)信號融合的設(shè)計意圖判別系統(tǒng)及方法，該系統(tǒng)通過多模態(tài)信號采集模塊采集用戶在產(chǎn)品設(shè)計過程中的多模態(tài)信號，并將多模態(tài)信號發(fā)送到多模態(tài)信號預(yù)處理模塊；多模態(tài)信號分層整合模塊，對預(yù)處理后的多模態(tài)信號進行特征提取，構(gòu)建基于三層反向傳播神經(jīng)網(wǎng)絡(luò)的信號識別分類模型，將提取的特征信息輸入信號識別分類模型，將輸出的識別結(jié)果進行統(tǒng)一表達和融合分析，確定用戶的設(shè)計意圖；產(chǎn)品設(shè)計指令生成模塊，根據(jù)多模態(tài)信號分層整合模塊輸出的用戶的設(shè)計意圖，生成與用戶的設(shè)計意圖對應(yīng)的產(chǎn)品設(shè)計指令。本發(fā)明降低了用戶設(shè)計意圖的表達的局限性，提高了用戶設(shè)計意圖表達的自然性和友好性。

技術(shù)領(lǐng)域

本發(fā)明涉及人機交互技術(shù)領(lǐng)域，特別是涉及一種基于多模態(tài)信號融合的設(shè)計意圖判別系統(tǒng)及方法。

背景技術(shù)

近年來，CAD技術(shù)向標準化、集成化、智能化方向發(fā)展；隨著人工智能和專家系統(tǒng)的引入，智能設(shè)計概念應(yīng)運而生。智能設(shè)計過程強調(diào)以人工智能技術(shù)為實現(xiàn)手段，并為用戶提供強大的智能人機交互功能。然而，現(xiàn)有的鼠標、鍵盤等傳統(tǒng)交互模式主要依賴雙手的高頻反復(fù)操作，是一種非自然的設(shè)計意圖表達方式，在使用的自然性和友好性等方面存在很大局限性，難以滿足智能設(shè)計中對智能交互過程的發(fā)展需求。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于多模態(tài)信號融合的設(shè)計意圖判別系統(tǒng)及方法，通過對用戶多模態(tài)信號的融合分析，降低了用戶設(shè)計意圖的表達的局限性。

為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種基于多模態(tài)信號融合的設(shè)計意圖判別系統(tǒng)，該系統(tǒng)包括多模態(tài)信號采集模塊、多模態(tài)信號預(yù)處理模塊、多模態(tài)信號分層整合模塊和產(chǎn)品設(shè)計指令生成模塊；

多模態(tài)信號采集模塊，用于采集用戶在產(chǎn)品設(shè)計過程中的多模態(tài)信號，并將多模態(tài)信號發(fā)送到多模態(tài)信號預(yù)處理模塊；

多模態(tài)信號預(yù)處理模塊，接收多模態(tài)信號，對多模態(tài)信號進行預(yù)處理，去除多模態(tài)信號中的無效數(shù)據(jù)，并將預(yù)處理后的多模態(tài)信號發(fā)送到多模態(tài)信號分層整合模塊；

多模態(tài)信號分層整合模塊包括特征層、原語層、指令層和意圖層；

特征層，對預(yù)處理后的多模態(tài)信號進行特征提取；

原語層，構(gòu)建基于三層反向傳播神經(jīng)網(wǎng)絡(luò)的信號識別分類模型，將提取的多模態(tài)特征信息輸入信號識別分類模型，得到與用戶的操作意圖對應(yīng)的操作信息，各操作信息采用交互原語的形式表達；

指令層，利用上下文感知技術(shù)對各交互原語增加各交互原語中操作信息的承擔對象；

意圖層將各交互原語進行融合分析確定用戶的設(shè)計意圖；

產(chǎn)品設(shè)計指令生成模塊，根據(jù)多模態(tài)信號分層整合模塊輸出的用戶的設(shè)計意圖，生成與用戶的設(shè)計意圖對應(yīng)的產(chǎn)品設(shè)計指令。

可選的，多模態(tài)信號包括腦電信號、手勢信號和眼動信號；多模態(tài)信號采集模塊包括腦電信號采集裝置、手勢信號采集裝置和眼動信號采集裝置；腦電信號采集裝置用于采集腦電信號，手勢信號采集裝置用于采集手勢信號，眼動信號采集裝置用于采集眼動信號。

可選的，預(yù)處理包括采用獨立分量分析方法去除腦電信號中的眼動偽跡和采用卡爾曼濾波法去除眼動信號中的無效眼跳信號。

可選的，系統(tǒng)還包括圖形可視化模塊，用于將用戶的設(shè)計意圖輸入到相應(yīng)的設(shè)計軟件并進行可視化顯示。

本發(fā)明還公開了一種基于多模態(tài)信號融合的設(shè)計意圖判別方法，該方法包括：

采集用戶在產(chǎn)品設(shè)計過程中的多模態(tài)信號；

對多模態(tài)信號進行預(yù)處理，去除多模態(tài)信號中的無效數(shù)據(jù)；

對預(yù)處理后的多模態(tài)信號進行特征提取；