[發明專利]一種基于多模態信號融合的設計意圖判別系統及方法

有效

• 申請號: 201910269580.7
• 申請日: 2019-04-04
• 公開（公告）號: CN109993131B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 牛紅偉;郝佳;王國新;吉慶;龍輝;王璐;閻艷
• 申請（專利權）人: 北京理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 程華

1.一種基于多模態信號融合的設計意圖判別系統，其特征在于，所述系統包括多模態信號采集模塊、多模態信號預處理模塊、多模態信號分層整合模塊和產品設計指令生成模塊；

所述多模態信號采集模塊，用于采集用戶在產品設計過程中的多模態信號，并將所述多模態信號發送到所述多模態信號預處理模塊；所述多模態信號包括腦電信號、手勢信號和眼動信號；

所述多模態信號預處理模塊，接收所述多模態信號，對所述多模態信號進行預處理，去除所述多模態信號中的無效數據，并將預處理后的所述多模態信號發送到所述多模態信號分層整合模塊；

所述多模態信號分層整合模塊包括特征層、原語層、指令層和意圖層；

所述特征層，對預處理后的多模態信號進行特征提取；

所述原語層，構建基于三層反向傳播神經網絡的信號識別分類模型，將提取的多模態特征信息輸入所述信號識別分類模型，得到與用戶的操作意圖對應的操作信息，各所述操作信息采用交互原語的形式表達；具體為，將腦電信號特征、手勢信號特征和眼動信號特征分別輸入信號識別分類模型進行前向計算，得到相應的識別分類結果，分別對腦電信號特征、手勢信號特征和眼動信號特征進行分類識別；

所述指令層，利用上下文感知技術對各交互原語增加各交互原語中操作信息的承擔對象；

所述意圖層將各交互原語進行融合分析確定用戶的設計意圖；設定時間閾值T作為判斷交互原語是否作用于同一設計意圖的標準，若交互原語時間標簽的差值小于T，則作用于同一設計意圖；當三個交互原語中存在兩個或三個原語的設計意圖為同一設計意圖中的不同操作時，將這兩個或三個原語統一表示為一個設計意圖進行輸出；

所述產品設計指令生成模塊，根據所述多模態信號分層整合模塊輸出的所述用戶的設計意圖，生成與所述用戶的設計意圖對應的產品設計指令。

2.根據權利要求1所述的基于多模態信號融合的設計意圖判別系統，其特征在于，所述多模態信號采集模塊包括腦電信號采集裝置、手勢信號采集裝置和眼動信號采集裝置；所述腦電信號采集裝置用于采集所述腦電信號，所述手勢信號采集裝置用于采集所述手勢信號，所述眼動信號采集裝置用于采集所述眼動信號。

3.根據權利要求2所述的基于多模態信號融合的設計意圖判別系統，其特征在于，所述預處理包括采用獨立分量分析方法去除所述腦電信號中的眼動偽跡和采用卡爾曼濾波法去除所述眼動信號中的無效眼跳信號。

4.根據權利要求1所述的基于多模態信號融合的設計意圖判別系統，其特征在于，所述系統還包括圖形可視化模塊，用于將所述用戶的設計意圖輸入到相應的設計軟件并進行可視化顯示。

5.一種基于多模態信號融合的設計意圖判別方法，其特征在于，所述方法包括：

采集用戶在產品設計過程中的多模態信號；所述多模態信號包括腦電信號、手勢信號和眼動信號；

對所述多模態信號進行預處理，去除所述多模態信號中的無效數據；

對預處理后的多模態信號進行特征提取；

構建基于三層反向傳播神經網絡的信號識別分類模型，將提取的多模態特征信息輸入所述信號識別分類模型，得到與用戶的操作意圖對應的操作信息，各所述操作信息采用交互原語的形式表達；具體為，將腦電信號特征、手勢信號特征和眼動信號特征分別輸入信號識別分類模型進行前向計算，得到相應的識別分類結果，分別對腦電信號特征、手勢信號特征和眼動信號特征進行分類識別；

利用上下文感知技術對各交互原語增加各交互原語中操作信息的承擔對象；

將各交互原語進行融合分析確定用戶的設計意圖；設定時間閾值T作為判斷交互原語是否作用于同一設計意圖的標準，若交互原語時間標簽的差值小于T，則作用于同一設計意圖；當三個交互原語中存在兩個或三個原語的設計意圖為同一設計意圖中的不同操作時，將這兩個或三個原語統一表示為一個設計意圖進行輸出；

根據所述用戶的設計意圖，生成與所述用戶的設計意圖對應的產品設計指令。