[發明專利]神經語義編解碼分析方法及系統

在審

• 申請號: 202011102971.9
• 申請日: 2020-10-15
• 公開（公告）號: CN112232084A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 王少楠;孫靜遠;張家俊;宗成慶
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/126;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種神經語義編解碼分析方法，其特征在于，所述神經語義編解碼分析方法包括：

訓練回歸模型擬合腦神經激活水平與文本刺激的向量表示之間的映射關系，建立文本表示模型；

通過探針任務量化解析文本表示模型描述各類語言特征的能力，得到探針任務表現；

根據探針任務表現，通過消融任務以調整文本表示模型；

在調整后的文本表示模型生成的句子向量的基礎上來執行分析任務。

2.根據權利要求1所述的神經語義編解碼分析方法，其特征在于，所述文本表示模型包括神經編碼器模型及神經解碼器模型；

所述訓練回歸模型擬合腦神經激活水平與文本刺激的向量表示之間的映射關系，建立文本表示模型，具體包括：

獲取訓練樣本集，所述訓練樣本集中的訓練樣本包括功能性核磁共振圖像樣本及對應的文本刺激、體素矩陣、句子表示矩陣；

根據所述功能性核磁共振圖像及對應刺激表示的維度初始化回歸模型，設置網絡參數；

基于初始化的回歸模型，根據體素矩陣及句子表示矩陣，分別得到神經編碼器模型及神經解碼器模型。

3.根據權利要求2所述的神經語義編解碼分析方法，其特征在于，所述根據體素矩陣及句子表示矩陣，得到神經編碼器模型，具體包括：

通過最小化第一目標函數，得到神經編碼器模型的回歸系數W_e：

第一目標函數為：

其中，λ為正則化參數，Z_e表示句子表示矩陣，N_E表示訓練樣例數，N_V表示體素的數量，N_D表示句子表示的維數；x_i表示體素矩陣，表示二范數、||.||₁表示一范數

基于初始化的回歸模型，根據神經編碼器模型的回歸系數W_e，確定神經編碼器模型，神經編碼器模型從句子表示中學習預測大腦活動。

4.根據權利要求2所述的神經語義編解碼分析方法，其特征在于，所述根據體素矩陣及句子表示矩陣，得到神經解碼器模型，具體包括：

通過最小化第二目標函數，得到神經解碼器模型的回歸系數W_d：

第二目標函數為：

其中，λ為正則化參數，N_E表示訓練樣例數，N_V表示體素的數量，N_D表示句子表示的維數，X表示體素矩陣，z_i表示句子表示矩陣，表示二范數、||.||₁表示一范數；

基于初始化的回歸模型，根據神經解碼器模型的回歸系數W_d，確定神經解碼器模型；所述神經解碼器模型通過直接從體素估計語義向量來進行的，每個維度都由單獨的回歸模型預測。

5.根據權利要求2所述的神經語義編解碼分析方法，其特征在于，所述探針任務包括語義探針任務、句法探針任務和形態學探針任務中至少一者；

所述通過探針任務量化解析文本表示模型描述各類語言特征的能力，得到探針任務表現，具體包括：

通過語義探針任務量化解析文本表示模型描述語義特征的能力；通過句法探針任務量化解析文本表示模型描述句法結構特征的能力；通過形態學探針任務量化解析文本表示模型描述句法形態特征的能力。

6.根據權利要求5所述的神經語義編解碼分析方法，其特征在于，所述根據探針任務表現，通過消融任務以調整文本表示模型，具體包括：

將探針任務表現分別與神經編碼器模型、神經解碼器模型準確率關聯，得到關聯結果；

根據關聯結果，損傷的文本表示模型，基于訓練語料，通過損傷后文本表示模型生成句子向量表示，對神經解碼器模型和神經編碼器模型進行訓練，確定所述神經解碼器模型和神經編碼器模型準確率；

根據所述準確率調整文本表示模型。