[發明專利]神經語義編解碼分析方法及系統

在審

• 申請號: 202011102971.9
• 申請日: 2020-10-15
• 公開（公告）號: CN112232084A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 王少楠;孫靜遠;張家俊;宗成慶
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/126;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明涉及一種神經語義編解碼分析方法及系統，所述神經語義編解碼分析方法包括：訓練回歸模型擬合腦神經激活水平與文本刺激的向量表示之間的映射關系，建立文本表示模型；通過探針任務量化解析文本表示模型描述各類語言特征的能力，得到探針任務表現；根據探針任務表現，通過消融任務以調整文本表示模型；在調整后的文本表示模型生成的句子向量的基礎上來執行分析任務。本發明通過訓練回歸模型擬合腦神經激活水平與文本刺激的向量表示之間的映射關系，建立文本表示模型，通過探針任務量化解析文本表示模型描述各類語言特征的能力；進一步通過消融任務確認文本表示模型的魯棒性，并以此調整文本表示模型，從而可提高在執行分析任務時的準確率。

技術領域

本發明涉及文本處理技術領域，特別涉及一種基于探針任務 和消融測試的神經語義編解碼分析方法及系統。

背景技術

近年來，神經語義編、解碼技術發展迅速。神經語義編碼通過 預測人腦對特定語言刺激的反應來模擬腦神經的語言認知工作機理，神經 語義解碼則通過解析人腦活動來揭示人讀或聽到的文本內容。目前神經語 義編、解碼所采用的腦成像信號主要有神經電生理信號，如腦電，和神經 影像信號，如核磁共振成像。其中功能性核磁共振成像(fMRI，functional magnetic resonance imaging)具有非侵入性、無輻射暴露等優點，使其在本領域中得到了廣泛的應用。

現有神經編、解碼的基本范式，是擬合腦神經活動和刺激的 數量表示間的映射關系。因此，在指定腦成像范式為fMRI的前提下，神 經編解碼的準確率高低很大程度上取決于如何建立刺激的數量表示。近年 來在機器學習技術的帶動下，文本表示方法也在不斷迭代、演進。這提供 了大量結構不同、編碼特征各異的文本數量化表示模型供神經編、解碼候選。由于無法有效確定具體地編解碼，導致對文本處理的編解碼的準確率 不穩定。

發明內容

為了解決現有技術中的上述問題，即為了快速確定編解碼， 提高文本分析任務的準確率，本發明的目的在于提供一種神經語義編解碼 分析方法及系統。

為解決上述技術問題，本發明提供了如下方案：

一種神經語義編解碼分析方法，所述神經語義編解碼分析方 法包括：

訓練回歸模型擬合腦神經激活水平與文本刺激的向量表示 之間的映射關系，建立文本表示模型；

通過探針任務量化解析文本表示模型描述各類語言特征的 能力，得到探針任務表現；

根據探針任務表現，通過消融任務以調整文本表示模型；

在調整后的文本表示模型生成的句子向量的基礎上來執行 分析任務。

可選地，所述文本表示模型包括神經編碼器模型及神經解碼器 模型；

所述訓練回歸模型擬合腦神經激活水平與文本刺激的向量表示 之間的映射關系，建立文本表示模型，具體包括：

獲取訓練樣本集，所述訓練樣本集中的訓練樣本包括功能性核 磁共振圖像樣本及對應的文本刺激、體素矩陣、句子表示矩陣；

根據所述功能性核磁共振圖像及對應刺激表示的維度初始化回 歸模型，設置網絡參數；

基于初始化的回歸模型及網絡參數，根據體素矩陣及句子表示 矩陣，分別得到神經編碼器模型及神經解碼器模型。

可選地，所述根據體素矩陣及句子表示矩陣，得到神經編碼器 模型，具體包括：

通過最小化第一目標函數，得到神經編碼器模型的回歸系數 W_e：

第一目標函數為：