[發明專利]一種面向目標的多模態情感分類方法

在審

• 申請號: 202110258627.7
• 申請日: 2021-03-09
• 公開（公告）號: CN113065577A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 劉博;徐毓笑
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/35;G06F40/289;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

1.一種面向目標的多模態情感分類方法，其特征在于：該方法執行步驟如下：

步驟1、對社交評論中多個模態的數據進行預處理，使其符合各個模態對應的模型的輸入到要求；

步驟2、對步驟1預處理后的多個模態的數據進行特征提取，通過Roberta網絡提取多模態評論數據中文本特征，通過resnet提取多模態評論數據中的圖片特征；

步驟3、利用注意力機制，結合目標信息，賦予步驟2得到的各模態特征中更重要的特征更大的權重，得到目標敏感文本特征和目標敏感圖片特征；

步驟4、將步驟3得到的單個模態特征進行早期融合后，輸入到多層自注意力網絡中進行特征融合；

步驟5、將步驟4融合得到的最終的多模態情感特征送入分類器進行情感分類得到多模態評論樣本的情感類別；

步驟6、對模型進行優化訓練，將圖文社交評論輸入到訓練好的模型中，得到評論的情感識別結果。

2.根據權利要求1所述的一種面向目標的多模態情感分類方法，其特征在于：步驟1中的數據集預處理中，數據集中有幾千個多模態的評論樣本D，對于每個樣本d∈D,它包含：第一行是n個單詞的句子S(w1，…，wn)，第二行是意見目標T，T是S的子序列；第三行是情感標簽，是-1消極、0中性、1積極，第四行是圖片id；任務被定義為：以D作為訓練語料，目標是得到一個面向目標的情感分類器，使其能夠正確地預測不可見評論樣本中意見目標的情感標簽；

讀取數據集文件，將每個樣本轉寫成新的數據格式count、label、imgid、text和aspect分別代表序號、情感標簽、圖片i、文本、意見目標，存儲為tsv格式，按照7：2：1的比例劃分為訓練集，驗證集和測試集；

將與文本評論相關聯的圖片大小調整為224*224的像素大小，方便后續輸入到預訓練的圖像模型中；

通過分詞器將文本信息和目標信息進行分詞，設定文本信息的最大長度和目標信息的最大長度；

文本信息長度大于最大長度將被截取，首尾增加[CLS]和[CLS]標記：tokens＝[[CLS]]+tokens+[[SEP]],分段信息為長度與文本信息長度相同的0字符：segment_ids＝[0]×len(tokens)，通過分詞器將文本信息序列數字化為被模型處理的形式input_ids；如果序列的長度達不到最大長度要求，通過填0補充；掩碼信息為與文本信息長度相同的1字符：input_mask＝[1]×len(input_ids),

目標信息長度大于最大長度將被截取，首尾增加[CLS]和[CLS]標記：s2_tokens＝[[CLS]]+s2_tokens+[[SEP]],分段信息為長度與目標信息長度相同的0字符：s2_segment_ids＝[0]×len(s2_tokens),通過分詞器將目標信息序列數字化為可被模型處理的形式s2_input_ids；如果目標序列的長度達不到最大長度要求，通過填0補充；掩碼信息為與目標信息長度相同的1字符：s2_input_mask＝[1]×len(s2_input_ids)。