[發(fā)明專利]基于多模態(tài)的冷鏈配載用戶畫像標(biāo)簽抽取方法及裝置

有效

• 申請?zhí)枺?/td>: 202111471016.7
• 申請日: 2021-12-03
• 公開（公告）號: CN114218380B
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計）人: 李翔;張寧;謝乾;朱全銀;高尚兵;馬甲林;王媛媛;丁行碩;束瑋;張豪杰;丁婧嫻;張曼;費(fèi)晶茹;洪玉昆;楊秋實(shí);徐偉
• 申請（專利權(quán)）人: 淮陰工學(xué)院
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06V10/762;G06K9/62;G06V10/764;G06V10/80;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 淮安市科文知識產(chǎn)權(quán)事務(wù)所 32223
• 代理人: 吳晶晶

1.一種基于多模態(tài)的冷鏈配載用戶畫像標(biāo)簽抽取方法，其特征在于，包括如下步驟：

步驟1：輸入原始的冷鏈配載數(shù)據(jù)集D1，對數(shù)據(jù)集進(jìn)行去重、去空，清洗后得到樣本集D2；

步驟2：使用K-means對樣本集D2進(jìn)行聚類，得到N個聚類點(diǎn)簇，進(jìn)而將聚類后的樣本集D2打上標(biāo)簽；

步驟3：將帶標(biāo)簽的文本樣本集作為BERT模型的輸入，得到特征向量T1，將得到的特征向量T1傳入長短期記憶網(wǎng)絡(luò)進(jìn)一步提取特征，得到文本特征向量T2；

步驟4：獲取雙模態(tài)交互注意力矩陣Bim，具體步驟如下：

步驟4.1：將步驟2中經(jīng)過預(yù)處理后的圖片數(shù)據(jù)作為YOLO模型的輸入；

步驟4.2：得到提取后的圖片數(shù)據(jù)的特征R1；

步驟4.3：將得到的特征R1映射到其語義空間中，得到圖片特征向量R2＝tanh(W_tR1+b_R1)，其中，W_t為激活函數(shù)tanh的權(quán)重，b_R1為激活函數(shù)tanh的偏置；

步驟4.4：將文本特征向量T2和圖片特征向量R2交互，使用激活函數(shù)tanh進(jìn)行轉(zhuǎn)換表示補(bǔ)充；

步驟4.5：T2經(jīng)R2補(bǔ)充過后得到T3，計算公式為T3＝tanh(U_T2T2+W_rtU_T2T2)，U_T2為隱藏文本對應(yīng)的轉(zhuǎn)換矩陣，W_rt為相應(yīng)兩模態(tài)的映射的權(quán)重矩陣；

步驟4.6：R2經(jīng)T2補(bǔ)充過后得到R3，計算公式為R3＝tanh(U_R2R2+W_rtU_R2R2)，U_R2為隱藏關(guān)系對應(yīng)的轉(zhuǎn)換矩陣；

步驟4.7：將文本特征向量T3和圖片特征向量R3進(jìn)行拼接，并通過一個全連接層捕捉模態(tài)間交互特征F1，即F1＝ReLU(W₁(T3⊕R3)+b₁)，W₁為激活函數(shù)ReLU的權(quán)重，b₁為激活函數(shù)ReLU的偏置；

步驟4.8：將交互特征F1在激活函數(shù)Sigmoid的作用下生成條件向量S，計算公式為S＝Sigmoid(F1)；

步驟4.9：將條件向量S與交互后的T3結(jié)合得到文本條件向量N1，計算公式為N1＝T3⊙S；

步驟4.10：將條件向量S與交互后的R3結(jié)合得到圖片條件向量N2，計算公式為N2＝R3⊙S；

步驟4.11：將兩種模態(tài)的條件向量N1和N2進(jìn)行矩陣乘法計算，得到跨模態(tài)聯(lián)合矩陣O，計算公式為O＝N1·N2；

步驟4.12：如果循環(huán)變量k≤單模態(tài)特征維度u，跳轉(zhuǎn)到下一步，否則跳轉(zhuǎn)到步驟4.15；

步驟4.13：使用Softmax函數(shù)計算出跨模態(tài)聯(lián)合矩陣的概率a，計算公式為

步驟4.14：k＝k+1，跳轉(zhuǎn)到步驟4.12；

步驟4.15：將雙模態(tài)交互特征F1乘概率a，得到雙模態(tài)交互注意力矩陣Bim，計算公式為Bim＝a·F1；

步驟5：將雙模態(tài)交互注意力矩陣Bim與被補(bǔ)充過的雙模態(tài)特征向量拼接，將其作為全連接層的輸入得到雙模態(tài)特征表示，最后輸入至Softmax進(jìn)行分類，最終獲得模型的標(biāo)簽抽取。